A mai Mezőtárkány területén a középkorban több kisebb település is létezett „Tárkány” néven. 1273-ban említi először egy oklevél, hogy Hektor fia Tamás eladja Chomodor fia Orbánnak és Baksa fia Gergelynek Tárkány ötödrészét, de a templom a tulajdonosok közös földjén maradt. Sajnos arról nincs információnk, hogy ez melyik Tárkány település lehetett; és az épületről sem kapunk részletesebb információt. A 14. század elején külön említik Egyházas- és Kápolnástárkány településeket; 1323-ban azt is megtudjuk, hogy az egyiken Szent Miklós tiszteletére emelt kőegyház állt. A két különálló településrész a 14. század folyamán jól dokumentálható az oklevelekben; viszont 1423-ban már Mezőtárkányt említik a források: egybeolvadásuk így talán ekkorra már végbement. A település(ek) egyházáról több középkori forrásunk nincs.
Legközelebb 1699-ben írnak arról, hogy ide, és több más településre plébánost akar állíttatni Telekessy püspök, ami alapján feltételezhető egy egyházi épület. 1710-ben már plébánosa van Mezőtárkánynak, tehát templomnak is állnia kellett. 1720-ban értesülünk is a Szent István tiszteletére emelt kőtemplomáról, amit 1732-ben a település földesura, az egri káptalan bővíttet. Mivel a templom néhány évtizeddel később már alkalmatlan volt a megnövekedett hívőszám befogadására, 1773-ig új épületet emeltek, ekkor lett védőszentje Olajbafőtt Szent János. Az épület ma is ekkor elnyert formájában áll.
Nem kizárt, hogy a mai templom épülete a középkori helyén; vagy annak közelében épült fel; esetleg az lehetetlen, hogy a mai templom még magába foglalja középkori előzményének egyes részeit. Az is elképzelhető viszont, hogy az 1770-es évek elején történő építkezések során teljesen új helyre épült a ma is álló templom; a régit pedig elbontották. Az is kérdéses, hogy vajon hová lokalizálhatók az egyes, középkorban említett „Tárkány” nevű települések? Sajnos a jelenlegi információk alapján csak feltételezésekre hagyatkozhatunk; a templom történetét illetően pedig további kutatások szükségesek.