Nach einer alten Überlieferung schworen um 680 die Bewohner des Alemannendorfes Stein ihrem germanischen Götterglauben ab und wurden Christen. Bald darauf ließ der Ortsadel nicht nur eine Kapelle zu Ehren des hl. Martin errichten, sondern stiftete auch eine Pfründe für einen Geistlichen.

Stand die erste Kapelle noch auf einer Anhöhe außerhalb des Dorfes, so wurde im 12. Jh. unter dem Leutpriester Gero eine Pfarrkirche im Ort errichtet, von einem Friedhof umgeben. Im Jahr 1252 wird Stein erstmals als eigene Pfarrei in den Kirchenbüchern erwähnt. Baufällig geworden und außerdem der angewachsenen Bevölkerung zu wenig Platz bietend, musste 1831 die erste Pfarrkirche abgetragen werden. Fürst Friedrich Hermann Otto von Hohenzollern übernahm die Kosten für einen Neubau, und so konnte bereits zwei Jahre später, am 24.6.1833, die neue Kirche eingeweiht werden. Sie erhielt das Patronat des hl. Markus.

Erst 1901 folgte der 28 m hohe Kirchturm, der den Dachreiter ersetzte und mit vier Glocken ausgestattet wurde. Renovierungen 1901, 1966, 1978 und 2003 haben die Kirche in ihrer ursprünglichen Form erhalten, das Erscheinungsbild im Innern aber den neuen Erfordernissen angepasst.