Okoli 1770 so vzhodni del cerkve spremenili v kapelo Matere Božje (prostor pod zvonikom, ki se zaključuje z polkrožno romansko apsido). Kapelo sta leta 1831 poslikala graška slikarja Franc in Jožef Kreuzer (poslikava ni več ohranjena). Danes je v njej krstilnica z ohranjenim marmornim krstilnikom iz ok. leta 1235. Gre za najstarejši ohranjeni romanski krstilnik na naših tleh. Okrašen je s štirimi ženskimi glavami, ki ponazarjajo štiri rajske reke, štiri evangelije ali štiri glavne kreposti.
V kapeli je oltar sv. Jožefa iz Goričaka (1760).
