A Keresztény Múzeumot Simor János (1813–1891) esztergomi érsek, hercegprímás alapította azzal a szándékkal, hogy a régebbi és újabb korok művészetét ismertté tegye. Az érsek hagyatékokból és külföldi útjai során tárgyakat vásárolt, a főegyházmegye területéről pedig a használaton kívüli, középkori oltártöredékeket gyűjtötte össze. Tudatos gyűjtőmunkája eredményeként jelentős műtárgygyűjteményt állított össze, amelyet 1875. október 12-én nyitott meg a nagyközönség számára, mint az ország harmadikként létrehozott, nyilvános múzeumát. Az első kiállítást a Főszékesegyházi Könyvtár emeletén rendezték be, amelyen 206 kép szerepelt, főleg késő középkori és 19. századi alkotások. Az érsek a későbbi évek során folyamatosan gyarapította gyűjteményét. A legnagyobb jelentőségű tárgyegyüttest, a Bertinelli-gyűjteményt, 1878-ban, Rómában vásárolta meg, így hatvan, javarészt olasz reneszánsz festménnyel gazdagítva a múzeum gyűjteményét. Az érsek jó érzékkel folytatta a gyűjtemény gyarapítását, így 1884-ben, a kölni Schnütgen-gyűjteményből faszobrokat és iparművészeti tárgyakat vásárolt. A gyűjtemény 1882 után a Duna-parti Prímási Palotába került. A képtárról 1878-ban, majd 1891-ben Maszlaghy Ferenc készített katalógust. Simor János 1887-ben az esztergomi Főkáptalan gondjaira bízta a gyűjteményt, így azt jogilag is biztosította. Ekkor adta a gyűjteménynek a Keresztény Múzeum nevet.

Simor János 1891-ben bekövetkezett halálát követően a múzeum gyűjteménye az első világháború után gyarapodott jelentősebb mértékben: 1925-ben San Marco herceg iparművészeti tárgyakat és festményeket tartalmazó hagyatéka, 1926-ban Ipolyi Arnold (1823–1886) nagyváradi püspök, főként késő-középkori olasz, német, osztrák és magyar festményeket tartalmazó gyűjteménye került a múzeumba. A múzeum teljes anyagáról szóló katalógus 1948-ban jelent meg, az 1950-es években elkezdődött a gyűjtemény katalogizálása, a kiállítás újrarendezése. A jelenlegi állandó kiállítás 1973-ban nyílt meg.