Od roku 1518 do třicetileté války stála v těchto místech poblíž Pražské brány farní budova. Ta byla zničena a děkanství bylo v polovině 18. století přesunuto do pozdně barokní budovy severozápadně od chrámu sv. Bartoloměje.

Ani tato stavba neunikla osudu zničení. Demolice se uskutečnila na konci třicátých let minulého století, kdy bylo děkanství kvůli výstavbě silnice přesunuto o několik metrů severněji. Ze staré farní budovy zůstaly jen části sklepů pod současnou budovou muzea, postavenou plaskými cisterciáky v roce 1781.

Pozdně barokní stavba s mansardovou střechou již neměla charakter zpevňujícího objektu městské zdi, jako tomu bylo u staré fary, ale byla pouze jejím prostým přerušením.

Palác sloužil jako místo odpočinku pro mnichy na cestách mezi Prahou a plaských klášterem. Několik let poté, co císař Josef II. zrušil řadu klášterů, budova přestala plnit svůj účel a začala měnit majitele. Byla zde například textilní manufaktura (odtud se vžil název „ve fabrice“), hostinec, tiskařská živnost a rovněž i pošta (odtud název „stará pošta“). Po 1. světové válce se v objektu usadila chudina a v areálu vznikly různé přístavky a zvláštní úpravy.

V roce 1933 začala adaptace areálu pro potřeby muzea. To sídlilo v dnes již neexistující Petrovcově vile, která přestala pro stále se rozrůstající sbírku dostačovat. Plán úprav vypracoval pražský architekt Bohumil Hübschman a provedení bylo zadáno místnímu staviteli Dondovi. Muzejní sbírky se do zadaptované budovy přestěhovaly o tři roky později. Expozice zde bez výraznějších změn vydržela do šedesátých let, výraznější změny v instalaci expozice nastaly v následující dekádě a od devadesátých let minulého století dochází k postupné modernizaci.

Poslední úpravy budovy nastaly v loňském roce, kdy byla zrekonstruována fasáda a vstupní prostory. Restaurace se dočkal také znak v průčelí nade dveřmi.