A hatalmas monstrumot (melynek méretére az is rásegít, hogy alulról, a domb aljáról közelíti meg a legtöbb látogató) sok környékbeli, aki már régebb óta él Óbudán csak Schmidt-kastélyként emlegeti. A múzeumépületben a Budapesti Történeti Múzeum két különálló, de egymás mellett működő és kiállító tagintézménye kapott helye - nem véletlen az épületegyüttes elnevezés. Ezek az Újkori Várostörténeti Osztály és a Fővárosi Képtár. 

Az óbudai Bécsi út feletti dombon álló épület barokk stílusú, melyet Johann Entzenhoffer bécsi építész tervei alapján építettek 1745-1758 között és eredetileg kolostornak szánták. A szerzetesrendek 1784-es megszünése után a kamara tulajdona lett, és hadikórházként, kaszárnyaként, raktárként hasznosították. Az ekkorra már erőteljesen elhanyagolt épületegyüttest Schmidt Miksa bécsi bútorgyáros és műgyűjtő megvásárolta meg, felújította, és 1935-ben végrendeletében múzeum céljára a fővárosra hagyta (innen ered a Schmidt-kastély elnevezés).