A korábban lakóházként szolgáló épületben 1969-ben nyílt meg Ybl Ervin művészettörténész hagyatékából az állandó kiállítás. A hagyaték egyrészt a család 18–19. századi bútoraiból, családi képeiből és dísztárgyaiból áll, másrészt Ybl Ervin képző- és iparművészeti magángyűjteményéből. A képzőművészeti anyagban megtaláljuk Csók István, Vaszary János, Rudnay Gyula, Bernáth Aurél, Szőnyi István, Ferenczy Noémi, Aba Novák Vilmos festményeit, grafikáit, valamint Vedres Márk, Fémes Beck Vilmos, Beck Ö. Fülöp, Medgyessy Ferenc, Pátzay Pál, Ferenczy Béni, Borsos Miklós és mások szobrait, érmeit.
Az épület onnan kapta a nevét, hogy 1858–60 között itt lakott Budenz József, német származású, kiváló finnugorkutató, a magyar összehasonlító nyelvészet megteremtője. A ház a jellegzetes copf stílusú homlokzatát 1781-ben nyerte. Ez az évszán a kapuzat zárókövében ma is látható. Alapjai középkoriak, amit a tatarozás során előkerült 13. századi kút is bizonyít. Az 1781-es végleges kialakítás előtt többször is átépítették. Múzeumként 1969 óta működik.