Iszkaszentgyörgy település a XVII. században került az Várkonyi Amadé Antal báró család tulajdonába. A mai épület felépítése hat különböző periódushoz köthető. Magját a XVIII. század elejen Amadé Antal báró, a keleti mellékszárnyat és a kaput pedig Amadé Tádé báró építette 1764-ben. A XVIII. század végén, a XIX. század elején készült el a főszárny udvari előcsarnoka és valószínűleg a főlépcsőház mellvédje. A bárói címet 1628-ban, majd grófi címet 1782-ben kaptak. Amadé László bárót (1703-1764) a legnagyobb magyar költőnek a kortársak tartották.
1800-ban a veszpremi püspök Pésaki Bajzáth József báró vásárolta meg a kastélyt és az uradalmat. Már 1802-ben meghalt, így igen rövid ideig élvezte a tulajdonosi jogokat. Örököse nem lévén János nevű öccsének fia, György örökölt az Iszkaszentgyörgy bírtokot. Az Bajzáth György báró az 1820-as években folytathatott jelentősebb épitkezéseket a kastélyon. Sajat téglagyár is volt. A főszárny két végét bővítette oldalirányban, klasszicista stílusban. 1820-ban ő rendelte meg a díszterem falképegyüttesét a székesfehérvári Pich Ferenc festőműhelyétöl. A falkép leglátványobsabb része a domborművet imitáló ún. grisaille fríz, amely antík mitológiai jelenetsort ábrázol. 1840 körül a park felöli homlokzat nyílásai új kőkeretet kaptak, melyek terveit valószínűleg Langmasy Mihály építőmester készítette. Valószínű, hogy a kastély tájkép ketjének kialakitása is Bajzáth György báró nevéhez fűződik, aki a 19. század elején angliai utazásokat tett és ottani elményei dötő befolyással voltak a park kialakulására a romantikus kerti épitmények megjelenésére. A Bajzáth család címeres nemeslevelet Bécsben I. Lipóttol, 1669. január 24-én kapták. A nemesi "pészaki" előnevet József és János 1789. kapták. 1859.-ben Pészaki Bajzáth Györgyt bárói meltóságra emelték. A halála után a szentgyörgyi uradalom lánya, Valériáé lett, aki ekkor már gróf zu Pappenheim Sándorné volt. A frankóniai eredetű von und zu Pappenheim-családról az első ismert adat 1111-ből marad fenn, a nemesi címet 1141-ben adományozták nekik. A grófi rangot 1628-ban kaptak, 1740-ben birodalmi grófi címet nyertek. A családnak több bírtoka volt Magyarországon, két jelentősebb; az egyik Iszkaszentgyörgyön, a másik a Nógrád megyei Bujákon. 1870.-kór Szentgyörgy a házasság révén zu Pappenheim grófiek lett.
A kastély legjelentősebb átépitése gróf zu Pappenheim Sándor fia, Szigfrid nevéhez fűződik. Felesége, gróf Nagykárolyi Karolyi Erzsebet hozományából a nyugati melléképület teljesen újjáépitette müncheni épitésmeszter Gabriel Siedl tervek után 1903 és 1907 között. Az építkezés során a nyugatri mellékszárnynak a főépülethez csatlakozó, oszlopos rézet elbontották, és helyére egyemeletes , gazdag kőszobrászati díszű neobarokk épület került, díszes ablak- és erkélyrácsokkal, az emeleti ablakok fölött kőfejekkel, a középrizalit fölött alakos szoborkompozícióval. Az épület nyugati végéhez délről egy emeletes folyosó kapcsolódik, amelynek emelete fedett volt, de eredetileg kőpillérekkel tagolt oldalai nyitottak voltak. Ez egy kőr alakú torónybe, ún. Cécilia Metella, vezet, amelyet társalgóként használtak. A neobarok rész szobrászati díszeit Adolf Hildebrandt, Vögerl és Jablonszky János készitette.
A kastély parkjának teraszos kialakítása egyedülálló volt Fejér megyében. A Schusstig főkertész által a XX. század elején tervezett kert számtalan növénykülönlegességet is tartalmazott. Az 1910-es évek elejen a zu Pappenheim grófi házaspár főkertészükkel hosszabb időt töltött Angliában, ahol sorra járták a főúri kastélyokat. Ez az utazas nagyon nagy hatást gyakorolt rájuk. A történeti kerteken kívül megismerkedtek a Nyugat-Európában egyre divatosabba váló "formal-garten"-ekkel is. Hazatérve a kastély főhomlokzata előtti délkelet felé néző téglalap területen, teraszosan kialakitott, geometrikus elrendezésű kertrésszel bővítették a parkot. Szimmetrikus elrendezés, geometrikus terepformák, nyírt sövények, bokrok, fasorok és sok-sok kerti építmény (támfalak, lépcsők, medence, diadalív) jellemezték ezt a kertrészt.
Ekkor épült az ún. "francia porta" négypilléres, Pappenheim és Karolyi-címeres, vázás kialakítású kapubejárattal, az oszlopos kapuőrházzal. Készült egy nádfedeles magyar porta is a szélén, a székesfehérvári út mellet.
1944 kora tavasszal a budapesti Finn Nagykövetséget evakuálták az Iszkaszentgyörgyi kastélybe a főváros bombázása miatt. 1944, október 14-ig ott tartoskodott. Két nap után a zu Pappenheim grófi családnak is el kellett hagynia otthonát. Csak néhány személyes holmijukat volt lehetőségük magukkal vinni. A hátrahagyott, gazdátlan épület gazdag berendezését, könyvtárat, a képzőművészeti alkotásokat pillanatok alatt tönkretették, megsemmisítették, széthordták.
A háborus éveket követően szovjet katonai kórházat rendeztek be, utána Beszkart-dolgozók üdülője lett. Az ötvenes években a Bauxitbánya Vállalat munkásszállója működött falai között, görök menekültek szálláshelyéülszolgalt, majd a hatvanas évek elejen helyi tanács kezelésébe került az épület. Itt működött a tanácsi hivatal, a rendőrőrs, a vegyesbolt, a gyógyszertár, a posta, a mozi, a takarékszövetség és az autojavitó szervíz és a szolgálatilakások. A település általánosiskola az 1903-ben épült nyugati, a grófi gyerekek számára epült, szárnyban 1947.-óta működig. Az istallótol a falu művelődési ház lett.
Az Amadé-Bajzáth-Pappenheim kastély állami tulajdonban van. A főépület 1980.-óta üresen ált. 2012-ben a finn származású Ari S Kupsus úr bérelte a kastély főépületet, belülről felújította, az eredeti típusú bútorokkal/tárgyakkal berendezte és díszítette a szalonokat. Kupsus úr koncertek, kiállítások, mesterkurzusok, művészi táborok és egyéb kulturális programok szervezésével hozta vissza a magas kultúrát a kastélyba és a faluba. A kastély nyári kulturális központként működik, valamint Kupsus úr nyári rezidenciákent is. Kupsus úr megbeszélések alapján túrákat szívesen szervez a pazarul díszített szalonokban és a kastély és a családok történetéről beszél.
A barokk kertet részben felújították a finn kertészhallgatók és az OSAO, Oulu Kertéseti Főiskola tanárai. 2013 óta Kupsus úr májustól júniusig meghívja és fogadja a Finn kertészhallgatókat.