A Zichy grófok 1650-ben szerezték meg a vajtai uradalmat, ahol - a család egy kisebb méretű, korábban épült kúriája útán építették a kastélyt. Az 1900-as évek elején a Zichy család az öt leggazdagabb nemesi család közé tartozott Magyarországon, több mint harminc magánbirtokkal rendelkezett. Pollack Mihály 1815. évi klasszicista terve alapján Havel Lipót és Schmidt Miksa építette Zichy Aladár gróf megrendelésére 1923-ban a kastélyt, amely később gyermeküdülő lett, majd oktatási intézmény kapott itt helyet. Az út mellett álló, nemesen egyszerű vonalú Zichy-kastély építkezései az 1920-as években kezdődtek meg. A kastélyt tökéletes arányosság jellemzi. Az épületen 12 kémény és 365 ablak van. Előkertje geometrikus elrendezésű, francia stílusú. A hátsó, angolkertre néző homlokzaton 13 m magas, kazettás boltozatú kupolát helyeztek el. A kupolától lépcsősor vezet a parkba. Néhány eredeti bútordarab is megmaradt a kastély berendezési tárgyai közül. A kupolatermet különböző, nemes faanyagokból kialakított, páratlan szépségű intarziás padló borítja.

A második világháborút követően a Zichy család Svédországba menekült, a birtok pedig a kommunista rendszer keze alá került. Az ezt követő években a kastély a politikai vezetők és családjaik nyaralójaként szolgált. Az 1956-os forradalom után a kastélyt mozgássérült gyermekek számára átalakított táborként használták.

A rendszerváltás után 1989-ben új kormány vette át Magyarország irányítását. 1994-re teljesen elhagyatottá vált a birtok, mivel nem volt anyagi fedezet a fenntartására, és így meglehetősen megrongálódott és tönkrement.

A Calvary Chapel (Golgota Keresztény Gyülekezet) 2000-ben vásárolta meg, hogy a Kelet Európaiak számára is elérhető Biblia iskolát alapítson benne. Elkezdődött a vallási főiskola kialakítása