Als es ihm aber dann doch zu lange dauerte, hatte er eine Idee: Er könnte ja schon einmal anfangen zu bauen, da bis zum Abschluss ja die Genehmigung sicherlich angekommen sein müsste. Nur musste das Ganze heimlich geschehen.

"Wir haben erst die Rohre verlegt (...), dann baute ich einen riesigen Block aus Heu und Stroh. (...) Wir warteten dann bis nach Mitternacht, um Baumaterialien auf die Baustelle zu tragen. (...) Um die Dinge zu bauen, die wir nicht aus eigener Kraft errichten konnten haben wir Handwerker aus England einfliegen lassen, die keinen Kontakt mit den Dorfbewohnern haben durften (...) Uns halfen aber auch Gute Freunde, denen wir vertrauen konnten." - so Robert Fidler.

So konnte er, mit Hilfe seiner Freunde und Verwandten, sein Schloss fertigstellen. Doch es gab noch ein einziges Problem: die Baugenehmigung. Sie war immer noch nicht ausgestellt. Also zog die Familie Fidler 2002 in einer Nacht-und-Nebel-Aktion in das neue Haus. Sie wohnten jetzt also in einem Schloss im Heuhaufen.

Fünf Jahre haben sie ihr Haus so geheim halten können. Als dann 2006 ein unschlagbares Angebot für das Heu kam, willigten sie ein und bauten ihre blickschützenden Wände ab. Es dauerte nicht lange, da hatten die Behörden Wind davon bekommen und auch die Dorfgemeinde machte jetzt ärger.