A csurgói kastély építése annak a Heinrich Kochnak a tervei alapján történt aki az angol klasszicista stílusú pesti Károlyi palota átépítését is végezte. A Bécsben élő építészt Ybl Miklós képviselte, aki mint a Károlyi család építésze a művezetéssel kapcsolatos tervezésben vett részt.

Gróf Károlyi György 1877-ben bekövetkezett halála után Csurgót a másodszülött fiú, Viktor örökölte, korai halála után pedig a kastély tulajdonosa idősebbik testvére, Károlyi Gyula lett. Az ő idősebbik fia volt Károlyi Mihály a fiatalabbik pedig Károlyi József, aki a jelenlegi vagyonkezelő nagyapja volt.

A kastélyt a családnak 1944-ben el kellett hagynia. A háború alatt katonák használták, majd a második világháború után a kastélyt és birtokot államosították, ezt követően először üdülőként, majd gyermekotthonként üzemelt. 1980-ban kezdődtek meg az állagmegóvási munkafolyamatok, és 2007-ig helyreállították a két pavilont és két szárnyat, majd 2011-ben a főépület is átadásra került.