Valószínűleg az 1560-as évek elején Ládonyi Demeter építette a korábbi udvarház helyére. A 18. század elején tűzvész pusztította, utána tulajdonosai részenként állították helyre. A század második felében alakítják ki a kastélyt övező parkot. Az 1860-as években Dőry Miklós neogót stílusban alakíttatta át az épületet. Az egyemeletes, két saroktornyos kastélyt 1969 és 1974 között állították helyre. Szálloda és oktatási központ működött az épületben. 2006-tól a Kulturális Örökségvédelmi Hivatal tulajdonában van, műemléki felújítás alatt áll. Jelenleg művészettörténeti és régészeti kiállításoknak ad otthont. A helyreállítást követően a KÖH vendégháza és oktatóközpontja lesz. Pihenésre, kikapcsolódásra nyújt lehetőséget a Kis-Rába által kettészelt 2 hektáros védett park.
A vitatott hagyomány szerint 1440-ben Erzsébet királyné Ulászló elől menekülve Mihályiban szállt meg és az elrabolt koronát egy odvas fűzfába rejtette el. Forrás
