A kétszintes kastélyt Batthány Lajos Magyarország nádorának kezdték el építeni. Sajnos a nádor elhunyt a kastély befejezése előtt. Batthány Tódor örökölte a kisbéri birtokot. Feltehetőleg 1768-ban épült fel a barokk kastély, majd 1840-ben klasszicista stílusban alakították át.
1809-ben Kisfaludy Sándor költő is megszállt a kastélyban, amikor is az épület a magyar seregek főparancsnoksága volt. A költő, ekkoriban Habsburg József szárnysegédjeként szolgált . Az 1848-49-es szabadságharc után a kastélyt Ferenc József parancsára elkobozták a Batthány családtól, és létrehozták itt a Királyi Katonai Ménest, majd a Magyar Királyi Állami Ménesintézetként működött. a magyar lótenyésztés fellegvára lett Kisbér. A település nevét viselte az a ló is, amely megnyerte az Epson Derbyt is, de a világ legjobb versenylova is, Kincsem is innen származik. A kastély parkjában műrom is volt, melyet pokol névre kereszteltek. Még ma is látható, vendéglőt alakítottak ki benne. A parkban egy kis tó is fennmaradt, valamint egy mesterséges domb is, amely földjét a tómederből alakították ki valamikor. Az épületben sokáig a kisbéri kórház működött. Forrás
