Drégely a XIII. század elején, még csak "terra"-ként szerepel, de 1274-ben már "Dragul" néven falu, amely a Kacsics nembeli Marót birtoka, aki azonban a lázadó kunokhoz csatlakozott, ezért IV. László király e birtokától megfosztotta és azt a Hunt-Pázmán nemzetségbõl származó Dersnek és Demeternek adományozta.
Várát elsõ ízben egy 1285-ben kelt oklevél említi "Castrum Dragul" alakban, mint e nemzetség birtoka, mmelyet feltehetõen Demeter comes épített. 1311-1312 között Csák Máté kezén volt, akit a nyitrai káptalan 1312. május 26-án kelt levele "princeps"-nek, fejedelemnek nevez. Zsigmond király 1390-ben Tari László mesternek, Ilsvai Leusták ajtónállómesternek zálogosította el, azonban Albert király 1438-ban az õt megkoronázó Pálóczy György esztergomi érseknek adományozta. Ennek halála után utódjának, Széchy Dénesnek birtokába került, majd ezt követõen az esztergomi érsekségé lett.
Drégely 1522-ig csak az érsekség várkastélyaként szerepelt.
A vár történelmi jelentõsége a török betörés korában kezdõdött meg. A mohácsi csatavesztés után ide menekült Várday Pál érsek, késõbb pedig a király tartott benne õrséget. Esztergom és Nógrád eleste után Várday Szondy Györgyöt nevezte kis a drégelyi vár parancsnokává.
Veszprém bevétele után a török a Hont vármegyei várak ellen fordult és 1552. július 6-án Ali basa vezetésével 12000 fõnyi török sereg érkezett Drégely vár falai alá. A vár feladására történt felszólítás visszautásítása után azonnal megkezdte a mindössze 146 emberrel védett Drégely ostromát, 4 nap után 1552. július 10-én el is foglalta azt.
Az ostrom során rommá lõtt várat a török már nem építette fel, hanem a vár alatti Palánk falu területén 1575-ben palánkkal vette körül a templomot.
