Sur un site défensif naturel s'installa au XIe siècle une première forteresse dont il ne reste que quelques traces dans les rochers. Pendant la Guerre de Cent Ans, elle fut occupée par les Anglais, mais le sénéchal de Poitou l'assiégea et la reprit en 1435. Des boulets de pierre de 100 kg attestent qu'il dut employer un mangonneau (sorte de catapulte) pour obtenir la reddition de la garnison. Dès la paix revenue, un logis fut reconstruit au bord de la falaise et on lui ajouta une tour escalier vers 1500. Ruiné au moment des guerres de religion et abandonné, il fut reconstruit en 1617 par son nouveau propriétaire, Jean de Conan, qui l'encadra de deux échauguettes "en poivrière". Une étroite terrasse surplombant le vide fut ajouté sous le règne de Louis XIV.
