Le Château date du XVIIIe siècle. Il a été bâti sur l’emplacement d’un ancien château fort dans lequel résidaient les Seigneurs de Nontron. On peut encore en voir, dans le sous-sol du Château actuel, des salles voûtées et les bases d’un donjon datant de l’époque où Roger, Comte de Limoges, et sa femme Euphrasie donnent par testament, du 19 mai 785 le château de Nontron aux moines de l’Abbaye de Charroux en Poitou, qui devaient fonder 19 ans plus tard le Monastère Saint-Sauveur. Le château prit alors le nom de Fief des Peytavis à cause des abbés poitevins qui le possédaient.
Le château fut cédé aux vicomtes de Limoges en 1258, ces derniers étant mieux en état pour défendre un domaine de ce genre. Dans le parc en terrasses dominant le Bandiat, existe encore un petit bastion avancé qui surveillait l’accès de la vallée. Huit voûtes soutenant la première terrasse donnent à l’ensemble un aspect assez grandiose. Le Château fut incendié en 1672 et en 1713.
Le Château actuel fut reconstruit à l’emplacement du premier entre 1768 et 1772 par le Marquis de Laire, Président du Parlement de Bordeaux, qui le céda au Comte de Laramière, qui le vendit à son tour à M. De Mazerat, dernier Juge sénéchal de Nontron avant la révolution, qui acheva sa construction et l’embelli. Il passa successivement à Mme de Lagorne (petite-fille du précèdent possesseur) et, par succession, à son petit-fils le Comte de Saint-Sernin. Le château fut ensuite acheté par Marie-Camille de Monneron au milieu des années 1970. La Commune de Nontron est maintenant propriétaire depuis 1984.
