Dès le 9e siècle, une maison-forte fut élevée à l'emplacement du château. En 1130, Hugues II de Châteauneuf, de retour de captivité d'outre-Manche, fit construire le donjon auprès du vieux château. Accolés au donjon,

les bâtiments sont constitués essentiellement de deux volumes décalés dont les toitures en pavillon ont été reliées. En partie basse et à l'intérieur se devinent les vestiges d'anciennes structures.