Ce château fort en briques fut édifié à la fin du xive siècle par Jeannet d'Estouteville.

On cite comme seigneurs Jean IV de Beauvau (1421-1503), Thibaud de Sancerre (?), puis Maximilien de Béthune, duc de Sully, qui y vécut 24 ans et y mourut en 1641

La demeure reçut la visite des rois Charles VI, Louis XI, François Ier et Henri IV.

Son parc est conçu "à la Française" et ses perspectives rejoignent le rond de Diane (statue) aménagé au xviiie siècle par le 6e duc de Sully.

Le 6 octobre 1812, le marquis de Pontoi-Pontcarré l'acquit avec la terre de l'Aubespine pour 900 000 francs; il fut restauré à grands frais par son fils Jules-Frédéric-Paul (1817-1903) marquis de Pontoi, Camus de Pontcarré, conseiller général de 1848 à 1857, député le 8 février 1871, maire de Villebon de 1843 à 1903; il avait épousé le 17 septembre 1839 Elisabeth-Marie Denois (+ 1897), fille du baron Denois, ancien consul général de France.

Le 30 avril 1853, sur demande du Préfet d'Eure-et-Loir et avis de Prosper Mérimée, inspecteur des Monuments Historiques, il fut proposé de classer le château ("le propriétaire, même sans promesse de subvention prochaine, est disposé à prendre l'engagement pour lui et ses successeurs, de conserver le monument, de concourir à la dépense de restauration, et de laisser exécuter les travaux, etc"), mais il ne le sera que le 5 mars 1927.

Il y séjourna en juillet suivant, comme il l'écrit à Mme de Boigne : "Je reviens de Villebon où j'ai passé deux jours (...) Le château est magnifique. Seulement il faudrait pour bien faire les choses y dépenser un petit million en ameublements. Les réparations m'ont paru faciles à faire, et j'espère que la Commission (des Monuments Historiques) y aidera. Le soir on lève les ponts levis et on entend des bruits de chaîne qui ne se trouvent plus que là et dans les romans de Mrs Radcliffe".

Il devait s'y trouver le mobilier de salon comprenant, outre quatre fauteuils et quatre rideaux, un rare canapé aux "joues" latérales pouvant s'abaisser afin de former lit de repos, encore recouvert de velours et damas de soie ornés du chiffre de la seconde épouse de Sully, Anne de Courtenay (+ 1589) qui est conservé à l'ex-hôtel de Béthune-Sully à Paris, actuel siège du Centre des Monuments Nationaux.

Le château et la chapelle sont classés monument historique depuis 1927, le colombier du xviie siècle est inscrit depuis 1981.

Une reproduction du château a servi aux publicités du chocolat Guérin-Boutron au xixe siècle, qui fut exposée au musée national des arts et traditions populaires de Paris. Cette reproduction n'est plus visible depuis la fermeture du M.N.A.T.P. sur décision du Ministre de la Culture et de la Communication du printemps 2005; son démontage commença en 2010. Ses collections transportées à Marseille forment le cœur d'un nouveau musée, le Musée des Civilisations de l'Europe et de la Méditerranée (M.U.C.E.M.), consacré surtout à la Méditerranée; la reproduction n'y est pas exposée.