C'est en venant de La Croix-du-Perche que le château de Frazé est le plus visible. Il forme un ensemble où il est facile de distinguer plusieurs époques.

Construit sur une ancienne motte féodale encore visible et totalement détruit pendant la guerre de Cent Ans, il a été remplacé dans la seconde moitié du xv^e siècle par le château dont on voit maintenant les vestiges. La tour Saint-François est restée en l'état avec son soubassement de grison et ses rangs de pierre blanche. Sur le cercle à mi-hauteur se déroule la cordelière de Saint-François-d'Assises, avec ses torsades et ses nœuds. Au xvi^e siècle on ajouta un bâtiment Renaissance, puis au xvii^e et xviii^e siècles, de nouvelles constructions furent édifiées.

L'ensemble a été rénové au xix^e siècle, puis dans la première moitié du xx^e siècle au parc orné de jardins à la française. Aujourd'hui, le château est ouvert à la visite.