Non loin du château, après avoir passé le pont qui enjambe la Foussarde, on découvre l’ancienne tuilerie du château, créée pour la construction du château, des fermes, basses cours et autres annexes et sans nul doute d’une bonne partie
Plusieurs manoirs ornent la campagne alentour, dont deux sont inscrits au titre de monument historique :
C'est en venant de La Croix-du-Perche que le château de Frazé est le plus visible. Il forme un ensemble où il est facile de distinguer plusieurs époques.
L'église Notre-Dame, d'origine romane, s'est agrandie au xvie siècle de quatre chapelles à pignons.