Le château fut construit sous la direction de Philibert Delorme (architecte), Jean Goujon (sculpteur) et Jean Cousin (peintre).
Seule subsiste aujourd’hui de son plan en quadrilatère ( dit "en U" ou encore "en fer à cheval") l'aile gauche, modifiée au milieu du xviie siècle, l'acquéreur de 1804 ayant fait sauter à la mine le corps central et l'aile droite en équerre.
Un des dessins de Primatice annoté a annet (Phèdre et Hippolyte, Musée du Louvre), est sans doute un projet pour les vitraux commandés au maître verrier Nicolas Beaurain en 1548. À Anet, le style de Primatice était également visible dans les anges porteurs des instruments de la Passion sculptés en bas-reliefs à la voûte de la chapelle (in situ) et dans le groupe de la Diane chasseresse qui surmontait l’une des fontaines (aujourd’hui au Louvre).
En juillet 1547, peu après la mort de François Ier, le peintre Léonard Limosin livra à Saint-Germain-en-Laye douze apôtres peints en émail d’après des cartons en couleur de Michel Rochetel, eux-mêmes faits d’après des dessins de Primatice (Étude de drapé pour saint Paul et Étude de drapé pour saint Thomas). Selon les souhaits de François Ier, dont les plaques émaillées portent le « F », ces douze apôtres auraient dû orner les douze pilastres de la chapelle Saint-Saturnin du château de Fontainebleau. Le nouveau roi, Henri II, en décida autrement et les fit placer, dès 1552, dans des boiseries de la chapelle du château d'Anet. Ils sont aujourd’hui au Musée des beaux-arts de Chartres. Leurs cartons servirent pour la réalisation d’une seconde série, non plus au chiffre de François Ier mais à celui de Henri II (musée du Louvre).
Quelques fragments d'architecture et de sculpture furent achetés aux démolisseurs par Alexandre Lenoir, qui les fit transporter à Paris pour nourrir le Musée des monuments français (alors situé dans l'actuelle Ecole des Beaux-Arts) ; en particulier, le portique du corps de logis central, orné d'une figure de Diane, d'un cerf et de quatre chiens, a occupé la cour des Beaux-Arts avant d'être déplacé à nouveau vers Anet.
Cet ornement était à l'origine un automate : le cerf remuait la tête et les chiens remuaient la patte arrière gauche pour marquer les heures ; le groupe actuel est une reproduction, l'original ayant été fondu à la Révolution.
La chapelle fut restaurée de 1844 à 1851 par l'architecte Auguste Caristie, et un portique vint habiller sa façade autrefois masquée par une aile (galerie).
L'ére des Princes
En 1615 le domaine passa des Brézé aux Mercœur, et en 1609 de Françoise de Mercœur l'apporta par mariage à César de Vendôme.
Celui-ci y apporta des modifications nombreuses et jugées désastreuses : déplacement de la fontaine de Diane, remplacement et destruction des vitraux en "grisaille", transformation du parc et démolition de certaines de ses dépendances et de la galerie qui entourait les jardins (modifiés)… mais par la création du grand canal il accrut les nappes d'eau. Il fit bâtir les deux pavillons et l'hémicycle entre l'aile gauche et la chapelle funéraire
Au château il fit retirer les meneaux des fenêtres et les cordons de pierre passant d'une à l'autre, transformer les fenêtres du rez-de-chaussée en portes-fenêtres, plaquer une façade en bossage et orner l'étage d'une ordonnance de huit pilastres à chapiteaux ioniques au centre décoré d'un trophée guerrier de style Louis XIV, enfin fit exhausser de moitié les combles afin d'y gagner des appartements (état actuel).
On lui doit aussi le vestibule, élément le plus pur et authentique par son sol carrelé en noir et blanc et son escalier "très hardi de conception" (Roux) à rampe en fer forgé à son chiffre, réalisé par un maçon local sur les plans de l'inspecteur des Bâtiments du Roi Desgaux. Y fut placée une série de huit bustes d'empereurs romains dont on perd la trace après la vente de janvier 1798.
La gravure de Rigaud montre quatorze autres bustes ornant le mur extérieur du bâtiment principal face au jardin. Roux (1913) en signale huit en marbre blanc ou rose à la Bibliothèque de Chartres et à la Société archéologique d'Eure-et-Loir, et quatre peut-être de même origine dans une collection Champagne, à Dreux.
C'est dans ce cadre somptueux qu'en 1688 le Dauphin fut reçu avec grand luxe.
En 1723, la huitième fille de la princesse de Condé, dont le patrimoine était resté indivis pendant neuf ans, Louise-Bénédicte de Bourbon, duchesse du Maine, hérite d'Anet ; le règlement de cette succession fit vendre la bibliothèque, dont 171 manuscrits sur vélin ayant appartenu à Diane de Poitiers qui y étaient conservés depuis sa mort.
Le domaine et le comté de Dreux passèrent ensuite successivement à ses deux fils, l'un et l'autre célibataires morts sans postérité en 1755 et en 1775, le prince de Dombes et le comte d'Eu, qui avait vendu deux ans avant sa mort à Louis XV - qui visita le château en juin 1749 - une grande partie de ses biens pour l'énorme somme de 12 millions, mais comme cette transaction - coûteuse pour les finances royales - n'avait pas encore été honorée par le roi avant sa mort (1774), elle fut annulée par Louis XVI, en accord avec leur héritier, le duc de Penthièvre, devenu par ces héritages le second propriétaire foncier du royaume, qui rentra ainsi en possession d'Anet.
Vestiges du « mobilier Penthièvre »
Le 12/12/2012 deux de ses éléments figurèrent dans une vente publique parisienne à Drouot-Richelieu :
L'ère des destructions
En 1793, le duc mourut dans son lit dans son château de Bizy, ayant légué son domaine à sa fille, Louise Marie Adélaide, duchesse d'Orléans, qui y vivait avec lui ; cinq semaines après, ses biens furent confisqués au profit de la Nation. Le château, placé sous séquestre, ne fut pas entretenu pendant quatre ans. En 1794 le mobilier fut mis en vente à l'encan. Le 10 juin 1795, Moulins, commissaire de la Sûreté Générale, vint faire procéder à la destruction du tombeau de Diane de Poitiers; le caveau fut ouvert, le cercueil forcé, et ses restes transportés au cimetière du bourg, dont ils ont été depuis exhumés pour être replacés dans le caveau sépulcral lors d'une cérémonie publique.
Le 1er février 1798 le domaine fut vendu en quatre lots ; celui comprenant château et jardins fut acquis trois millions deux cent mille francs par les sieurs Driancourt et Baudoin… qui le transmirent aussitôt aux banquiers Ramsden et Herigoyen ; ceux-ci le dépouilleront de ses éléments extérieurs et intérieurs pour les vendre.
En 1804 Demonti fils, nouveau détenteur, continua le dépeçage en abattant les arbres du parc et faisant démolir à l'explosif les deux tiers de la demeure (corps central et aile droite), ce qui finit par indisposer la population ; en 1811 la chute mortelle d'un ouvrier qui commençait à dégarnir la toiture de l'aile gauche déclencha une émeute qui le contraignit à abandonner son entreprise de liquidation et à s'enfuir.
En 1820 le château vide et abandonné est racheté par la duchesse douairière d'Orléans, qui meurt neuf mois plus tard, et son fils, le futur roi Louis-Philippe, devant l'ampleur des réparations à entreprendre, le vend à Louis Passy, receveur général (des Finances ?) du département de l'Eure ; celui-ci ne l'habite pas et ne fait que clore par un mur l'extrémité restée béante de l'aile gauche en quoi se réduit désormais le grand château…
L'ère des Restaurateurs
En 1840 il est acquis en mauvais état par le comte Adolphe de Riquet de Caraman, qui y entreprit la première campagne de restauration : réparation et aménagement de l'intérieur des pavillons et la moitié Sud de l'aile - le vestibule servait de charretterie et le reste des bâtiments côté jardin n'avait plus de toiture - restaurer le portail d'entrée, restituer le groupe des animaux en bronze et ajouter un péristyle à la chapelle, qui reçoit alors des autels.
En 1860, à la suite des revers de fortune des Caraman, Anet est racheté par l'agent de change parisien Ferdinand Moreau, qui mènera à partir de 1863 une seconde campagne de grands travaux : rétablissement des toitures, reconstruction de l'aile Nord par l'architecte Bourgeois, qui copia l'autre extrémité restée quasi-intacte, puis reconstitution de la décoration et de l'ameublement avec l'aide du peintre Faivre-Duffer, qui y retrouva les Apôtres, quatre grandes tapisseries, des fragments d'anciens vitraux (reposés dans la fenêtre de la bibliothèque), des meubles, panneaux et débris peints.
En 1913 Roux signale le pavement d'un « petit cabinet de curiosités » provenant du château d'Ecouen, ainsi que les panneaux des battants de portes partiellement dorés de la salle des Gardes (1er étage), et des petits pavés au chiffre de Diane de Poitiers qui sont d'origine.
Moreau reconstituera la propriété par l'achat du « Grand Parc » en 1868. En 1879 le cryptoportique (soubassement du corps central) enfoui et considéré jusque-là comme détruit, fut redécouvert.
En 1914-1918 sa veuve, sa fille, héritière du château en 1884, et son gendre le comte Guy de Leusse, y installèrent, comme d'autres châtelains français, un hôpital auxiliaire de La Croix-Rouge ; Mme de Leusse le lèguera en 1944 à sa petite-fille, Mme Charles de Yturbe ; depuis 1998, Jean et Alexandra de Yturbe en sont propriétaires.
La chapelle funéraire, la cour intérieure, la chapelle qui s'y trouve et une partie du château se visitent.
La chapelle intérieure est une rotonde décorée de pilastres de marbre blanc et des statues des apôtres, et couverte par une coupole à caissons, dont la structure originale composée de cercles entrelacés de caissons donne l'illusion d'une coupole haute d'une dizaine de mètres, et mesurant en réalité 3,5 mètres de haut. Ce trompe-l'œil a été conçu par l'architecte Philibert Delorme.
Propriété privée et habitée, le château est ouvert au public ; ses pièces sont meublées par certains meubles d'époque, et des achats plus récents.
Le château fait l’objet d’un classement au titre des monuments historiques depuis le .