Il ne subsiste rien du premier palais épiscopal qui aurait été édifié sur le site, par l'évêque saint Yves au xiie siècle. Du palais qui accueille Henri IV à l'occasion de son couronnement en 1594, il ne reste que les communs. Le bâtiment central

est élevé durant la première moitié du xviiie siècle. Le pavillon central de la façade, la salle à l'italienne ainsi que la chapelle sont construits au milieu du xviiie siècle.

 
De 1794 à 1804, le palais épiscopal est utilisé par l'administration centrale du département d'Eure-et-Loir. Puis la préfecture s'y installe en 1804 avant de rendre, en 1821, le palais à l'évêché renaissant. À l'issue de la loi de la séparation de l'Église et de l'État, en 1905, les bâtiments deviennent la propriété du département d'Eure-et-Loir. En 1913, celui-ci les met à la disposition de la ville de Chartres. Les soldats cantonnés dans les lieux durant la Première Guerre mondiale saccagent la décoration.

Le bâtiment est laissé à l'abandon jusqu'à ce que la ville de Chartres en fasse son musée des beaux-arts. Celui-ci est inauguré en 1939, mais n'est réellement ouvert qu'en 1948.