Le conservatoire a été créé en 2005 afin de rappeler la mémoire des carriers paveurs et meuliers de la région.

Créé sous l'impulsion de l'association Épernon Patrimoine et alentours et aidé pour les bâtiments par le conseil régional du Centre, le Conseil général d'Eure-et-Loir et la municipalité, ce conservatoire explique la dureté de la vie sociale.

Le bâtiment est une ancienne étable, écurie et bergerie du xixe siècle à laquelle a été adjointe par Madame Kelsen Plassard, dont l'époux est l'un des trois directeurs du grand magasin "le bon marché" de Paris, un bâtiment en forme de rotonde couvert d'ardoise en provenance de l'exposition universelle de 1900, du pays de Caux (servant d'aire de battage). C'est dans cet espace que se tenait la ferme modèle de ce grand magasin.

La ville d'Épernon a connu une forte activité dans les carrières de grès et de meules de son bassin d'extraction, y employant jusqu'à plus de 1 200 employés. Le travail était harassant et la mécanisation arriva trop tard, à une époque où les carrières étaient déjà presque toutes épuisées.

 

On attribue à Vauban le choix des carrières de grès d'Épernon lorsque Louis XIV décida de détourner les eaux de l'Eure pour faire jaillir les grandes eaux de Versailles. Des barges, chargées de pierres, descendaient la Drouette spécialement canalisée, pour alimenter le chantier de l'aqueduc de Maintenon.