Le nom Rouvray provient de rouvre (robur), chêne rouvre en gaulois, autrefois très commun et aujourd’hui très rare. C’est sur cette espèce de chêne que l’on recueillait le gui sacré des druides.

D’après la conformation des fossés trapézoïdaux, il semblerait que ce soit une ancienne villa gallo romaine.

Le Rouvray, vers l’an 960, était une véritable forteresse, dont l’enceinte encore existante, consiste en de larges fossés jadis revêtus de murailles et remplis d’eau. Cet ancien château fort est une place forte pendant la guerre de Cent Ans.

Les bâtiments actuels datent du xviie siècle. Une seule de ses anciennes tours subsiste et l’on voit les fondements des autres. Des mâchicoulis et des tourelles défendaient les portes d’entrée. Le chevet de la chapelle, dont le pignon et la croisée sont tout ce qui en est resté, présente de vastes dimensions, les croisillons sur les murs de la ferme devraient être postérieurs au xviie siècle.