Le château de Madame de Graffigny est au cœur du vieux village. C'est une belle maison de maître du 18e s., reconditionnée en 1865, posée dans un jardin enclos de hauts murs ( (à l’intérieur, belle cheminée Ecole de Nancy classée). Propriété de la ville de Villers, elle accueille réceptions et expositions temporaires (horaires à consulter sur le site de la ville de Villers en fonction des évènements).
Dans le jardin, se trouvent deux cèdres du Liban plantés par Mathieu de Dombasle au 19e s. Son parc accueille au début de septembre les fêtes des vendanges.
Le nom du château rappelle sa plus illustre propriétaire, Françoise d'Apponcourt, épouse de Graffigny, femme de Lettres ayant entretenu une correspondance suivie avec Voltaire et Diderot.