Le Volksbund Deutsche Kriegsgräberfürsorge ou Service d'Entretien des Sépultures Militaires Allemandes a été chargé par le gouvernement allemand d'aménager cette nécropole militaire de regroupement pour les victimes de la Seconde Guerre Mondiale au début des années 60.
Ancien cimetière américano-allemand, il devient exclusivement allemand après la guerre et l'inhumation des soldats américains à Saint-Avold. 5000 soldats allemands resteront sur place, fin 1944.
A partir de 1957, le Volksbund a commencé à rechercher et à regrouper à Andilly les corps des soldats allemands tombés dans onze départements aux alentours.
C'est ainsi qu'avec plus de 33 000 sépultures, la plus grande nécropole militaire allemande a été créée en France, à Andilly.