Militærakademiet var tiltænkt unge mænd, der ønskede at gøre karriere ved militæret, men som ikke havde råd. Napoleon d. 1. blev i 1784 optaget som elev. Dengang var han 15 år. Han forlod stedet et år senere med en udtalelse om, at "han kunne drive det vidt under de rette omstændigheder".
Gaden bag ved militærkomplekset hedder Avenue de Lowendal og er opkaldt danskeren Ulrik Frederik Løvendal. Han var dansk rigsgreve, men blev senere fransk marskal. Som leder for en del af den franske hær, var han med til at besejrede Englænderne og Hollænderne ved Fontenoy i 1745. Den halvrunde plads bagved Akademiet på Avenue de Lowendal hedder da også Place de Fontenoy.
Hovedbygningen er i nyklassicistisk stil og er opført af arkitekten Ange-Jacques Gabriel, som bl.a. anlagde den store Concorde plads. Ved hovedbygningens indgang ses der store korinthiske søjler, et dekorerede gavlfelt og en firkantet kuppel.