Palæet blev opført i perioden 1782-1787 til en tysk prins ved navn Frederik d. 3. af Salm-Kyrbourg. Efter ham havde det forskellige ejere. Napoleon overtog i 1804 Hôtel de Salm og lavede det om til sæde for Æreslegionen. I 1871 blev palæet delvist ødelagt under et oprør i Paris (Kommune-opstanden), men genopbygget efter de originale tegninger takket være medlemmer af ordenen.
Selve palæet har en specielt arkitektur. Forsiden og bagsiden er nemlig vidt forskellige. Forsiden med hovedindgangen vender væk fra Seinen og har en monumental indgang og en søjlegård. Det er klassisk fransk arkitektur med en streng opbygning.