Den karakteristiske bygning, som Institut de France ligger i, er fra slutningen af 1600-tallet. Førsteminister og Kardinal Mazarin gav tre dage før han døde i 1661 hjælp til at opføre bygningen. Det var meningen, at det skulle blive en læreanstalt for elever fra de områder, der blev Frankrigs under hans ministertid. Der var 4 områder, hvor det ene var Alsace. Denne fine læreanstalt kom til at hedde Collége des Quatre-Nations, men bygningen blev overdraget til instituttet i 1805 under Napoleon d. 1.
I dag støtter Institut de France forskellige kunstnere, videnskabsfolk, forfattere m.m. De uddeler hvert år forskellige priser, støtter forskellige projekter, udgiver tidsskrifter og holder møder. Der er 325 valgte medlemmer.
Den kendte arkitekt Le Vau har tegnet den overordnede plan for bygningen. Han placerede den ned til Seinen, så den kunne ses fra (kongepaladset) Louvre. Den har en markant kuppel, som er delvist guldbelagt, og som er tydelig i det parisiske bybillede.