I 1300-tallet blev grunden købt med henblik på at opføre en bolig for abbeder, der besøgte Paris. Det nuværende palæ er opført i slutningen af 1400-tallet og er et af kun to palæer i Paris fra Middelalderen, omend den sene Middelalder.
Palæet er opført i flammegotisk stil med megen udsmykning. Den gotiske stilart blev i 1500-tallet afløst af renæssancen, hvor man fulgte helt andre ideer, når bygninger skulle opføres.
Hovedbygningen ligger mellem gården og haven, hvilket var normalt for palæer omkring den tid og senere. Men opbygningen er uregelmæssig i modsætning til senere palæer. De to fløje ud til gården er asymmetriske og har forskellige størrelser. Bag hovedbygningen ses et kapel, som vender ud mod haven.
Haven blev åbnet for offentligheden i 1971. I dag er haven bygget op omkring nogle af de temaer, som de udstillede genstande på museet viser. De kunne f.eks. være nogle af de planter, som vægtæpperne på museet viser.