Дворец Галльера был построен в 1879 году по заказу герцогини Галльера для размещения её коллекции произведений искусства; его спроектировал архитектор Леон Жинаэн. Этот дворец, построенный в 1879–1894 годах, воплотил в себе мотивы итальянской архитектуры эпохи Возрождения: фасад из тесаного камня, парадные лестницы, мозаичные полы, купольные залы, террасы и галереи с видом на сад.
Хотя изначально здание задумывалось как музей изобразительных искусств, коллекция герцогини так и не попала в Париж, и после открытия в 1895 году здесь стали устраивать временные выставки и культурные мероприятия. На протяжении XX века его роль постепенно менялась, и в 1977 году город Париж посвятил его моде. В последние годы музей расширился за счёт галерей Габриэль Шанель, расположенных на уровне сада, что дало «Палас Галльера» больше места для представления истории моды и одновременно позволило защитить хрупкие наряды благодаря тщательно продуманным выставкам. Сегодня его архитектура отражает как его аристократическое прошлое, так и современный облик музея моды в Париже.