Дворец Галльера был построен в 1879 году по заказу герцогини Галльера для размещения её коллекции произведений искусства; его спроектировал архитектор Леон Жинен. Дворец, построенный в 1879–1894 годах, воплотил в себе черты архитектуры итальянского Возрождения: фасад из тесаного камня, парадные лестницы, мозаичные полы, купольные залы, террасы и галереи с видом на сад.
Хотя изначально здание задумывалось как музей изобразительных искусств, коллекция герцогини так и не попала в Париж, и после открытия в 1895 году здесь стали проводить временные выставки и культурные мероприятия. На протяжении XX века его роль постепенно менялась, и в 1977 году город Париж посвятил его моде. В последние годы музей расширился за счёт галерей Габриэль Шанель, расположенных на уровне сада, что дало «Пале Галльера» больше места для представления истории моды и одновременно позволило защитить хрупкие наряды благодаря тщательно продуманным выставкам. Сегодня его архитектура отражает как его аристократическое происхождение, так и его современный облик — музей моды в Париже.