Pałac Galliera został zbudowany w 1879 roku na zlecenie księżnej Galliera, aby pomieścić jej kolekcję dzieł sztuki, a zaprojektował go architekt Léon Ginain. Pałac, zbudowany w latach 1879–1894, czerpał inspirację z architektury włoskiego renesansu – ma elewację z ciosanego kamienia, okazałe klatki schodowe, mozaikowe podłogi, pomieszczenia z kopułami, tarasy i galerie wychodzące na ogród.
Chociaż budynek ten miał pierwotnie służyć jako muzeum sztuk pięknych, kolekcja księżnej nigdy nie trafiła do Paryża, a po otwarciu w 1895 roku wykorzystywano go do organizowania wystaw czasowych i wydarzeń kulturalnych. W ciągu XX wieku jego rola stopniowo się zmieniała, a w 1977 roku miasto Paryż przeznaczyło go na potrzeby mody. W ostatnich latach muzeum powiększyło się o Galerie Gabrielle Chanel na poziomie ogrodu, dzięki czemu Palais Galliera zyskało więcej miejsca na prezentowanie historii mody, a jednocześnie może chronić delikatne ubrania poprzez starannie przygotowane wystawy. Dzisiaj jego architektura odzwierciedla zarówno arystokratyczne korzenie, jak i współczesną tożsamość jako paryskiego muzeum mody.