Prima che l'edificio diventasse un museo d'arte, al suo posto sorgeva un'elegante stazione ferroviaria che ha visto milioni di visitatori recarsi a Parigi. Questa stazione era conosciuta come Gare d'Orsay ed era il primo terminal ferroviario urbano elettrificato al mondo.