Zanim budynek stał się muzeum sztuki, na jego miejscu stał elegancki dworzec kolejowy, który odwiedzały miliony turystów udających się do Paryża. Stacja ta była znana jako Gare d'Orsay i była pierwszym na świecie zelektryfikowanym terminalem kolei miejskiej.