Die Alte Nationalgalerie ist das Stammhaus der Nationalgalerie, deren Sammlung sich heute außerdem auf die Häuser Neue Nationalgalerie, Hamburger Bahnhof - Museum für Gegenwart - Berlin , Friedrichswerdersche Kirche, Museum Berggruen und die Sammlung Scharf-Gerstenberg verteilt.
Die Idee, in Berlins Mitte zwischen Stadtschloss, Dom und Universität eine "Freistätte für Kunst und Wissenschaft" entstehen zu lassen, geht auf Friedrich Wilhelm IV. zurück. Auch der architektonische Grundgedanke der heutigen Alten Nationalgalerie - ein hoch aufgesockelter, antikisierender Tempelbau - stammt vom König selbst. Konkretisiert wurden die Pläne später von dem Schinkel-Schüler Friedrich August Stüler, der zuvor schon das Neue Museum entworfen hatte. Nach dessen Tod vollendete Johann Heinrich Strack, ebenfalls ein Schüler Schinkels, das Museum.
Anlass für den Bau einer Nationalgalerie war die Schenkung des Bankiers und Konsuls Joachim Heinrich Wilhelm Wagener, der seine Sammlung mit Werken Caspar David Friedrichs, Karl Friedrich Schinkels, der Düsseldorfer Malerschule und belgischer Historienmalerei dem preußischen Staat testamentarisch vermacht hatte und 1861 starb. Wagener wünschte, die Sammlung "in einem geeigneten Lokale" der Öffentlichkeit zu präsentieren und zu einer Nationalgalerie auszubauen. Bereits ein Jahr später erhielt Stüler den Auftrag, ein geeignetes Gebäude zu entwerfen. Am 21. März 1876, dem Geburtstag Kaiser Wilhelms I., wurde die Nationalgalerie als drittes Museum auf der Spreeinsel feierlich eröffnet.
Im Zweiten Weltkrieg wurde das Haus mehrfach von Bomben getroffen und schwer beschädigt. Die Sammlung selbst war mit Kriegsbeginn sukzessive evakuiert und unter anderem in den Berliner Flaktürmen am Zoo und im Friedrichshain, später auch in die Salz- und Kalibergwerke in Merkers und Grasleben ausgelagert worden.
Nach Kriegsende wurde das Gebäude provisorisch, aber zügig wieder nutzbar gemacht und bereits 1949 teilweise wiedereröffnet. Ein Jahr später war nach dem ersten auch das zweite Ausstellungsgeschoss den Besuchern erneut zugänglich.
Während der Teilung Deutschlands fanden die im Westteil der Stadt verbliebenen oder dorthin zurückgekehrten Gemälde des 19. Jahrhunderts in anderen Gebäuden, ab 1968 in der neu errichteten Neuen Nationalgalerie und ab 1986 auch im Schloss Charlottenburg als "Galerie der Romantik" eine Bleibe.
Nach dem Mauerfall wurden die gewachsenen Sammlungen wieder zusammengeführt und neu geordnet: in der Alte Nationalgalerie das 19. Jahrhundert, in der Neuen Nationalgalerie das 20. Jahrhundert.
1992 wurde das Architekturbüro HG Merz Berlin mit der Rekonstruktion und der Modernisierung der technischen Einrichtungen der Alten Nationalgalerie betraut. Sie war von 1998 bis 2001 geschlossen; am 2. Dezember 2001, 125 Jahre nach ihrer Einweihung, wurde sie feierlich wiedereröffnet.
