Die Geschichte des Kunstgeschichtlichen Seminars ist eng mit der Geschichte der ikonologischen Kunstwissenschaft verknüpft. Erwin Panofsky, der angeregt durch Aby Warburgs kulturwissenschaftlichen Forschungen, das theoretische Fundament der ikonologischen Methode legte, baute das Seminar seit 1921 auf. 1926 erhielt er den ersten Lehrstuhl für Kunstgeschichte an der jungen Hamburger Universität. Deren Kunsthistorisches Seminar war auf die Bibliothek der Hamburger Kunsthalle angewiesen; die Arbeitsräume des Seminars befanden sich im Keller des Museums. Außer Erwin Panofsky lehrten Aby Warburg, Fritz Saxl, Edgar Wind und Karoly von Tolnay am Seminar. Zum Kreise dieser Wissenschaftler gehörte auch der am Philosophischen Seminar lehrende Ernst Cassirer. Wie er betrachtete Panofsky die Kunst als ‘symbolische Form‘, die nur eingedenk ihrer geistesgeschichtlichen und historisch-politischen Entstehungszusammenhänge verstanden werden kann.
Nach der Machtübernahme der Nationalsozialisten 1933 wurde Panofsky aufgrund der Rassengesetze entlassen. Panofsky emigrierte in die USA, Saxl und Wind nach Großbritannien. Die meisten Studenten des Kreises um Warburg und Panofsky mußten Deutschland ebenfalls verlassen. Damit wurde auch die Ikonologie aus Deutschland vertrieben. Das Hamburger Seminar sank nach 1933 zu völliger Bedeutungslosigkeit herab. Der kunsthistorische Lehrstuhl wurde dem Seminar entzogen. Erst 1940 wurde er für kurze Zeit mit Hubert Schrade besetzt, der die "Lebenseinheit von Politik und Kultur" im Dienste des NS propagierte.
Nach dem Ende des Zweiten Weltkriegs vertrat Wolfgang Schöne mit seinen Forschungen in Hamburg eine phänomenologisch orientierte und stilgeschichtlich argumentierende Kunstgeschichte. An die ikonologische Tradition der zwanziger Jahre wurde erst in den siebziger Jahren wieder angeknüpft. Mit Horst Bredekamp, Klaus Herding und Martin Warnke entwickelte sich am Hamburger Seminar eine sozialhistorisch argumentierende Kunstgeschichte, die schließlich in der politischen Ikonographie mündete. Heute hat sich das Profil des Seminars methodisch so weit ausdifferenziert, daß in Forschung und Lehre ein breites Spektrum kunstgeschichtlicher Forschungsansätze vertreten ist; so die politische Ikonographie, Materialikonographie, Rezeptionsästhetik, Wissenschaftsgeschichte und Erzählforschung.
Von 1966 an nutzte das Seminar Räume in der Moorweidenstraaße 18. Sie waren von Anfang an zu klein und wurden mit den steigenden Studentenzahlen seit dem Ende der sechziger Jahre immer beengter; immer wieder in Aussicht genommene Umsiedlungen an andere Standorte, wie etwa das Gebäude der Botanik an der Jungiusstraße oder die ehemalige Nordfleischzentrale, wurden nicht realisiert. Es dauerte dreißig Jahre, bis das Seminar 1998 den neuen Flügelbau West neben dem alten Universitätsgebäude beziehen konnte.