Музей находится в центре Москвы, напротив Храма Христа Спасителя. Здание было построено в 1898-1912 гг. архитектором Р.И. Клейном в стиле неоклассицизма, является памятником архитектуры. Музей был создан И.В. Цветаевым (отцом поэтессы М.И. Цветаевой) на основе кабинета изящных искусств при Московском университете, преобразованного им в коллекцию копий античной и ренессансной скульптуры. Открыт в 1912 г. под названием Музей изящных искусств императора Александра III при Московском университете. С 1937 г. носит имя А.С. Пушкина.

Первоначально в музее находились скульптурные копии, произведения живописи голландской, французской и итальянской школ, античные вазы и монеты. Позже египтолог В.С. Голенищев-Кутузов составил коллекцию памятников культуры Древнего Египта. После Октябрьской революции 1917 г. собрание музея значительно расширилось за счёт национализированных частных собраний французской живописи нового времени, в частности - произведений импрессионистов из коллекций И.А. Морозова и С.И. Щукина. Кроме того, из Третьяковской галереи в музей поступило собрание С.М. Третьякова, коллекционировавшего, в отличие от брата (см. П.М. Третьяков), западноевропейскую живопись. После Второй мировой войны в коллекцию музея поступили художественные экспонаты, вывезенные советскими (см. Великая Отечественная война) войсками с территории Германии и из освобождённых от фашизма стран, в их числе - знаменитая коллекция археолога Г. Шлимана «Золото Трои».

В 1949-1953 гг. помещения музея отдали под «Выставку подарков И. В. Сталину от народов СССР и зарубежных стран», но после смерти И. В. Сталина, экспозиционная деятельность музея была восстановлена и продолжает расширяться.

В 1985 г. по инициативе коллекционера И.С. Зильберштейна и директора музея И.А. Антоновой был создан Музей личных коллекций, который в 1994 г. стал филиалом Музея изобразительных искусств. При Музее располагаются научно-реставрационные мастерские и специальная Научная библиотека, её архив касается в основном искусствоведения.

В 2005 г. коллекция по искусству стран Европы и Америки XIX-XX веков была перенесена во флигель усадьбы Голицыных, а постоянную экспозицию музея пополнили картины, долгое время находившиеся в запасниках.

Сейчас в музее выставлены свыше 560 тысяч произведений живописи, графики, скульптуры, произведений прикладного искусства, памятников археологии и нумизматики, художественной фотографии.