В 1784 году, богатый помещик, сын Астраханского генерал-губернатора, П.Е. Пашков, приобрел этот участок для строительства усадьбы.
Построенный всего за два года, с 1784 по 1786 год, дом Пашкова является блестящим образцом русского зодчества. Здание было возведено по проекту архитектора В.И. Баженова.
Наследники Пашкова, в начале 19-го века, продали дом Московскому университету.
Первоначальный облик здания отличался от того, что мы видим сейчас. Перед домом был разбит прекрасный сад, огороженный изящной оградой. Парадная лестница, украшающая здание в настоящее время, была построена по проекту М. Долганова уже в 1934 году.