Петр Пашков, как считает большинство искусствоведов, поручил строительство дома Василию Баженову, однако никаких документальных свидетельств этому нет. Судьба Баженова как архитектора была вообще довольно странной: Василий Иванович попал в немилость к императрице Екатерине Великой, которая каждый раз без объяснения причин отстраняла его от строительства. Вероятно, именно поэтому Пашков нанял Баженова тайно, несмотря на запрет императрицы. Кстати, существует версия, что Баженов из-за обид на Екатерину повернул дом задом к Кремлю.
Пашков дом, кстати, стал первым светским зданием в Москве, из окон которого можно было смотреть на постройки Кремля не снизу вверх. Немецкий путешественник Иоганн Рихтер в своих мемуарах со вкусом описывал владение: «Внизу два каменных бассейна с фонтанами в средине. От улицы дом отделяется решеткою чудного узора. Сад, как и пруд, кишит иноземными редкими птицами. Китайские гуси, разных пород попугаи, белые и пестрые павлины находятся здесь на свободе или висят в дорогих клетках».
Перед фасадом на Моховой Пашков разбил сад с террасными лестницами, скульптурой, фонтанами, спускавшимися к набережной. Также при Пашкове бельведер дворца был украшен статуей Марса, а на центральном портике был расположен герб семьи.
После пожара
Дом Пашкова очень сильно пострадал во время нашествия Наполеона: полностью сгорел деревянный бельведер и галереи. С 1815 по 1818 год прежний облик дома восстанавливал известный архитектор Осип Бове. В 1839 году наследники Пашкова разорились, тогда казна выкупила у них дом для Университетского дворянского института, в с 1853 года тут размещалась московская 4-я гимназия.
В 1831 году в Петербурге был создан музей на основе коллекций и библиотеки графа Румянцева. Однако из-за того, что государство не оказывало ему достаточной материальной поддержки, в скором времени появилась идея о переносе музея в Москву. И вот в мае 1862 года в Доме Пашкова распахнули двери Московский публичный и Румянцевский музеи. В этом же году здесь начала работу и Румянцевская публичная библиотека.
Библиотека
После революции коллекции музея были разделены между российским музеям, в здании же осталась только публичная библиотека, открытая в 1862 году — будущая Государственная Российская библиотека.
Сегодня дом Пашкова входит в комплекс зданий Российской государственной библиотеки. В настоящее время в нем расположены нотно-музыкальный отдел и отдел рукописей.