Деревянный ампирный особняк на этом месте, в тихом переулке Арбата, был построен где-то в 20-х годах 19-го столетия. Вначале здесь проживала известная актриса Императорских театров Аграфена Тимофеевна Сабурова. Она была зачислена в Московскую театральную труппу «на первое амплуа» в 1814-м и имела огромный успех. Пела в русских операх, но потеряла голос и с 1831-го года играла роли благородных матерей и комических старух, прослужив в общей сложности 40 лет! Потом владение приобрел генерал Сергей Алексеевич Тучков. Летом 1812-го года Тучков был назначен дежурным генералом Дунайской армии и принял участие в наступлении к Брест-Литовску. Осенью этого же года он возглавил 2-й резервный корпус в районе Мозыря, совершил марш к Борисову и успел принять участие в боях на Березине. Но в конце 1812-го был отстранён от должности и отдан под суд по обвинению в разграблении войсками его корпуса имения польских князей Радзивиллов и в присвоении им лично денежных средств. Следствие по его делу было прекращено лишь в 1814-м по приказу императора. В 1826-м году Тучков был военным губернатором Бабадагской области, а с 1830-го — градоначальником Измаила. С 1836-го вышел в отставку по болезни. Помимо военной карьеры, Сергей Алексеевич был масоном, довольно даровитым поэтом и автором прототипа первой русской военной энциклопедии — «Военного словаря».
Отец Александра Ивановича Герцена приобрел этот дом специально для своего сына в 1839-м году. Писатель проживал здесь со своей семьёй с осени 1843-го года до своего отъезда за границу в январе 1847-го. В этих стенах были написаны повести «Сорока-воровка» и «Доктор Крупов», роман «Кто виноват?» и «Письма об изучении природы». А в гости к Герцену приходили Боткин, Белинский, Некрасов, Тургенев, Щепкин. С 1849-го по 1863-ий год в доме проживал Егор Иванович Герцен, сводный брат писателя. Последней владелицей особняка значилась некая Т. А. Лопухина (в 1870-м −1912-м годах). При ней дом был перестроен и утратил свои ампирные формы. Но с тех пор здание сохраняется в неприкосновенном виде. В октябре 1968-го года решением Исполкомома Моссовета здесь был организован музей Александра Ивановича Герцена.