Эту усадьбу построили Салтыковы в середине XVIII века. Здание дошло до нас с небольшими переделками.
Из последующих владельцев дома наиболее известен Александр Дмитриевич Чертков. Он собрал здесь уникальную библиотеку посвященную российской истории, самую большую на то время.
Пушкин, Погодин, Жуковский, Гоголь, Л. Толстой, и др. работали в этих стенах и были друзьями Черткова.
Сын Черткова - Григорий подарил библиотеку городу в 1871 году.