Изначально на месте нынешней библиотеки был деревянный особняк коллежского советника Чонжина, построенный в 1770-м году. В XIX в. на его месте поставили уже каменный особняк. В 1819-м г. к нему пристроили боковые флигели, здание приобрело современный вид. В 1850-х усадьбу выкупил купец Мамонтов, провел масштабный ремонт и установил знаменитую чугунную лестницу. В 1882-м г. Мамонтовы продают особняк купцу Мухину, так как он стал им мал. А в 1912 г. наследники купца перепродают усадьбу городу под устройство библиотеки...