Фамилию Милюкова томичи помнили не потому, что он носил купеческий кафтан и держал лавку. Таких людей в городе было немало. Запоминали тех, после кого оставалось не пустое место, а дело, которым пользовались другие. 1861 год для России стал временем тревожным. Отмена крепостного права переменила привычный порядок, по дорогам пошли люди в поисках заработка, купеческие капиталы стали двигаться осторожнее. Томск жил своей сибирской жизнью, торговал, строился, принимал обозы, ссыльных, чиновников, золотоискателей...