Между 1810 и 1820-х годов участник Отечественной войны 1812 года Георгий Бенардаки строит в Таганроге одноэтажный особняк, обращенный лицевой стороной к переулку Варвациевскому (сегодня он называется Лермонтовский). Семья Бенардаки прожила в этом доме до Переезда в Санкт-Петербург, после чего в 1874-м году здание выкупил промышленник Яков Соломонович Поляков.
Поляков вел бизнес по строительству железной дороги, соединяющую Таганрог и Ростов-на-Дону, а также финансировал строительство здания железнодорожного вокзала (сегодня это здание “Старого вокзала”) и вел активную банковскую деятельность, будучи учредителем нескольких крупных местных банков.
Чтобы здание приняло современный вид, Поляков пригласил принять участие в строительстве петербургских архитекторов.
После революции дом был передан под административные учреждения, а при немецкой оккупации в здании разместили городской магистрат.
