Усадьба имеет очень интересную историю. Более трех веков назад расположилась на живописных берегах р.Усманки деревенька Алексеевка.
Её владелец Алексей Семенович Лосев основал здесь родовое поместье. Над рекой вырос усадебный дом, пустил свои дорожки усадебный парк с системой прудов и заиграл колокольным звоном красивейший храм.
В последней четверти XVIII столетия поместьем стала управлять дочь Лосева – Дарья Алексеевна (во втором браке – Шатилова). При ней особняк был достроен. Затем он перешел по наследству внуку Лосева – титулярному советнику Николаю Шатилову, который был женат на родной сестре выдающегося русского композитора Александра Алябьева. Шатилов писал театральные пьесы, а сам стал прототипом либерального болтуна Репетилова из комедии Грибоедова «Горе от ума» (Грибоедов был сослуживцем Шатилова).
В период с 1819-го по 1830-й год Алябьев с удовольствием гостил в усадьбе Шатилова. Именно здесь, под Воронежем, композитор написал многие романсы, водевили, а также комическую оперу, вошедшую в Золотой фонд русской классической музыки.
В 1837 году усадьба была отписана дочери Шатилова – Софье Николаевне, которая вышла замуж за барона Александра Сталь фон Гольштейна, полковника Гродненского Гусарского полка.
В том же полку служил Лермонтов, известен такой его экспромт:
Русский немец белокурый едет в дальнюю страну,
Где косматые гяуры вновь затеяли войну.
Едет он, топим печалью, на могучий пир войны;
Но иной, не бранной сталью мысли юноши полны.
Потомки Сталь фон Гольштейна владели поместьем вплоть до 1917 года.
После Октябрьской революции бывшая усадьба находилась в ведении обкома ВКП(б). В 1972 году во время визита в Воронеж здесь останавливались Фидель Кастро и Алексей Косыгин. Считается, что непринужденная обстановка старинной усадьбы способствовала разрешению важных вопросов советско-кубинского сотрудничества.
В 2010 – 2012 годах шло восстановление исторического ансамбля.
Опытные специалисты обнаружили в господском доме сохранившиеся детали интерьера и внешнего декора XVIII века. Поздние конструктивные и декоративные элементы были убраны. Таким образом, в процессе скрупулезной реставрации усадьбе возвращен изначальный облик.