На этой картине Левитан изобразил грустный осенний пейзаж, который навевает мысли о быстро ушедшем лете и о скоротечности бытия. На заднем плане виднеется двухэтажный деревянный особняк с мезонином, который выглядит несколько заброшено и придаёт сюжету нотки печали и запустения.
Домик выглядит совсем просто и обыденно, однако в нём разгорались нешуточные любовные страсти и шла настоящая борьба за сердце самого художника.
Левитан изобразил на картине имение Горка, расположенное на берегу Островенского озера. Усадьба принадлежала тайному советнику Турчанинову, с женой которого у Левитана завязались романтические отношения.
Художник некоторое время жил в Горке, где Анна Турчанинова построила для него мастерскую. Там мастер создал много прекрасных работ, включая знаменитую «Золотую осень», а деревянный двухэтажный особняк он изобразил не только на картине «Осень. Усадьба», но и на своей знаменитой картине «Март».
Несмотря на активное творчество в Горках, жизнь художника совсем не была спокойной. Дело в том, что в усадьбе за его сердце разгорелась нешуточная битва между матерью и дочерью.
Анна Турчанинова приезжала в имение не одна, а со своими дочерьми. Одна из дочерей — Варвара — без памяти влюбилась в молодого талантливого Левитана и стала настоящей соперницей своей матери.
Учитывая, что совсем ещё недавно за художника шла борьба между Турчаниновой и Кувшинниковой, он был совсем не рад новым столкновениям женщин. Из-за стресса он даже пытался застрелится, но, к счастью, всё обошлось.
Из воспоминаний свидетельницы тех событий писательницы Татьяны Щепкиной-Куперник:
«Но и дальнейший роман Левитана не был счастлив: он осложнился тем, что старшая дочка героини влюбилась в него без памяти и между ней и матерью шла глухая борьба, отравившая все последние годы его жизни».
Об этих отношениях известно немного. Исследователям не очень понятно, то ли Варя не так поняла доброго отношения Левитана и засыпала его любовными письмами, то ли он действительно был очарован юной красавицей и не смог определиться с чувствами. Так или иначе, возникла ситуация, которую очень хорошо охарактеризовал Михаил Чехов:
«Он завел там очень сложный роман, в результате которого ему нужно было застрелиться или инсценировать самоубийство».
На помощь, как и раньше, пришёл Антон Чехов, который в очередной раз приехал выводить друга из депрессии. При этом он, как и в случае с «Попрыгуньей», снова «выжал» пользу из ситуации: написал «Анну на шее» и «Дом с мезонином».
Нешуточные любовные страсти плохо сказывались на сердце Левитана — оно не выдержало и остановилось, когда художнику было всего 39 лет.
Неизвестно, были ли на похоронах Кувшинникова и Турчанинова, но Чеховы приехать не смогли. В последний путь художника провожали коллеги — срочно приехавший из-за границы Серов, Юон, Переплетчиков и многие другие.