Дом Волконского – самое старое каменное здание в усадьбе. Предполагается, что в нем некоторое время жил дед писателя князь Н. С. Волконский в то время, когда шло строительство предназначенного для него большого дома с флигелями. Вероятно, дом был возведен не Волконским, а появился ранее. При князе в центральной части дома располагались мастерские по изготовлению полотна, ковров, обработке кожи. При Толстом здесь жила прислуга, находились прачечная и «черная кухня». В восточном крыле Дома Волконского размещалась художественная мастерская дочери Толстого Татьяны Львовны.
Предметом гордости деда Толстого князя Н. С. Волконского была большая оранжерея, которую он построил на поляне над Верхним прудом. В те времена оранжереи были непременной принадлежностью дворянской усадьбы.
В них выращивали дыни, персики, абрикосы, ананасы, клубнику и землянику к рождественскому столу, не говоря уже о разнообразных экзотических цветах. Вероятно, такой была и оранжерея князя Волконского.