Дедушка писателя по отцу Илья Андреевич Толстой родился в 1757 году.
Его женой стала княжна Пелагея Николаевна Горчакова.
В качестве приданого она получила большое имение в Тульской губернии. Но вести дела усадьбы Илья Николаевич не умел. Он запутался в долгах так, что жить стало не на что. И тогда Илья Николаевич поступил на службу, стал губернатором в Казани.
Род его жены Горчаковой очень древний, возможно, восходит к самому Рюрику. Пелагея Николаевна очень любила своего сына, отца писателя, и своих внуков тоже. Она хорошо говорила по-французски. Этот язык ей был даже ближе, чем русский. Пелагея Николаевна пользовалась особым мылом для мытья рук. Оно давало мыльные пузыри, и это очень удивляло маленького Льва. Заметив интерес детей бабушка стала приглашать внуков на эту процедуру ухода за руками.
Вместе с внуками Пелагея Николаевна собирала в лесу орехи. А так как она была барыней, то происходило это не совсем обычным способом. Бабушка садилась в коляску, но без лошадей. Её коляску везли слуги. Они вкатывали её в гущу орешника. А затем наклоняли ветки с орехами в сторону Пелагеи Николаевны, чтобы она могла их достать. Княжна рвала орехи своими руками и складывала их в мешок. Внуки тоже собирали орехи и отдавали бабушке. Пелагея Николаевна хвалила детей. У Льва Николаевича Толстого остались очень тёплые воспоминания о бабушке.
По материнской линии дедушку писателя звали Николай Сергеевич Волконский.
Он родился в 1753 году. Тогда было принято зачислять на военную службу детей. Вначале Волконский служил в гвардии. В 1787 году Николай Сергеевич удостоился чести сопровождать Екатерину Вторую в Крым. А затем оказался в опале, и был назначен воеводой в Архангельск. Считается, что это произошло из-за конфликта с фаворитом императрицы Потёмкиным.
Вскоре он вышел в отставку и женился. Его женой стала княжна Екатерина Дмитриевна Трубецкая. Поселились они в Ясной Поляне. У супругов родилась дочь Мария, которая оказалась единственным ребёнком в семье. Волконский был настоящим хозяином. Все основные постройки в имении были сделаны им. Князь любил музыку, содержал хороший оркестр. Сейчас это имение навсегда связано с именем писателя Льва Николаевича Толстого.