У первого графа Толстого было два сына: старший Иван, погибший вместе с отцом в промозглой сырости соловецкой тюрьмы, и Пётр. От них и идут две ветви графов Толстых. Старшая ветвь от Ивана. Он был женат на Прасковье Михайловне Ртищевой и имел сыновей Василия, Андрея, Бориса, Фёдора и Петра. Из них заметно выделяется действительный статский советник Андрей Иванович Толстой (1721-1803). Службу он начал простым солдатом, участвовал в войне со шведами, был воеводой в Свияжске, возглавлял городской магистрат в Москве.
В 1745 году обвенчался с 18-летней москвичкой, княжной Александрой Ивановной Щетининой (1727-1812). Именно Андрей Иванович и получил прозвище "Большое гнездо", поскольку Александра Ивановна родила ему 23 ребёнка. До зрелого возраста из них дожили десять. Пётр (1746—1822), Иван (1747—1818), Василий (1753—1824), Илья (1757—1820), Фёдор (1758—1849), Андрей (1771—1844) и четыре дочери: Анна (в зам. Бахметьева), Александра (в зам.1. Гурьева, 2. Перфильева), Мария (в зам. Арсеньева) и Елизавета (в зам. Боборыкина).
У Петра будет сын Фёдор, скульптор-медальер, вице-президент Академии Художеств и сын Константин (отец поэта и драматурга Алексея).
У Ивана будет сын Фёдор, знаменитый авантюрист, прозванный Американцем, участник кругосветного плавания. Фёдор издаст стихи своей умершей в юности дочери Сары, а В.Г. Белинский откликнется на этот сборник своей рецензией.
И дочь Мария ( в зам. Лопухина)
Илья станет казанским губернатором, а его внук Лев Николаевич - великим русским писателем.
Фёдор Андреевич, благодаря удачному браку, разбогатеет и с успехом займётся любимым делом - собиранием старинных рукописей.
В его огромной библиотеке служил библиотекарем известный археограф Павел Строев (сотрудник Карамзина в работе над Историей государства Российского). Большая часть толстовского собрания рукописей, первопечатных книг и сборников крюковых нот сегодня хранится в Библиотеке Академии Наук РФ. Его единственная дочь Аграфена, в замужестве Закревская,- та самая "беззаконная комета в кругу расчисленных светил", адресат любовной лирики и Пушкина, и Баратынского.
Из сыновей Василия Андреевича (Сергей, Андрей, Иван и Александр) мужское потомство было только у Сергея (Николай. Василий, Андрей, Владимир. Виктор).