У Андрея Ивановича Толстого было прозвище Большое гнездо, поскольку жена его Александра Ивановна (в девичестве княжна Щетинина) родила ему 23 ребёночка и одиннадцать из них дожили до взрослого состояния. Старшим из них был Пётр. Вторым по старшинству был Иван (1748-1818). Ему было 12 лет, когда Указом от 6 июня 1760 года Елизавета Петровна вернула Толстым графский титул, отобранный у них Меншиковым во время борьбы за власть после смерти Петра I. Но имений вернуть она уже не могла. Так что Иван Андреевич Толстой не был богатым человеком. И высшее, чего он достиг - это выборная должность предводителя дворянства в Кологривском уезде Костромской губернии.
Женился он на Анне Фёдоровне Майковой. И было у них четыре дочери и три сына. Одну из дочерей Марию (в замужестве Лопухину) в Советском Союзе знали все. Её портрет кисти Боровиковского постоянно публиковался в альбомах, календарях, рекламных объявлениях - везде, где требовалось показать русскую красавицу.
Для небогатой аристократии единственный путь продвижения - военная служба. И все три сына Ивана Андреевича (Фёдор, Пётр и Януарий) учились в Кронштадте, в Морском кадетском Корпусе. Фёдор с детства выделялся незаурядной физической силой и своим необузданным характером. И всегда добивался, чего хотел. Из всех изучаемых дисциплин он предпочитал стрельбу и фехтование. И достиг в них наивысших успехов, обогнав всех соучеников , что добавило к его задиристости ещё и высокомерие. Добавьте к этому коктейлю ещё раздражительность, злопамятность и мстительность. пристрастие к картёжной игре. А большинство конфликтов в офицерской среде возникало именно из-за карт.
Уже в 17 лет он устроил дуэль с офицером, сделавшим ему замечание. А к 20-ти годам уже земля горела под его ногами.
В 1803 году шлюп "Надежда" под командованием Ивана Крузенштерна и шлюп "Нева" под командованием Юрия Лисянского отправились в первое русское кругосветное путешествие. Заодно они должны были доставить в Японию русского посла, главу русско-американской торговой компании Николая Петровича Резанова. Это было практически невозможной задачей, поскольку Япония уже полтора столетия находилась в добровольной самоизоляции. Но поручения были даны, исполнители назначены. В состав экипажа шлюпа "Надежда" был включён Фёдор Петрович Толстой, будущий художник-медальер. По воспоминаниям его дочери писательницы Марии Каменской он страдал морской болезнью и очень не хотел этого путешествия. А его кузен Фёдор Иванович очень хотел исчезнуть из Петербурга. Неизвестно, чья именно была инициатива, только в экспедицию отправился дуэлянт, да не как морской офицер, а в свите посольства. Экспедиция не задалась изначально. Крузенштерн считал себя начальником экспедиции, решающей картографические, гидрографические, навигационные вопросы. Его даже не поставили в известность об особых полномочиях Резанова. А Резанов видел в нём просто того, кто должен доставить его к месту назначения. Взаимная вражда двух руководителей, не признающих друг друга и живущих в одной каюте, только подогревалась непредсказуемым поведением Толстого. То он подпоил корабельного священника и, уложив его на палубе, приклеил бороду к настилу сургучом с казённой печатью. То после высадки на один из островов притащил ручного орангутана. Кончилось тем, что на Камчатке Крузенштерн высадил его на берег. Оттуда он перебрался на Аляску, затем на один из Алеутских островов, затем, наконец, на сушу и через всю Сибирь пробрался в Европу. Где-то , не то у тлинкитов на Аляске, не то ещё раньше на Маркизских островах он обзавёлся своими знаменитыми татуировками.
В "Горе от ума" Грибоедова Репетилов упоминает человека , которого все узнавали сразу.
Ночной разбойник, дуэлист,
В Камчатку сослан был,
вернулся алеутом,
И крепко на руку нечист;
Да умный человек
не может быть не плутом.
Когда ж об честности высокой говорит,
Каким-то демоном внушаем:
Глаза в крови, лицо горит,
Сам плачет, и мы все рыдаем…
Толстой в целом одобрил характеристику, но просил: - "Ты уж исправь "в картах на руку нечист", а то подумают, что я в прихожих табакерки ворую."
Пушкин за картами у Драматурга А.А.Шаховского заметил толстому, что он передёргивает. -Да, я знаю, но не люблю, когда мне об этом напоминают, ответил Толстой. И вскоре после этого сообщил "по секрету" Шаховскому, что Пушкин был высечен в секретной канцелярии. Разумеется, Пушкину сообщили, кто пустил слух. Он начал готовиться к дуэли, тренироваться в стрельбе. и одновременно писал эпиграммы.
В жизни мрачной и презренной
Был он долго погружён,
Долго все концы вселенной
Осквернял развратом он.
Но, исправясь понемногу,
Он загладил свой позор,
И теперь он – слава богу –
Только что картёжный вор
Толстой тоже ответил эпиграммой:
Сатиры нравственной
язвительное жало
С пасквильной клеветой
не сходствует нимало, –
В восторге подлых чувств
ты, Чушкин, то забыл!
Презренным чту тебя,
ничтожным сколько чтил.
Примером ты рази,
а не стихом пороки
И вспомни, милый друг,
что у тебя есть щёки.
Дуэль стала неизбежной. Огромными усилиями друзей Пушкина, объединившихся с друзьями Толстого, их удалось остановить и примирить. Хотя, в сущности, дуэль эпиграммами вполне-таки состоялась. В дальнейшем они даже подружились. Мало ого именно Фёдор Толстой выступал в роли свата, когда Пушкин сватался к Гончаровой.
А Фёдор Иванович женился на цыганке-плясунье Авдотье Максимовне Тугаевой. После того, как умерли все три его дочери, он узнал, что Авдотья Максимовна снова беременна. И тогда в 1820-м он женился на ней. Его последняя дочь Сара жила дольше. И всё-таки он пережил и её. Это была мечтательная девушка, писавшая анакреонтические стихи.
После её смерти Фёдор Иванович собрал эти стихи и издал их. Молодой критик Виссарион Белинский отметил выход этой книги сдержанной, но похвалой.