Федор Петрович Толстой, как это было принято у высшего сословия, с рождения был записан сержантом в Преображенский полк. Когда подрос, учился в Полоцкой иезуитской академии, затем в Морском кадетском корпусе. Однако в 1804 году двадцатиоднолетний кадет Федор Толстой подает в отставку, чтобы стать профессиональным художником.
«Обвинения на меня сыпались ото всюду. <...> Не только все родные, (кроме моих родителей), но даже большая часть посторонних, упрекали меня за то, что я первый из дворян, имея самыя короткия связи со многими вельможами, могущими мне доставить хорошую протекцию, наконец, нося титул графа, избрал путь художника <...>. Все говорили, будто бы я унизил себя до такой степени, что наношу бесчестие не только своей фамилии, но и всему дворянскому сословию» (воспоминания Ф.П. Толстого).
