Когда подрос, учился в Полоцкой иезуитской академии, затем в Морском кадетском корпусе. Однако в 1804 году двадцатиоднолетний кадет Федор Толстой подает в отставку, чтобы стать профессиональным художником. «Обвинения на меня сыпались ото всюду. <...> Не только все родные, (кроме моих родителей), но даже большая часть посторонних, упрекали меня...