Федор Васильевич Токарев родился 2 июня 1871 года в станице Егорлыкской Войско Донского (ныне Ростовская обл.) в семье донских казаков.
С детства он был тихим, необщительным мальчиком, интересующимся только строительством; в возрасте семи лет Федор удивил своих родственников, сделав из дерева и жести небольшой плуг; к одиннадцати годам он был кузнецом и мог выполнять любую работу; в 1887 году Токарев поступил в военное училище в Новочеркасске, известном изготовлением огнестрельного оружия. Он обучался у оружейника Чернолихова.
В 1891 году Токарев оставил школу оружейников и поступил оружейником в 12-й казачий полк. После окончания военного училища в 1900 году Токарев начал службу в полку в качестве оружейного офицера и был произведен в полковники.
В 1907 году он был назначен в офицеры. Он начал обучение в Ораниенбаумской стрелковой школе. Затем он начал свою карьеру в качестве конструктора автоматических винтовок. Токарев работал на Сестрорецком и Ижевском заводах.
Первым образцом автоматической винтовки Федора Васильевича стала винтовка, изготовленная в 1907 году, представлявшая собой модифицированный вариант магазинной винтовки Мосина образца 1891 года.
В течение нескольких последующих лет Токарев продолжал развивать и совершенствовать эту винтовку, а также работал над новой моделью автоматической винтовки собственной конструкции. Когда началась Первая мировая война, Токарев был отправлен на фронт и в течение полутора лет принимал участие в боевых действиях с армией.
В 1916 году он вернулся на завод "Сестрорецк" и продолжил работу над конструкциями винтовок; Октябрьская революция и последующие репрессии не повлияли на Федора Васильевича, ни его казачье происхождение, ни офицерские ни казачье происхождение, ни офицерские знаки различия на плечах ему не помешали. Токарев был назначен заместителем директора завода "Сестрорецк", а с 1921 года перешел на Тульский оружейный завод.
Именно здесь его таланты начали блистать: в 1924 году на вооружение Красной Армии был принят пистолет-пулемет Максима, модернизированный под руководством Токарева (МТ - Максим - Токарев). В 1926 году Токарев разработал совершенно новый вариант пулемета Максима - британский пулемет Виккерса, который пришел ему на смену, а в 1927 году он разработал самый первый отечественный пистолет-пулемет, специально приспособленный под револьверный патрон.
Федор Токарев часто выигрывал различные конкурсы на лучшее оружие. Например, в конце 1920-х годов конструкторы стрелкового оружия разрабатывали пистолеты, и Ф.В. Токарев принимал участие в этой работе: летом 1930 года комиссия под руководством В.Ф. Грушецкого провела параллельные испытания 7,62-мм пистолета, изобретенного Коровиным и другими, с лучшими зарубежными образцами - "Вальтером" и "Парабеллумом". Они были подвергнуты огневым испытаниям.
Результаты испытаний по методу Браунинга показали, что пистолет Токарева превосходит своих конкурентов по техническим характеристикам и надежности в самых экстремальных условиях.
После всех огневых испытаний и последующих незначительных модификаций пистолет был принят на вооружение армии как "7,62-мм самозарядный пистолет Токарева образца 1933 года". - Это был легендарный "Тульский Токарев", или просто "ТТ"; в 1938 году по инициативе другого Токарева была принята на вооружение самозарядная винтовка Токарева образца 1938 года (СВТ-38). Винтовка была доработана в 1940 году (СВТ-40) и оставалась на вооружении до конца войны. На основе этой винтовки Токарев разработал самозарядную винтовку для снайперов и первую русскую автоматическую винтовку (АВТ-40).
Вероломное нападение Германии на Советский Союз заставило Токарева работать в еще более напряженном темпе. Стареющий Токарев не выходил из здания завода, отдавая энергию людям и привлекая к работе не только молодых мастеров, но и мастеров-пенсионеров с большим жизненным опытом.
Токарев постоянно получал множество писем с фронта с благодарностью за создание винтовок в честь солдат, сражавшихся за свободу и независимость своей страны. Работа конструктора была высоко оценена и государством. За оснащение армии современным стрелковым оружием Федор Токарев в 1931 году был награжден орденом Красной Звезды, а через два года ему было присвоено звание Героя Труда.
Токарев также был награжден орденом Ленина и званием Героя Социалистического Труда. Ему также была присвоена ученая степень доктора технических наук. Дважды был назначен заместителем Председателя Верховного Совета СССР от Тулы. Ему было присвоено звание Почетного гражданина города. Умер в Москве 7 июня 1968 года.
Согласно его завещанию, он похоронен в Туле.