После обжалования приговора Ф. В. Токарев был освобождён и продолжил работу на заводе, а в октябре 1921 г. его направили в Тулу для конструкторской деятельности. В Туле Фёдор Васильевич работал не только над винтовкой. В 1922 г. им был создан ручной пулемёт по системе пулемета Виккерса. Однако требовался ручной пулемет на базе освоенного отечественной промышленностью станкового пулемета «Максим» с минимальными изменениями в его конструкции. Токарев справился с заданием, и на вооружение РККА был принят разработанный им ручной пулемёт МТ (Максим-Токарев) образца 1925 года. Это был первый ручной пулемёт отечественной разработки, в 1926-1927 гг. на Тульском оружейном заводе их было выпущено 2450 шт.
В 1927 г. Фёдор Васильевич первым в нашей стране приступил к созданию пистолета-пулемёта. Его образец под патрон револьвера «Наган» был готов в том же 1927 г., а в 1928 г. – усовершенствованный образец под 7,63-мм патрон пистолета «Маузер». Не смотря на то, что к этому виду оружия в высших кругах армии существовало скептическое отношение, ППТ был принят на вооружение РККА, ими вооружили пограничные части НКВД. Затем авиации срочно потребовалось новое скорострельное оружие, и 1929 г. прошёл в спешной работе над авиационным пулемётом. Пулемёт Токаревым был создан, но дальнейшие работы по нему были прекращены из-за появления более перспективного пулемета Шпитального и Комарицкого (ШКАС).
В этот же период времени Фёдор Васильевич параллельно с другими разработками начал конструировать самозарядный пистолет, и уже в 1930 г. разработанный им пистолет был принят на вооружение Красной Армии. Он одержал победу, соревнуясь с пистолетами других советских оружейников и 17 лучшими образцами пистолетов ведущих оружейных фирм мира. Впоследствии Фёдор Васильевич усовершенствовал пистолет, в 1933 г. его приняли на вооружение. Именно этот вариант стал широко известен в нашей стране и во всём мире под названием «Тульский Токарев» или сокращённо «ТТ».
Однако главным делом для Ф. В. Токарева всё же была винтовка – работу над ней он не прекращал даже в самые трудные и напряжённые годы. Им были разработаны автоматические винтовки и карабины систем: 1921, 1922, 1924, 1925, 1926, 1928, 1929 годов (все с коротким ходом ствола в калибрах 6,5 и 7,62 мм). В 1929 г. АУ РККА ввело новые требования к автоматическим винтовкам – они должны были создаваться только с неподвижным стволом для обеспечения метания винтовочных гранат из мортирки, одеваемой на ствол. Фёдор Васильевич тяжело пережил такой удар судьбы. «Вчера начал работать заново. Всё, что сделано за 23 года, я отбросил без жалости…» записал он тогда в своём дневнике.
Токарев на Тульском оружейном заводе
Новый образец автоматической винтовки с газоотводной автоматикой появился в 1930 г., за ней последовали винтовки и карабины 1931, 1932, 1933, 1934, 1935, 1936 годов. Токарев экспериментирует с конструкцией ударно-спускового механизма, одним из первых в мире применяя модульную конструкцию в виде съёмного блока, меняет компоновку газоотводного двигателя, схему узла запирания, тип магазина. Наконец, после ряда неудач, в соревновании с такими сильными соперниками, как В. А. Дегтярев и С. Г. Симонов, в 1938 г. им был разработан достаточно совершенный образец самозарядной винтовки, превзошедший все прочие системы по большинству показателей. 29 декабря 1938 г. винтовка системы Токарева была принята на вооружение РККА под наименованием: «7,62-мм самозарядная винтовка обр. 1938 г.». В 1940 г. по опыту применения винтовки Токарева в советско-финской войне она была модернизирована и принята на вооружение под наименованием: «7,62-мм самозарядная винтовка обр. 1940 г.». Не подлежит сомнению, что по большинству боевых и эксплуатационных характеристик винтовка СВТ-40 находилась на уровне лучших зарубежных аналогов того времени, а по многим и превосходила их.
М. И. Калинин вручает Ф. В. Токареву орден Ленина, Золотую медаль «Серп и Молот» и грамоту о присвоении звания Героя Социалистического Труда. 1940 г.
Решение о принятии самозарядной винтовки на вооружение в профессиональном плане стало для Федора Васильевича главным событием в жизни. Мечта, к осуществлению которой он шёл более 30 лет, дело всей его жизни осуществилось – сконструированная им винтовка поступила на вооружение армии. В тяжелейших условиях первого года Великой Отечественной войны винтовка Токарева сыграла важную роль: до тех пор, пока в полной мере не было развёрнуто производство пистолетов-пулемётов, она была единственным массовым образцом индивидуального автоматического оружия РККА. Винтовка Токарева прошла всю Великую Отечественную войну, эксплуатировалась на всех фронтах и завершила свою боевую биографию в руках наших воинов на Параде Победы на Красной площади. Опыт эксплуатации винтовок Токарева в войне послужил важным отправным пунктом в разработке послевоенных отечественных систем индивидуального автоматического оружия. Но это будет потом, а в начале Великой Отечественной войны в октябре 1941 года Ф. В. Токарев вместе с ЦКБ-14 эвакуировался из Тулы в Златоуст, где продолжил работу по конструированию оружия. Главыми направлениями его работы в этот период стало совершенствование самозарядной винтовки по отзывам из войск и заданиям ГАУ. Он создаёт ряд образцов винтовок: без дульного тормоза со штыком от винтовки обр. 1891/30 г., с откидным штыком, с постоянным магазином на 5 и 10 патронов, конструирует и испытывает магазин большой вместимости для автоматической винтовки АВТ.
Образцы из коллекции ВИМАИВиВС (сверху вниз): самозарядная винтовка Токарева СВТ-38; самозарядная винтовка Токарева СВТ-40; автоматическая винтовка Токарева АВТ-40
В конце февраля 1943 г. его по состоянию здоровья переводят на работу в Москву в ОКБ-16 (до 1937 года КБТ (Таубина), ныне КБ «ТочМаш им А. Э. Нудельмана), где поручают руководство специальной лабораторией. Во время работы в ОКБ-16 Ф. В. Токарев участвует в создании оружия под 7,62-мм промежуточный патрон обр. 1943 года – автомата и самозарядного карабина. Эта работа завершилась для Токарева неудачей – его автомат участвовал в первых испытаниях автоматов в мае 1944 г., но в их ходе вышел из строя и был отправлен на доработку, а после повторных испытаний окончательно отклонён. После этого в 1945 г. Ф.В. Токарев участвовал конкурсе на разработку пистолета. Он создал два образца калибром 7,65 и 9 мм, но в том конкурсе победил пистолет Макарова. На этой работе и завершилась активная деятельность Ф. В. Токарева над созданием стрелкового оружия.