Иван Яковлевич Смирнов родился в 1872 года в деревне Пахомово Плещеевской волости Тверской губернии в семье торговца хлебом. С 1895 по 1899 год служил в армии писарем.
В 1922 Иван Яковлевич году был рукоположен во диакона святителем Афанасием (Сахаровым), служил в Свято-Даниловом монастыре в Москве.
В 1926 году в Русской Церкви проводился тайный опрос иерархов о возможности выборов патриарха. В подготовке опроса принял участие и отец Иоанн. В качестве кандидата рассматривался известный своей бескомпромиссностью архипастырь — митрополит Кирилл (Смирнов). Участники опроса были арестованы. В 1927 г. пришла очередь и отца Иоанна, который выступал за избрание патриархом митрополита Кирилла. Диакон Иоанн получил три года ссылки в Сибирь. По освобождении, с 1930 г., отец Иоанн жил во Владимире, где служил в Николо-Городской церкви. 3 ноября 1931 г. диакон Иоанн был вновь арестован по обвинению в «участии в контрреволюционной группе церковников, близких епископу Афанасию (Сахарову), антисоветских сборищах, помощи заключенным и ссыльным».
Согласно следственному делу, отец Иоанн являлся противником митрополита Сергия (Страгородского) за его пресмыкательство перед безбожным режимом. Мероприятия коммунистической власти священномученик Иоанн называл сумасбродными, отрицательно отзывался об октябрьском перевороте и говорил, что эта власть является наказанием от Бога. При этом отец Иоанн считал невозможным вести борьбу с большевистской властью в этих условиях.
Спустя четыре месяца отца Иоанна отпустили, но в апреле 1936 г. арестовали вновь. В этот раз отец Иоанн был обвинен в «участии в контрреволюционной организации "Истинно-Православная церковь"». В этот раз протодиакон Иоанн получил три года ссылки в Северо-Казахстанскую область. Здесь священномученика настиг сталинский Большой террор. Начиная с августа 1937 г. духовенство массово арестовывалось не только по месту жительства, но также в лагерях и ссылках. Отец Иоанн разделил общую судьбу. 24 ноября 1937 г. его арестовали и заключили в городскую тюрьму Петропавловска. Формальным поводом для ареста стало «продолжение проведения контрреволюционной работы». Виновным себя отец Иоанн не признал.
Дело отца Иоанна было передано на рассмотрение Тройки УНКВД по Северо-Казахстанской области, которая своим решением от 2 декабря 1937 года приговорила его к расстрелу с конфискацией имущества.
Священномученик Иоанн Смирнов был расстрелян 4 декабря 1937 года и погребен в безвестной могиле.