Сын выходца из Англии. Военная карьера началась при Анне Иоанновне под началом Миниха, у которого Фермор служил адъютантом. Звание полковника присвоено за отличие во время крымского похода 1736 года. В 1737 году, будучи генерал-квартирмейстером, имея под началом 350 человек, наткнулся на двухтысячный крымско-турецкий отряд и успешно оборонялся от превосходящего противника до подхода помощи. За это был произведён в генерал-майоры. В 1738 году командовал авангардом армии Миниха, в 1739 — отличился в сражении при Ставучанах.
Пик военной карьеры Фермора пришёлся на Семилетнюю войну.
11 января 1758 года в ходе Семилетней войны русские войска под командованием генерал-аншефа Виллима Фермора заняли город Кёнигсберг –столицу Восточной Пруссии.
Манифестом Елизаветы Петровны Восточная Пруссия присоединена к России. Жители Кёнигсберга приведены к присяге в качестве российских подданных. Среди присягнувших был и немецкий философ Иммануил Кант.
Что этому предшествовало? Весной 1757 года прусский король Фридрих II получил из Петербурга успокоительные вести: императрица при смерти. Фридрих тут же написал сестре: «Это (известие) имеет для меня больше значения, нежели все остальное». После своей победы над австрийцами под стенами Праги в мае 1757 года он остался в убеждении, что русская армия не выступит.
Он просчитался.
В январе 1758 года русская армия двинулась вперёд. Вступив вновь в Тильзит, командующий Фермор увидел, что дорога на Кёнигсберг перед ним открыта. И уже 10 января в русский лагерь явилась депутация от почётных граждан Кёнигсберга, соглашавшихся отдать город без боя, «под условием сохранения их прав». Фермор согласился на капитуляцию города и выполнил ее условия. На следущий день русские войска вошли в город под звуки труб, литавр и под колокольный звон. Фермор был назначен «генерал-губернатором Прусского королевства», и на протяжении нескольких лет двуглавый орёл парил над краем...
Победители вели себя в Пруссии человечно и миролюбиво. Они предоставили жителям свободу веры и торговли, открыли им доступ на русскую службу. Двуглавые орлы везде заменили прусские. Вскоре в Кёнигсберге появилась православная церковь; затем здесь выстроили монастырь; стали чеканить монету (в некоторых коллекциях сохранились ещё экземпляры русской серебряной монеты с изображением Елизаветы и подписью: Elisabeth rex Prussiae). Население быстро свыклось с новым режимом и в 1760 году отправило в Петербург депутацию благодарить (!) нового «прусского короля» за его милостивое...