Главным противником СМЕРШ в его контрразведывательной деятельности был абвер, немецкая служба разведки и контрразведки в 1919–1944 годы, полевая жандармерия и Главное управление имперской безопасности РСХА, финская военная разведка. Одной из форм борьбы с противниками были радиоигры. Деятельность Главного Управления контрразведки СМЕРШ характеризуется очевидными успехами в борьбе против иностранных разведок, по результативности СМЕРШ являлся самой эффективной спецслужбой во время Второй мировой войны. С 1943 года до окончания войны одних только радиоигр центральным аппаратом Главного Управления контрразведки СМЕРШ и его фронтовыми управлениями было проведено 186. В ходе этих игр на нашу территорию удалось вывести свыше 400 кадровых сотрудников и гитлеровских агентов, захватить десятки тонн грузов.
Военные контрразведчики СМЕРШ иногда не только выполняли свои прямые обязанности, но и непосредственно участвовали в боях с гитлеровцами, нередко в критические моменты принимали на себя командование ротами и батальонами, потерявшими своих командиров. Немало армейских чекистов погибло при исполнении служебных обязанностей, заданий командования Красной армии и Военно-Морского Флота.
"Смершевцы" имели особые знаки отличия. В своей практической деятельности были независимы как от армейского или флотского командования, так и от органов внутренних дел и госбезопасности. Оперативники СМЕРШ в розыскной практике предпочитали индивидуальное огнестрельное оружие.
Репутация СМЕРШ как репрессивного органа часто преувеличивается. Органы СМЕРШ не могли приговорить кого-либо к тюремному заключению или расстрелу, так как не являлись судебными органами. Приговоры выносил военный трибунал или Особое совещание при НКВД. Заградотряды при органах СМЕРШ никогда не создавались, и сотрудники СМЕРШ их никогда не возглавляли. В начале войны заградительные мероприятия осуществлялись войсками НКВД по охране тыла действующей армии. В 1942 году начали создаваться заградительные отряды при каждой армии, находившейся на фронте. Фактически они предназначались для поддержания порядка во время боев. Только во главе заградотрядов Сталинградского и Юго-Западного фронтов в сентябре – декабре 1942 года стояли работники особых отделов НКВД.
В мае 1946 органы СМЕРШ были преобразованы в особые отделы, подчиненные Главному управлению особых отделов Министерства госбезопасности СССР, причем бывший начальник Главного управления контрразведки СМЕРШ генерал-полковник B. C. Абакумов возглавил это министерство.