Боевое крещение ИС-2 состоялось в апреле 1944 года при отражении немецкого контрнаступления под Тернополем. Там же он впервые встретился с немецкими «Тиграми».
16 апреля 1944 года немецкие войска атаковали рубеж советских войск под Тернополем, используя 25 танков и смогли оттеснить красноармейцев, а спустя 2 часа немцы предприняли попытку атаки 40 танками и двумя батальонами пехоты. И тут в бой вступили до этого невиданные немцами ИС-2 с 122 мм пушкой, и сразу же уничтожили 13 тигров и пантер. Таких потерь немецкий генерал явно не ожидал и уже 17 апреля дал приказ на отход к исходным позициям. ИСы сорвали попытку немцев деблокировать гарнизон Тернополя, который в скором времени капитулировал.
Танки ИС-2 наносили крупный урон превосходящим бронетанковым силам противника, неся при этом значительно меньшие потери. Появление у немцев «Королевских тигров» в боях на Сандомирском плацдарме в августе 1944 года не внесло существенных изменений в расстановку сил. Известен случай, когда гвардейский тяжёлый танковый полк, отражая немецкий контрудар, уничтожил шесть «Королевских тигров», потеряв лишь три своих ИС. Важную огневую поддержку ИС-2 оказывали советским войскам во время уличных боёв за Будапешт и Берлин.
ИС-2 был самым мощным советским танком, участвовавшим в Великой Отечественной войне, и одной из сильнейших машин мира своего времени как в категории по массе 40—50 т, так и в классе тяжёлых танков. Однако оценка данной машины сильно осложняется пропагандой обеих участвовавших в войне сторон и большим количеством послевоенных мифов, так или иначе связанных с идеологической борьбой Советского Союза или против него. По совокупности мощности вооружения и бронезащиты ИС-2 превосходил все танки второй мировой войны
Помимо СССР танки ИС-2 использовались Польшей, Чехословакией, Китаем, КНДР, Вьетнамом и Кубой.
После развала СССР в Российской Федерации ИС-2 до сих пор оставались на вооружении и только в 1995 году ИС-2 были окончательно сняты с вооружения Российской армии и порезаны на металл, за исключением нескольких музейных и мемориальных экземпляров.