Необходимость создания тяжелого танка, несущего противоснарядное бронирование, хорошо понималась в СССР. Согласно отечественной военной теории, такие танки были необходимы для взламывания фронта противника и организации прорыва или преодоления укрепленных районов. Большинство армий развитых стран мира имели свои теории и практики преодоления мощных укрепленных позиций противника, опыт в этом был приобретен ещё во время Первой Мировой войны. Такие современные на тот момент укрепленные линии как, например, линия Мажино или линия Зигфрида считались даже теоретически непреодолимыми. Существовало ошибочное мнение, что танк создан в ходе Финской кампании для прорыва финских долговременных укреплений (линии Маннергейма). На самом деле танк начал проектироваться ещё в конце 1938 года, когда стало окончательно понятно, что концепция многобашенного тяжёлого танка, подобного Т-35, является тупиковой. Было очевидно, что наличие большого количества башен хоть и является преимуществом в огневой мощи, но неизбежно влечёт за собой побочные эффекты в виде усложнения конструкции и как следствие её удорожания, скорости изготовления и меньшей надёжности. А гигантские размеры танка лишь утяжеляют и демаскируют его и не позволяют использовать достаточно толстую броню. Инициатором создания танка был начальник АБТУ РККА комкор Д. Г. Павлов.
В конце 1930-х были предприняты попытки разработать танк уменьшенных (по сравнению с Т-35) размеров, но с более толстой бронёй. Однако конструкторы так и не решились отказаться от использования нескольких башен: считалось, что одна пушка будет бороться с пехотой и подавлять огневые точки, а вторая обязательно должна быть противотанковой — для борьбы с бронетехникой.
Новые танки, созданные в рамках этой концепции (СМК и Т-100), были двухбашенными, вооружёнными 76-мм и 45-мм пушками. И лишь в качестве эксперимента разработали ещё и уменьшенный вариант СМК — с одной башней. За счёт этого сократилась длина машины (на два опорных катка), что положительно сказалось на динамических характеристиках. В отличие от предшественника, КВ (так назвали экспериментальный танк) получил дизельный двигатель. Первый экземпляр танка (У-0) был изготовлен на Ленинградском Кировском заводе (ЛКЗ) в августе 1939 года. Первоначально ведущим конструктором танка был А. С. Ермолаев, затем — Н. Л. Духов.
30 ноября 1939 года началась Советско-финская война. Военные не упустили случая испытать новые тяжёлые танки. За день до начала войны (29 ноября 1939 г.) СМК, Т-100 и КВ отправились на фронт. Их передали 20-й тяжелотанковой бригаде, оснащённой средними танками Т-28.
Первый бой КВ принял 17 декабря при прорыве Хоттиненского укрепрайона линии Маннергейма.