Первые результаты разработок боевой машины с противотанковым вооружением были продемонстрированы немецкому командованию весной 1935 г. тремя ведущими компаниями страны — Henschel, MAN и Krupp. Победу одержал прототип от MAN, его инженерам удалось создать максимально просторное боевое отделение. На втором опытном образце этой фирмы испытывалась подбашенная коробка с башней, которые были разработаны конструкторами Daimler-Benz.
В мае 1936 г. началось производство танка. Компоновка PzKpfw II имела классический характер: моторное отделение располагалось в кормовой части, управление и трансмиссия — в лобовой, а боевое отделение — в середине (со смещением к левому борту). Толщина брони колебалась в пределах от 5 до 14,5 мм. В качестве ходовой части использовались опорные катки, попарно сгруппированные в три тележки. Машины оснащались бензиновыми двигателями Maybach HL 57 TR, мощность которых составляла 130 л. с., — это позволяло развивать скорость до 40 км/ч. Масса танка превысила 7,5 т. Вооружение состояло из 20-миллиметровой пушки KwK 30 и 7,92-миллиметрового пулемета MG 34.
Первые PzKpfw II Ausf. А изготовили к 1 октября 1936 г., партия была небольшой. Конструкция танка только отрабатывалась, предстояло внести еще множество изменений. К февралю 1937 г. было выпущено 75 единиц трех модификаций, которые отличались друг от друга техническими моментами: размером радиатора, силой пружин подвески, наличием противопожарных стенок в моторном отделении и т. д. Однако все эти машины имели существенный недостаток в конструкции ходовой части, а потому нуждались в усовершенствовании. Первая серьезная модификация была проведена весной 1937 г. PzKpfw II Ausf. B получил улучшенную компоновку боевого и моторного отделений, что несколько изменило внешний вид танка, а также планетарный механизм поворота. Примерно в это же время был разработан и PzKpfw II Ausf. C с усовершенствованной ходовой частью: она состояла из пяти опорных катков среднего диаметра, закрепленных на рессорах, которые выступали в роли индивидуальной подвески. Нововведение позволило повысить плавность хода и, как следствие, точность стрельбы в движении, а также скорость перемещения. Этому способствовал и обновленный двигатель: обе модификации имели силовую установку Maybach HL 62 TR мощностью 140 л. с. Масса танка возросла до 8,9 т. Всего было произведено по 25 единиц каждой модификации. Дальнейшая модернизация привела к появлению так называемых быстрых танков. В конце 1937 г. компания Daimler-Benz начала разработку быстроходных машин на базе PzKpfw II, которые должны были войти в состав подвижных групп легких дивизий. Технически новая модель, получившая название Ausf. D, сильно отличалась от предшественников. Ходовая часть танка создавалась едва ли не с нуля: она включала четыре сдвоенных катка с индивидуальной торсионной подвеской. Была изменена и гусеница, которая состояла из одногребневых траков. Модификацию венчал новый двигатель Maybach HL 66 мощностью 180 л. с., позволявший развить скорость до 55 км/ч. Среди прочих нововведений — установка двух смотровых приборов на лобовом листе, утолщение брони лобовой части корпуса до 30 мм. При этом башня корпуса ничем не отличалась от предшествующей модели.
Выпуск PzKpfw II Ausf. E внес еще несколько изменений в танк: по сравнению с Ausf. D, данная модель имела усиленную подвеску, гусеничные траки со смазываемым шарниром, а также модифицированные ведущие и направляющие колеса. Это позволило танкам заметно прибавить в подвижности, но в то же время повысило их вес почти до 10 т. К началу Второй мировой войны машины PzKpfw II различных модификаций составляли почти 40 % танкового парка вермахта — в распоряжении войск находились 1223 единицы. Первые же дни Польской кампании выявили главную слабость танка — недостаточное бронирование, которое без особых проблем пробивалось польскими танками и пушками. Тем не менее в период до 10 октября 1939 г. вермахт потерял лишь 259 танков, из них безвозвратно — только 83 единицы. В Бельгии и Франции в 1940 г. немцы понесли более ощутимые потери. PzKpfw II составляли около половины бронетехники вермахта, их орудия были неспособны пробить броню средних французских и британских танков, не говоря о тяжелых В1/В1bis. После нападения Германии на СССР танки PzKpfw II успешно использовались для огневой поддержки пехоты, разведки и вспомогательных задач. В бои с советскими танками и противотанковой артиллерией экипажи «двоек» предпочитали не ввязываться.
Дальнейшая модернизация бронетехники и появление новых видов танков сделали PzKpfw II, исчерпавших возможности для модификации, морально и физически устаревшими. В 1942 г. они были выведены из состава танковых полков, а в дальнейшем использовались лишь на второстепенных участках фронта.