Родился в городе Великие Луки в семье железнодорожника (отец по национальности поляк). В первую мировую войну добровольцем ушел на фронт, служил в драгунском полку. За храбрость был награжден Георгиевскими медалями 3-й и 4-й степени и Георгиевским крестом 4-й степени. Стал младшим унтер-офицером. После революции вступил в Красную Армию. В годы Гражданской войны командовал эскадроном, дивизионом, полком. Был дважды ранен и дважды награжден орденом Красного Знамени. Затем командовал бригадой.
В 1925 г. окончил Кавалерийские курсы усовершенствования комсостава, в 1929 г. - Курсы усовершенствования высшего начальствующего состава при Академии им. Фрунзе. Участвовал в боях на Китайско-Восточной железной дороге, командовал кавдивизиями и кавкорпусом. В августе 1937 г. Рокоссовский был арестован, обвинен в связях с польской и японской разведками, осужден, но в марте 1940 г. по ходатайству С.М. Буденного, С.К. Тимошенко и Г.К. Жукова освобожден и после курса лечения возвращен в войска. Войну Рокоссовский встретил в Киевском особом военном округе командиром 9-го механизированного корпуса в звании генерал-майора.
Утром 22 июня 1941 г. Рокоссовский поднял корпус по боевой тревоге и, совершив 200-километровый марш, с ходу атаковал противника. Это была одна из немногих успешных атак в тот трагический день. В конце июня 1941 г. 9-й мехкорпус под командованием Рокоссовского принял участие в танковом сражении 1941 г. под Дубно, Луцком и Ровно. Затем Рокоссовский командовал Ярцевской армейской группой под Смоленском. Там же был назначен командующим 16-й армией, особенно отличившейся в Московской битве. В одном из боев командарм был тяжело ранен.
Вскоре после излечения и возвращения в 16-ю армию Рокоссовский был назначен командующим Брянским фронтом. С этого момента и до конца войны он командовал последовательно: Брянским, Донским, Центральным, Белорусским, 1-м и 2-м Белорусским фронтами.
В должности командующего фронтом полководческое дарование Рокоссовского раскрылось во всей полноте. Назначенный в сентябре 1942 г. командующим Донским фронтом, вместе с командующими Юго-Западным (Н.Ф. Ватутин) и Сталинградским (А.И. Еременко) фронтами Рокоссовский принял непосредственное участие в подготовке и проведении операции «Уран», целью которой являлось окружение и разгром немецко-фашистской группировки под Сталинградом. После того, как войска противника оказались в «котле», по решению Верховного Главнокомандующего именно Донскому фронту Рокоссовского было поручено расчленить и пленить окруженную группировку во главе с генерал-фельдмаршалом Ф. фон Паулюсом.
С февраля 1943 г. Рокоссовский командовал войсками Центрального фронта на Курской дуге и сумел достойно подготовить войска к предстоящему летнему наступлению противника. 5 июля 1943 г. Рокоссовский, по согласованию с представителем Ставки Г.К. Жуковым, на 10 минут опередил противника в нанесении артиллерийского удара. Это явилось для немецкого командования неожиданностью и задержало начало операции «Цитадель». Отразив немецкое наступление, войска Центрального фронта перешли в контрнаступление, освободив 5 августа Орел.
Летом следующего 1944 г. К.К. Рокоссовский, командуя 1-м Белорусским фронтом, блестяще проявил себя в операции «Багратион», в ходе которой противнику было нанесено сокрушительное поражение в Белоруссии. За эту операцию он получил звание Героя Советского Союза и стал Маршалом Советского Союза. С ноября 1944 г. до конца войны К.К. Рокоссовкий командовал 2-м Белорусским фронтом, войска которого совместно с другими фронтами громили противника в Восточно-Прусской, Восточно-Померанской и, наконец, Берлинской стратегических операциях. 2 мая 1945 г. К.К. Рокоссовский был во второй раз удостоен звания Героя. Награжден высшим полководческим орденом «Победа». 24 июня 1945 г. К.К. Рокоссовский командовал историческим Парадом Победы в Москве, принимал который маршал Г.К. Жуков.
После войны Рокоссовский с 1949 г. по 1956 г. был министром Национальной обороны Польши. Ему было присвоено воинское звание Маршал Польши. Полушутя, полусерьезно К.К. Рокоссовский утверждал: «Я самый несчастный Маршал Советского Союза. В России меня считали поляком, а в Польше русским. Я должен был брать Берлин, я был ближе всех. Но позвонил Сталин и говорит: «Берлин будет брать Жуков». Я спросил, за что такая немилость? Сталин ответил: «Это не немилость, это - политика»
В 1956-1957 гг. Рокоссовский - зам. министра обороны СССР, в 1957 г. был переведен командующим Закавказским военным округом. В 1958-1962 гг. вновь - заместитель Министра обороны и Главный инспектор Министерства обороны СССР. Последние годы жизни находился в группе генеральных инспекторов министерства обороны. 3 августа 1968 г. К.К. Рокоссовский скончался от рака. Урна с прахом К.К. Рокоссовского похоронена в Кремлёвской стене.