Павел Рыбалко родился 4 ноября 1894 года в селе Малый Выстороп, Украина. Мальчик вырос в семье заводского рабочего и рано начал работать. В тринадцать лет уже ходил в смены на сахарный завод, одновременно учась в воскресной школе. В 1914 году его призвали в армию и во время Первой мировой войны попал на фронт рядовым. С приходом Советской власти молодой человек уже в рядах Красной Армии борется с немецкими оккупантами на территории Украины. В 1918 году стал помощником командира партизанского отряда.
В мирный период между войнами Рыбалко проходит подготовку начальствующего состава и оканчивает Военную академию имени Михаила Фрунзе. Далее, в 1934 году его направляют в качестве военного советника в Китай, где выступает против повстанцев Ма Чжунъина в провинции Синьцзян. Затем в течение трех лет являлся военным атташе в Польше.
С началом Великой Отечественной войны стал просить о переводе на фронт. В итоге, с 1942 года Рыбалко возглавил сначала пятую, а затем и третью гвардейскую танковые армии. Военачальник активно принимал участие в Курской битве, в битве за Днепр, в наступлении под Киевом, Львовом, Берлином, Прагой. Благодаря танковой армии Павла Семеновича таким городам, как Львов, удалось уцелеть.
В 1945 году Павел Семенович получил звание Маршала, а с 1947 года назначен командующим бронетанковыми и механизированными войсками Советской Армии. Параллельно избирался депутатом Верховного Совета СССР II созыва.
За свои заслуги в Великой Отечественной войне удостоен звания дважды Героя Советского Союза и дважды получал «Золотую звезду». Также Павел Семенович являлся кавалером двух орденов Ленина, двух орденов Красного Знамени, трех орденов Суворова I степени, ордена Кутузова I степени, ордена Хмельницкого I степени и многими наградами иностранных государств.
Павел Семенович Рыбалко скончался 28 августа 1948 года в Москве от болезни почек. Похоронен российский военачальник на Новодевичьем кладбище столицы.