Родился будущий актер в Москве 14 апреля 1915 года. Он был выходцем из дворянской семьи: Глебовы состояли в родстве с графом Василием Орловым-Денисовым, князьями Трубецким и Голицыным.
Детство мальчик вместе с родителями провел в деревне Назарьево. Туда они переехали, чтобы скрыться от революции.
Отец Глебова был коннозаводчиком, в семье было пятеро детей: трое сыновей от первого брака жены и двое общих. Петр был младшим ребенком, он любил вспоминать свое раннее детство в окружении близких людей и живописной природы вокруг, но этот мирный этап его биографии закончился быстро.
Когда Петру было семь лет, отец умер от тифа. В их дом пришли большевики. Из просторного особняка мать с детьми выселили во флигель, а в здании разместили детский интернат. Семье пришлось тяжело: одежды и обуви у них почти не было, им приходилось чуть ли не голодать. Несмотря на это, Глебовы остались на родине, хотя родственники предлагали им переехать за границу.
Окончив семилетку, юноша поступил в мелиоративно-дорожный техникум. Место учебы было выбрано наугад — тогда он даже не представлял, что это за заведение и кем предстоит потом работать. После окончания учебного заведения Петр недолго работал по профессии, потому что заинтересовался театром и поступил в оперно-драматическую студию, основанную Константином Станиславским.
Актеру приходилось скрывать свое дворянское происхождение. В анкетах он указывал, что его мать — домохозяйка, а отец — агроном, однако при поступлении в студию по настоянию матери он все же указал подлинные данные.
Глебову довелось поучиться у мастеров сцены, в том числе у самого Константина Станиславского. Он входил в состав приемной комиссии, и выступление Петра с крыловской басней «Два мужика» растрогало его чуть ли не до слез. Впоследствии мэтр уделял пристальное внимание талантливому новичку, научил своей системе. Глебов потом вспоминал его с теплом и благодарностью.
В 1941 году молодого выпускника приняли в театральную труппу, Московского драматического театра им. К. С. Станиславского, но он не успел отыграть даже одного сезона: началась война. Петр, как и его братья, отправился на фронт добровольцем и попал в зенитно-артиллерийский полк, где служил до победы.
На досуге артист развлекал сослуживцев пением и игрой на гитаре, а во времена затишья они с друзьями ставили спектакли в полковом клубе.
9 мая 1945 года актеры вышли на сцену для постановки «Трех сестер» и внезапно услышали из зала крики «Победа!». Глебов запомнил этот момент на всю жизнь, хотя впоследствии не любил вспоминать военное прошлое.
За службу Петр Петрович получил многочисленные награды, в том числе орден Красной Звезды и медаль «За оборону Москвы». После демобилизации актер вернулся в театр и прослужил там более двадцати лет, сыграв во многих известных спектаклях — «Салемских ведьмах», «Днях Турбиных», «Трех сестрах».
С 1940 года Петр Петрович начал появляться на экранах. Но в кино ему некоторое время приходилось ограничиваться эпизодическими ролями.
Он сыграл второстепенных персонажей в фильмах «Любимая девушка», «Свинарка и пастух» и многих других.
Звездным часом стало приглашение в фильм «Тихий Дон» — этот день актер потом считал своим кинематографическим днем рождения. На пробы он пришел за компанию
с другом Александром Швориным, и режиссер обратил внимание на Петра Петровича благодаря его звонкому голосу.
Но кандидатура на роль Григория Мелехова смущала других постановщиков, например оператора
Владимира Рапопорта: исполнитель не подходил по возрасту (тогда Глебову было уже сорок, а надо было играть двадцатилетнего парня) и у него отсутствовала горбинка на носу — важная примета персонажа. Не в восторге была и исполнительница
роли Аксиньи Элина Быстрицкая она приняла Петра в штыки, потому что изначально планировала сниматься вместе с молодым Александром Швориным, которому пророчили это место.
В итоге последнее слово осталось за автором романа Михаилом Шолоховым.
Отсмотрев пробные записи, писатель решительно проголосовал за Глебова, и после этой роли актера узнала вся страна. Возраст частично удалось скрыть с помощью грима, а горбинку сделали из особой смолы. Жюри Всесоюзного кинофестиваля 1958 года присудило актеру премию за лучшую мужскую роль.
Следующие экранные образы в фильмографии Петра Петровича также были удачными, но такого успеха уже не имели.
Особенно удавались ему роли военных.
В 1983 году Глебов получил Государственную премию РСФСР имени братьев Васильевых, а позже, за роль в фильме «Пламя», — серебряную медаль имени Александра Довженко.
В 1959 году Глебов стал заслуженным артистом РСФСР, а в 1974-м — народным. Его фильмография насчитывает более 60 работ. Последней лентой стала комедия 1993 года «Дедушка хороший, но... не говорит, куда спрятал деньги».
Актер был женат единственный раз, и, по словам друзей, его личная жизнь сложилась счастливо. С будущей супругой его познакомила мать Мария Александровна, которая переживала, что младший сын живет бобылем.
Марина Левицкая была племянницей ее подруги. Девушка была красивой, поэтому не страдала от нехватки мужского внимания. Но Петр Петрович показался ей особенным: был заботливым и ненавязчиво ухаживал.
В 1948-м они расписались и прожили вместе 52 года. Совместную жизнь начинали в коммуналке, приходилось ютиться вместе с мамой актера и старенькой няней. Там же в 1951 году появилась дочь Ольга. Спустя пять лет семейство пополнилось второй дочкой, Еленой.
В последние годы Петр Петрович страдал болезнью сердца. Тем не менее он продолжал работать и участвовать в съемках, пока однажды его не госпитализировали с инфарктом.
Скончался он дома в апреле 2000 года. За три дня до смерти Глебову исполнилось 85 лет.Позже врачи установили, что причиной смерти стал оторвавшийся тромб.
Петр Петрович Глебов покоится на Ваганьковском кладбище Москвы. В 2009 году рядом с ним похоронили его любимую супругу Марину Алексеевну.