Cтарший сын боярина Петра Васильевича Шереметева Большого и Анны Федоровны (в девичестве Волынской) родился 25 апреля 1652 г. в Москве. Первоначально жил в Киеве, где получил духовное образование в Киевской коллегии (затем Академии). Свою карьеру начал при царе Алексее Михайловиче как комнатный стольник и рында – оруженосец и телохранитель. Занимал эти должности и при царе Федоре Алексеевиче. В 1681 был избран воеводой и тамбовским наместником, командовал войсками против крымских татар. В 1682 пожалован в бояре. В 1684-1686 начал дипломатическую карьеру в качестве великого и полномочного посла в Польше. За подписание «Вечного мира» с Речью Посполитой получил титул ближнего боярина и наместника Вятского. Дипломатическая деятельность переплеталась с военной карьерой. С 1686 Борис Петрович руководил войсками в Белгороде, участвовал в Крымских походах. Во время Азовских походов Петра I 1695-1696 командовал армией. А в 1697-1699 гг. Шереметев возглавил дипломатическую миссию «…ради видения