Как представитель московской знати государеву службу начал при дворе в 13 лет сразу комнатным стольником. Борис Шереметев сопровождал царя Алексея Михайловича в его поездках по монастырям и подмосковным селениям, стоял рындой у трона в Грановитой палате на торжественных приемах иноземцев в Кремлевском дворце.
Военная начальственная служба для него началась в 1679 году, когда он был назначен помощником воеводы в Большой полк. Через два года Борис Шереметев стал уже воеводой одного из отрядов царской рати. Был тамбовским воеводой, командовал порубежными полками, прикрывавшими южную государственную границу от разбойных набегов крымских татар.
В 1882 году с восшествием на престол Иоанна (Ивана) и Петра Алексеевичей в 30 (!) лет был пожалован в бояре. С начала двоецарствия Б.П. Шереметев стал заметной фигурой в правящих кругах «на Москве», отличаясь воеводским опытом и знатностью рода, близкого к царствующим Романовым. На заседаниях Боярской думы выступал ответственно и дельно, «местничества» избегал.
Рано проявил дипломатические способности. Участвовал в трудных переговорах 1686 года с Речью Посполитой (союзного государства Польши и Литвы) о заключении с ней «Вечного мира». В качестве русского посла в этой стране участвовал в ратификации условий мира, который позволил Московскому царству сохранить за собой Киев, который надолго стал пограничным городом. Довелось ему принимать участие и в заключении договора со Священной Римской империей (со столицей в австрийской Вене) о совместном противостоянии Оттоманской Порте.
Большая победа отечественной дипломатии принесла Борису Петровичу чин ближнего боярина и должность вятского наместника. Однако государева служба по делам Посольского приказа оказалась непродолжительной. Жизненным поприщем для Шереметева стало ратное дело, рано начавшего «воеводствовать».
В 1687 году он назначается воеводой в Белгороде и Севске: эти два города-крепости преграждали кратчайший путь коннице крымского хана в набегах на московские земли. Иными словами, он стал воеводой порубежной, пограничной стражи, охранявшей южнорусские уезды от покушений на них крымцев. На границе у боярина-воеводы и проявилась такая черта, как воеводская осторожность на войне, за что царь Петр I не раз будет упрекать Шереметева в событиях Северной войны.
Участвовал в 1688 году в Крымском походе князя В.В. Голицына, фаворита правительницы царевны Софьи Алексеевны. В больших столкновениях с крымской конницей в Черной и Зеленой долинах отряд белгородского воеводы терпел поражения. Но сам Борис Шереметев являл собой пример личной храбрости. Потому и избежал он упреков Боярской думы за понесенные поражения и побитых ратников.
…В конце XVII столетия Русское государство оказалось на историческом перепутье. Когда началась борьба боярских группировок Милославских и Нарышкиных за высшую власть, именитый и влиятельный боярин-воевода Б.П. Шереметев решительно встал на сторону последних, поддержав юного царя Петра I. Он сознательно стал его верным сподвижником, будучи старше государя на 20 лет. Белгородским воеводой оставался до 1695 года, часто проживая в первопрестольной Москве.
Следует заметить, что до конца своей жизни Борис Петрович оставался стойким приверженцем старомосковских моральных устоев, хотя и понимал необходимость государственных реформ. В петровском окружении знатный родом боярин настороженно относился к «безродным выскочкам». Но своей знатностью никогда не кичился.
В начале Азовских походов Петра I боярин-воевода командовал войсками, действовавшими на Днепре отдельно от главных сил. Он имел задачу выйти к его устью и на какое-то время активными действиями сковать устремления крымского хана пойти под Азов, чтобы «подсобить» его осажденному гарнизону. Иными словами, шереметевское войско выполняло задачу отвлечения на себя большой части ханской конницы.
В 1695 году после четырехдневной осады взял турецкий городок-крепость Кизы-Кермень, после чего османы сами оставили на низовых днепровских берегах три таких же укрепленных городка, и боярин-воевода победно отвел свои войска на Украину. «Разорения турецких крепостиц» на Днепре красной строкой вошли в его послужной список.
Тот Азовский поход 1695 года вошел в шереметевскую биографию особой строкой. Борис Петрович впервые попал в военную историю, написанную не соотечественниками. Восточный писатель Давид Ляхну в своем сочинении «Девар-Севафаим» среди прочего сообщал следующее: