Впрочем, подобная предприимчивость и равнодушие к государевой службе были явным исключением в роду Столыпиных. Дед Петра Аркадьевича Дмитрий Алексеевич (1785–1826) пошёл по проторённому предками пути воина. После окончания Московского университетского благородного пансиона (где позднее обучался и Лермонтов) он проходит военную службу в лейб-гвардии конно-артиллерийской роте, где и получает первое офицерское звание. Впервые юный конно-артиллерист отличается в битве под Аустерлицем, в которой проявляет выдающуюся личную храбрость. Но молодой офицер серьёзно интересуется и вопросами военной теории, и его публикации используются для создания первого в российской армии артиллерийского устава. После Отечественной войны Столыпин служит в Южной армии, где и получает генеральские эполеты. Встречаются утверждения о его близости в данный период к декабристам, однако документов на этот счёт не существует, и можно предположить, что дело ограничивалось не более чем личными хорошими отношениями с некоторыми заговорщиками. Во всяком случае, никаких официальных обвинений в адрес Столыпина после подавления военного мятежа выдвинуто не было, да и трудно представить, чтобы генерал с его понятиями о чести и верности присяге участвовал в заговоре.
Дед по матери Петра Аркадьевича генерал от артиллерии генерал-адъютант Михаил Дмитриевич Горчаков (1793–1861) – одна из наиболее заметных фигур в военной истории России. Он был участником Отечественной войны (в том числе Бородинской битвы), Заграничных походов 1813–1814 годов (в том числе Битвы народов при Дрездене), польской войны 1831 года. Во время похода в Венгрию в 1849 году генерал Горчаков назначается начальником штаба Действующей армии и проявляет незаурядные способности стратега. Во время Восточной (Крымской) войны 1853–1856 годов он сначала командует тремя пехотными корпусами, действовавшими на Дунае и побережье Чёрного моря до Буга, а после их вывода из пределов Валахии и Молдавии (по предательскому требованию австрийского императора Франца Иосифа I, оставшегося на троне только благодаря вводу в 1849 году российских войск в Венгрию) назначается командовать Южной армией на северо-западном побережье Чёрного моря и реке Прут. После высадки войск антироссийской коалиции в Крыму генерал некоторое время командует Крымской армией, а в феврале – августе 1855 года руководит обороной Севастополя. С января 1856 года Горчаков – наместник Царства Польского и главнокомандующий 1-й армией. Согласно завещанию он был похоронен в Севастополе, героическая оборона которого была для генерала главным событием в наполненной сражениями и героизмом жизни.
Отец Петра Аркадьевича – Аркадий Дмитриевич Столыпин (1822–1899) во многом повторил блестящую боевую биографию генерала Горчакова, также став генералом от артиллерии. Как офицер Генерального штаба он участвует в Венгерском походе и за боевые отличия досрочно получает капитанский чин, в Восточную войну сражается на Дунае и при обороне Севастополя (где получает золотую саблю с надписью «За храбрость»). Кстати, в Севастополе Аркадий Столыпин становится другом тогда никому не известного молодого офицера-артиллериста Льва Толстого, и их закалённая в пороховом дыму дружба сохранится навсегда.
После Восточной войны начинается блестящая административная карьера Аркадия Дмитриевича. Сначала талантливого офицера-артиллериста император Александр II (вообще ценивший людей незаурядных) делает своим флигель-адъютантом, а в 1857 году назначает наказным атаманом Уральского казачьего войска. А. Столыпин много сделал для освоения этого тогда ещё во многом дикого края и за отличие по службе в 1859 году награждается званием генерал-майора с оставлением в царской свите. В 1868 году наказной атаман становится генерал-лейтенантом с оставлением по конной артиллерии, а в следующем – оставляет военную службу и назначается шталмейстером двора (это было одно из самых высоких придворных званий). В это же время Столыпин продает подмосковное имение Середниково и переезжает в имение Колноберже под Ковно (сейчас Каунас, Литва). О том, как Аркадием Дмитриевичем было получено имение, дочь Петра Аркадьевича Мария фон Бок позже рассказывала следующее: «Его родственник Кушелев, проиграв ему в яхт-клубе значительную сумму денег, сказал: денег у меня столько свободных нет, а есть у меня небольшое имение в Литве, где-то около Кедайн (теперь Кедайняй), сам там никогда не был. Хочешь, возьми его себе за долг. Так и стало принадлежать нашей семье милое Калнабярже, унаследованное потом моим отцом».