Военная карьера Пеньковского даже на первый взгляд была довольно необычной. После окончания в 1939 году Киевского военного училища его направляют в войска. Он участвовал в советско-финской войне. С июня 1941 года начал контактировать с военной разведкой РККА. Некоторое время, с 1944 по 1945 год, являлся офицером связи — порученцем будущего главного маршала артиллерии С. Варенцова. В 1945-м Олег Пеньковский, двадцатишестилетний подполковник, по рекомендации Варенцова и маршала Конева был принят в Военную академию им. Фрунзе. В наградном листе Пеньковского значились пять боевых орденов, включая редкий «штабной» орден Александра Невского. В этом же 1945 году подполковник женился на 17-летней дочери генерала Д.А. Гапановича, начальника политуправления и члена Военного совета МВО. После появления первого ребенка — дочери — он получил, по всей видимости, не без помощи тестя шикарную квартиру в элитном по тем временам доме. В карьерном росте племянника, очевидно, принимал участие и его дядя, в будущем генерал армии — В.А. Пеньковский.
В 1948 году он оканчивает Военную академию имени М.В. Фрунзе. Там овладел азами английского языка и намеревался поступить в престижную Высшую военно-дипломатическую школу (ВВДШ). Но получился облом — Пеньковского не приняли, не помогло и вмешательство тестя. Служба в Москве после «Фрунзенки» началась в центральном военкомате МВО. В начале 1949 года не без помощи маршала Конева и его зама — генерала Маландина — он зачисляется слушателем ВВДШ. В первых числах февраля 1950 года Пеньковский получил звание полковника.
На банкете, где почетный гость Иван Конев, бросив три полковничьи звезды в бокал с водкой, провозгласил тост «за одну большую генеральскую звезду» одного из самых молодых полковников в стране.
В 1953 году Пеньковский завершил учебу в ВВДШ, потом она будет называться Военно-дипломатической академией, и был направлен в Главное разведывательное управление Генштаба ВС СССР, но там с самого начала службы не сумел найти ключи к новым сослуживцам. Репутация выскочки быстро утвердилась за молодым полковником. От него начальство постаралось избавиться.
С 1955 года его назначают на должность исполняющего обязанности военного атташе СССР в Турции. Вместе с женой он вылетел в Анкару. Деловых и товарищеских отношений с коллегами и посольскими работниками у него не сложилось. Пеньковских считали высокомерными людьми, в свою очередь супруга и.о. ВАТ пренебрежительно называла своих коллег «колхозниками».
В январе 1956 года в Анкару из Кабула перевели генерал-майора Н.П. Савченко (Рубенко) и назначили его ВАТ СССР и руководителем резидентуры ГРУ в Турции. С новым руководством у Пеньковского тоже не сложилось деловых отношений, и он, пытаясь отомстить своему начальнику за «глупость и грубость» в своей работе, донес на него в Москву через каналы КГБ. В ноябре 1956 года все руководство ВАТ было отозвано в СССР. Пеньковский понял, что такой его поступок не прибавит «пера в его шляпу» в системе ГРУ.
Тогдашний начальник управления кадров ГРУ генерал Смоликов обрисовал положение Пеньковского так:
«Дорогой мой Олег Владимирович, не так важно, кто прав, а кто виноват. Важно, что уважаемый Николай Петрович Савченко уже был генералом, а вы, простите меня, только полковник. И вряд ли кто-либо из наших с вами начальников-генералов захочет после этого инцидента пригласить вас к себе в отдел. А неволить кого-либо не в наших правилах».
Итак, Пеньковский не сумел перерасти генеральского порученца, который поселился в нем навсегда.
В 1958 году он не без помощи Варенцова направляется на ракетные курсы при Военно-инженерной академии им. Дзержинского. 23 апреля 1959 года Пеньковскому исполнилось 40 лет. Его служебные амбиции не были полностью удовлетворены, хотя в мае того же года Пеньковский получил диплом с высшими оценками по всем дисциплинам и был отмечен как лучший выпускник курса. После окончания курсов его опять направляют в ГРУ. Офицера определили на работу в Управление внешних сношений Госкомитета по координации научно-исследовательских работ (УВС ГККНИР) при Совете министров СССР. По его мнению, это было прикрытое добродетелью выдавливание его из центрального аппарата ГРУ и конец карьерному росту.