В 1946–1951 годах Андропов заочно учился в Высшей партийной школе при ЦК ВКП(б) и одновременно на историко-филологическом факультете Карело-финского государственного университета в Петрозаводске, но окончил только ВПШ. В июне 1951 года его перевели в Москву инспектором ЦК, курировавшим республики Прибалтики. В мае 1953 года Андропов перешел в МИД заведующим IV европейским отделом (Польша, Чехословакия, Румыния), уже в июле был направлен в Венгрию советником-посланником, а год спустя стал послом. Ни одного иностранного языка он не знал, но это не мешало карьере в зависимых от Кремля социалистических странах Европы, где к тому же значительная часть политической элиты говорила по-русски. Во время венгерского восстания 1956 года Андропов был потрясен тем, как на улицах Будапешта вешали сотрудников венгерского министерства госбезопасности, и он выступал за жесткие меры для подавления «контрреволюционного мятежа». В конце октября 1956 года посольская машина, где находился Андропов, была обстреляна. Юрий Владимирович уцелел, но ему с шофером потом два часа ночью пришлось добираться до посольства пешком. Его деятельность в Венгрии Хрущев одобрил, так отозвавшись о деятельности Андропова в Венгрии в мемуарах: «С посольскими делами он справлялся хорошо и отлично разбирался в других событиях. Он докладывал нам обо всем со знанием местной обстановки и давал полезные советы, вытекавшие из сложившейся ситуации».[20] В апреле 1957 года Андропов возглавил Отдел ЦК КПСС по связям с коммунистическими и рабочими партиями социалистических стран. В 1962 году его повысили до секретаря ЦК КПСС. Участие Андропова в заговоре по смещению Хрущева было не слишком значительным. Андропов был одним из тех, кто подготовил доклад об ошибках Хрущева, с которым секретарь ЦК Михаил Суслов выступил на Октябрьском Пленуме 1964 года, когда снимали Хрущева.[21] При Брежневе Андропов сохранил свой пост и постепенно настолько сблизился с Леонидом Ильичом на заседаниях секретариата, что тот 18 мая 1967 года назначил его председателем КГБ после того, как его предшественник Владимир Семичастный крепко проштрафился тем, что дал разрешение на выезд в Индию для похорон мужа дочери Сталина Светлане Аллилуевой, которая 6 марта 1967 года попросила политического убежища в посольстве США в Дели, а затем объявила о намерении издать книгу мемуаров. Семичастному инкриминировали то, что он не смог предотвратить ни бегства Аллилуевой, ни вывоза рукописи ее книги за границу.
На посту председателя КГБ Андропову пришлось бороться с диссидентским движением. Диссиденты выступали за либерализацию политического режима в СССР, осуществление в стране демократических свобод и соблюдение прав человека. Они использовали ненасильственные методы борьбы. Андропов стал шире использовать так называемую карательную психиатрию, когда диссиденты объявлялись сумасшедшими и без суда помещались на принудительное лечение в специальные психиатрические лечебницы. Андропов также старался принудить диссидентов к эмиграции, особенно после отбытия лагерного срока, и практиковал высылку наиболее видных диссидентов за границу, где они, как считал глава КГБ, представляли меньшую опасность, чем внутри страны. Так, по инициативе Андропова в 1974 году был выслан и лишен гражданства нобелевский лауреат писатель Александр Солженицын, а в 1980 году был выслан в закрытый для иностранцев город Горький другой неформальный лидер диссидентского движения академик Андрей Сахаров, один из «отцов» советской водородной бомбы. К концу 70‐х годов КГБ удалось почти полностью подавить диссидентское движение. Андропов также был одним из инициаторов ввода войск Варшавского договора в Чехословакию для подавления попытки построить там сильно отличающийся от советского «социализм с человеческим лицом». При Андропове активизировались зарубежные операции КГБ и были созданы новые агентурные сети во многих странах НАТО. В конце 1979 года Андропов был одним из инициаторов советской военной интервенции в Афганистане и устранения президента Афганистана Хафизуллы Амина, союзника СССР.