В 1936 году направлен на работу по линии научно-технической разведки в нелегальную резидентуру НКВД в Германии, активно работал над получением образцов вооружений германского вермахта.
В декабре 1937 года возвратился на нелегальную работу во Францию, где находился до конца 1938 года. Затем выезжал в краткосрочные командировки в Норвегию и Данию, где восстановил связь с рядом законсервированных источников. В июле 1940 года направлен в командировку в Германию. Восстановил связь с рядом агентов резидентуры, в том числе с ценнейшими источниками — сотрудником разведотдела люфтваффе Харро Шульце-Бойзеном («Старшина») и старшим правительственным советником имперского министерства экономики Арвидом Харнаком («Корсиканец»).
Одним из первых понял неизбежность войны с Германией, постоянно информировал об этом Центр. 17 июня 1941 года направил в Центр телеграмму, составленную на основании сведений, полученных от «Старшины» и «Корсиканца»: «Все военные приготовления Германии по подготовке вооруженного выступления против СССР полностью закончены и удара можно ожидать в любое время».
Войну встретил в Берлине, сумел выйти из советского посольства, заблокированного гестапо, конспиративно встретиться с «Корсиканцем» и «Старшиной».
Прибыл в Москву в июле 1941 года, был назначен начальником германского отдела внешней разведки, который занимался ведением разведки не только в Германии, но и в оккупированных ею европейских странах. В ноябре — декабре 1943 года участвовал в обеспечении безопасности лидеров антифашистской коалиции в период работы Тегеранской конференции. Дважды побывал в Афганистане, где советская и английская разведки ликвидировали нацистскую агентуру, готовившую профашистский переворот. Несколько раз вылетал в Югославию для передачи маршалу Тито посланий советского руководства. В конце войны был направлен в Берлин, где возглавил группу по обеспечению безопасности немецкой делегации, которой предстояло подписать Акт о безоговорочной капитуляции Германии.
9 мая 1945 года в Карлхорсте, в здании бывшей столовой военно-инженерного училища нацистского вермахта, состоялась церемония подписания Акта о безоговорочной капитуляции Германии. За длинными столами, покрытыми зеленым сукном, расположились генералы Красной армии. Открывая заседание, маршал Жуков пригласил в зал представителей немецкого командования. Первым переступил порог генерал-фельдмаршал Кейтель. Его сопровождал рослый, спортивного телосложения, моложавый человек в форме полковника госбезопасности. Это был легендарный советский разведчик Александр Коротков. Для него участие в церемонии подписания Акта о безоговорочной капитуляции Германии было не только ответственным поручением Наркомата государственной безопасности СССР, но и высокой честью, которой он был удостоен как советский разведчик, специалист по германским вопросам, внесший определенный вклад в нашу Победу. Он не командовал войсками, не участвовал непосредственно в боях на передовой, но, занимаясь активной разведывательной работой, внес существенный вклад в разгром врага.
В середине 1945 года назначен резидентом внешней разведки в Германии. В Карлсхорсте, где размещалась резидентура, занимал официальную должность заместителя советника Советской военной администрации. В 1946 году был отозван в Центр и назначен на должность заместителя начальника внешней разведки. Одновременно возглавил нелегальное управление. Именно при нем в США был направлен разведчик-нелегал Вильям Фишер (Рудольф Абель), а позже в Англию — руководитель нелегальной резидентуры Конон Трофимович Молодый. В мае — июле 1953 года исполнял обязанности начальника внешней разведки.
В ноябре 1956 года выезжал в Венгрию в качестве заместителя руководителя опергруппы КГБ И. А. Серова. Участвовал в оперативно-чекистских мероприятиях по подавлению венгерского восстания, задержанию активных повстанцев и изъятию оружия у населения.
В 1957 году назначен на должность уполномоченного КГБ СССР при Министерстве госбезопасности ГДР. В середине июня 1961 года был вызван в Москву на совещание в ЦК КПСС.
Скончался 27 июня 1961 года от разрыва аорты. Похоронен на Новодевичьем кладбище в Москве.