30 июня 1934 г. во время волны жестокостей, сопровождавшей так называемую чистку Рема, фон Пален был арестован органами СС. Аппарат его учреждения также был арестован, а два его помощника, в том числе человек, который помогал ему составить марбургскую речь, были убиты. Фон Папен был освобожден в июле 1934 года. Несмотря на убийство его помощников, фон Пален принял обязанности посланника в Австрии 26 июля 1934 г., через день после того, как был убит Дольфус. Его назначение было объявлено ему письмом Гитлера, в котором ему предлагалось направить взаимоотношения между двумя странами «в нормальное и дружественное русло», и его заверяли «в полном и неограниченном доверии» Гитлера. В качестве посланника в Австрии фон Папен принимал активное участие в попытках укрепить позиции нацистской партии в Австрии для того, чтобы добиться аншлюса. В начале 1935 года он участвовал в совещании в Берлине, на котором был принят политический курс, направленный к тому, чтобы избегать всего, что может создать впечатление о германском вмешательстве во внутренние дела Австрии. Однако он добился ежемесячной дотации в 200 тысяч марок для «мучеников национал-социализма, преследуемых в Австрии». 17 мая 1936 г. он доложил Гитлеру о результатах своего совещания с капитаном Леопольдом, руководителем австрийских нацистов, и настойчиво убеждал Гитлера выступить с заявлением о признании национальной независимости Австрии, предсказывая, что это поможет формированию коалиции против Штаркемберга между христианскими социалистами Шушнига и австрийскими нацистами. 27 июля 1935 г. фон Пален доложил Гитлеру, что союз между Австрией и Германией не может быть осуществлен в результате давления извне, а лишь путем укрепления национал-социалистского движения. Он призывал к тому, чтобы австрийская нацистская партия изменила свой характер и, перестав быть централизованной партией Германской империи, собрала под свое знамя всех лиц немецкого происхождения.
Фон Папен принимал участие в происходивших время от времени политических демонстрациях нацистов, содействовал распространению нацистской пропаганды и составлял подробные отчеты о деятельности нацистской партии и регулярные доклады о состоянии оборонительных средств Австрии. Проводимая им в Австрии политика привела к соглашению от 11 июля 1936 г., которое номинально восстанавливало взаимоотношения между Германией и Австрией и придавало им «нормальную и дружескую форму», однако соглашение имело секретное приложение, предусматривавшее амнистию австрийским нацистам, снятие цензуры с нацистских газет, возобновление политической деятельности нацистов и назначение людей, дружески настроенных по отношению к нацистам, в кабинет Шушнига.
После подписания этого соглашения фон Папен подал в отставку, но его отставка не была принята. После этого он постоянно продолжал оказывать давление на австрийское правительство с тем, чтобы добиться введения нацистов в кабинет Шушнига и получить для них влиятельные посты в «Отечественном фронте», единственно легальной партии Австрии. 1 сентября 1936 г. фон Папен писал Гитлеру о том, что антинацисты в австрийском министерстве безопасности препятствовали проникновению нацистов в правительство Австрии, и предлагал придерживаться политики «постоянно нарастающего нажима, направленного к изменению режима».
4 февраля 1938 г. фон Папен был уведомлен, что он отзывается с поста посланника в Австрии; это произошло одновременно со смещением фон Фрича, фон Бломберга и фон Нейрата с занимаемых ими постов. Он выразил Гитлеру сожаления по поводу своего отзыва, ссылаясь на то, что с ноября 1937 года он старался убедить Шушнига встретиться для беседы с Гитлером, и Шушниг дал понять, что он согласен на это. Действуя в соответствии с указаниями Гитлера, фон Папен затем возвратился в Австрию и договорился об этой встрече, которая и состоялась в Берхтесгадене 12 февраля 1938 г. Фон Папен сопровождал Шушнига на это совещание и в конце его посоветовал Шушнигу согласиться на требования Гитлера. 10 марта 1938 г. Гитлер приказал фон Папену возвратиться в Берлин. 11 марта фон Папен уже находился в канцелярии[91], когда был отдан приказ об оккупации Австрии. Не было представлено никаких доказательств того, что фон Папен был за принятие решения оккупировать Австрию силой, но сам он показал, что убеждал Гитлера не делать этого шага.
После аннексии Австрии фон Пален удалился в отставку и перешел на положение частного лица. Нет никаких доказательств того, что он принимал какое-либо участие в политической жизни. Он принял пост посла в Турции в апреле 1939 года, однако не было представлено никаких доказательств того, что его деятельность на этом посту делает его причастным к преступлению.