В 1922 году генерал Врангель со своим штабом переехал из Константинополя в Сербию, в город Сремски Карловцы, где с июля 1921 года Высшее Церковное Управление Юга России, образованное летом 1919 года в белом Ставрополе, закладывало основы Русской Православной Церкви Заграницей. В сентябре 1922 года при активном содействии врангелевских представителей здесь был создан Архиерейский Синод РПЦЗ.
Самой главной зарубежной акцией барона Врангеля стал созданный им в сентябре 1924 года Русский Обще-Воинский Союз (РОВС), явившийся стержнем русской политэмиграции, объединивший около 30 тысяч бывших белых воинов. Первоначально в РОВСе было четыре отдела. Первый — Франция и Бельгия, второй — Германия, Австрия, Венгрия, Латвия, Эстония, Литва; третий — Болгария и Турция; четвертый — Королевство сербов, хорватов и словенцев (с 1929 г. — Югославия), Греция и Румыния. Потом отделы РОВСа появятся в Северной и Южной Америке, в Египте, Австралии и других странах с русской диаспорой.
16 ноября 1924 года генерал Врангель, оставаясь главкомом Русской армии и Председателем РОВСа, передал бывшему Верховному главкому императорской армии в Первой мировой войне великому князю Николаю Николаевичу права Верховного Главнокомандующего Русской армии в Зарубежье, так как требовалось противодействовать великому князю Кириллу Владимировичу, объявившему себя в это время «Императором Всероссийским».
«Краснобантовый» в феврале 1917 года Кирилл Владимирович еще в 1905 году за женитьбу на разведенной, неправославной двоюродной сестре Виктории-Мелите, урожденной принцессе Саксен-Кобургской, был устранен от престолонаследия императором Николаем Вторым. Но потомки этого самозванца — «Кирилловичи» в лице княгини Леониды Георгиевны Романовой, урожденной княжны Багратион-Мухранской, ее дочери княгини Марии Владимировны, внука и сына князя Георгия Михайловича — вплоть до конца XX века так же безуспешно претендовали на русский престол.
В сентябре 1927 года генерал П. Н. Врангель переехал с семьей из Сербии в Бельгию, где, живя в Брюсселе, неожиданно тяжело заболел и 25 апреля 1928 года скоропостижно скончался.
Мать Петра Николаевича баронесса М. Д. Врангель писала:
«Тридцать восемь суток сплошного мученичества!.. Его силы пожирала 40-градусная температура… Он метался, отдавал приказания, порывался вставать. Призывал секретаря, делал распоряжения до мельчайших подробностей».
Весьма странна была такая смерть полного сил 49-летнего генерала. На следующий день после нее парижские газеты писали: «Циркулируют упорные слухи о том, что генерал Врангель был отравлен». Упоминали, якобы Петр Николаевич «еще недавно говорил одному из своих друзей, что ему следовало бы предпринять крайние меры предосторожности в отношении своего питания, так как он опасается отравления».
Диагноз же состояния умирающего Врангеля в устах его давнего соратника по антибольшевистской борьбе, профессора медицины И. П. Алексинского, трижды приезжавшего из Парижа, чтобы осмотреть больного, звучал так:
«Была какая-то тяжелая инфекция (грипп?), пробудившая скрытый туберкулез в верхушке левого легкого».
В то же время семья Врангелей всегда была убеждена, что «интенсивный туберкулез» у Петра Николаевича был искусственно вызван, явился результатом отравления чекистов. Об этом в 1991-92 годах рассказывали в российской прессе двое из четверых тогда живых детей барона — Елена Петровна фон Мейндорф и Петр Петрович Врангель. Что же, на их взгляд, произошло?
У Врангеля был денщик, вестовой Яков Юдихин, который никогда ни словом не упоминал о каком-либо своем брате. И вдруг в их брюссельском доме появляется этот «брат» и представляется матросом с советского торгового судна, прибывшего в Антверпен. Приехал, мол, оттуда на денек в Брюссель проведать брата Яшу, который это подтвердил. Прожил гость в доме генерала сутки, больше отсутствуя где-то без Яши Юдихина. Уехал, а на следующий день П. Н. Врангель смертельно заболел.
Сначала у барона была высокая температура, ее очень трудно было сбить, и думали, что это осложнение после недавнего гриппа. Лишь через полторы недели консилиум врачей вдруг обнаружил во врангелевском организме огромное количество туберкулезных палочек.