Врангелю и его сторонникам потребовалось знамя, а конкретно, кандидат на престол. В самом начале эмиграции монархисты выдвинули кандидатуру великого князя Дмитрия Павловича, а затем в императоры полез великий князь Кирилл Владимирович. Ни тот, ни другой барона не устраивали, и поначалу он предложил в кандидаты на императорский трон... югославского короля Александра I. Но эмиграция не поддержала эту кандидатуру, да и сам король не имел ни малейшего желания становиться императором Александром IV.
После этого наиболее приемлемыми кандидатами для Врангеля и его окружения оказались вдовствующая императрица Мария Фёдоровна и великий князь Николай Николаевич. Они по возрасту и своему характеру не годились на роль вождей, но были отличными «знамёнами». За Марией Фёдоровной была легитимность. Ещё бы — она супруга императора Александра III и мать императора Николая II! А Николай Николаевич пользовался большим авторитетом в военных кругах.
В ноябре 1922 года Врангель в своей резиденции в сербском городе Сремски Карловцы провёл совещание, многие документы которого готовил начальник штаба генерал Миллер, числящийся также с 8 ноября 1922 года помощником главнокомандующего. На совещании также присутствуют помощники главкома генералы Кутепов и Абрамов, начальник его Политической канцелярии С.Н. Ильин и прибывшие из Парижа генералы Хольмсен и Данилов. В результате был вынесен вердикт с основными идеями:
1. «Личное обаяние имени Великого Князя Николая Николаевича» может способствовать единению Зарубежной России, которого не удавалось добыть иными способами.
2. В сложившихся сложных международных и внутриэмигрантских условиях такое «единение» должно иметь не «форму гласного возглавления им какого-либо объединения», а характер личного общения Великого Князя с доверенными ему лицами, ведущими работу в России.
3. Несмотря на сильное распространение в Армии монархических чувств, Главное Командование должно твёрдо держаться заветов генералов Корнилова и Алексеева и не предрешать вопроса «какою быть России».
4. Объединение вокруг Великого Князя Николая Николаевича как «главы, в будущем, русского национального движения» должно быть возможно более широким и включать «всех несоциалистических, государственно мыслящих элементов».
Для дальнейших переговоров с великим князем в Париж отправляется Миллер.
1 сентября 1924 года Врангель создаёт Русский общевоинский союз (РОВС). Верховным главнокомандующим «Русской армией в зарубежье» становится великий князь Николай Николаевич, главнокомандующим и фактическим главой РОВСа — Генерального штаба генерал-лейтенант барон фон Врангель.
Создание РОВСа стало самой главной зарубежной акцией генерала барона Врангеля. Союз явился стержнем русской политэмиграции, объединившим около 30 тысяч бывших белых воинов.
Первоначально в РОВСе было четыре отдела. Первый — Франция и Бельгия; второй — Германия, Австрия, Венгрия, Латвия, Эстония, Литва; третий — Болгария и Турция; четвёртый — Королевство сербов, хорватов и словенцев (с 1929 года — Югославия), Греция и Румыния. Потом отделы РОВСа появятся в Северной и Южной Америке, в Египте, Австралии и других странах с русской диаспорой.
Следует заметить, что великий князь Николай Николаевич долго колебался и отказывался, прежде чем стать главой РОВСа. Современники говорили о его осторожности ещё в годы мировой войны. Так, великий князь до крайности оберегал свой покой и здоровье, на автомобиле он ездил со скоростью не более 25 вёрст в час, опасаясь попасть в аварию, и ни разу не выехал на фронт дальше ставки главнокомандующего, боясь шальной пули.
На решение Николая Николаевича повлияла не только настойчивость Врангеля, но и претензии Кирилла Владимировича на императорскую корону.
Кирилл дважды отправлял Николаю Николаевичу письма с предложением «сотрудничества». На первое письмо вообще ответа не последовало, а на второе, которое Николаю Николаевичу лично передала княгиня Елена Владимировна, был получен ответ через брата Николая Николаевича великого князя Петра Николаевича, что Николай Николаевич не сочувствует выступлению Кирилла Владимировича, и поэтому сотрудничество невозможно.