Итак, Вильнёв должен был, с одной стороны, соединиться с кораблями Аллемана, а с другой стороны, не терять времени и продолжать движение в Ла-Манш. Но Аллемана все не было видно, и Вильнёв отправил ему навстречу фрегат «Ля Дидон».
Вильнёв прождал корабли Аллемана в Ла-Корунье до 11 августа, но так и не дождался их. За это время англичане сумели собраться с силами и перегруппироваться. 14 августа французские наблюдатели заметили фрегат «Ля Дидон», без мачт и в окружении захвативших его британских кораблей. Стало ясно, что никакого Аллемана ему найти не удалось. 15 августа капитан одного датского торгового судна рассказал французам, что видел, что к Ла-Корунье движется еще около 25 британских военных кораблей.
Теперь двигаться в Ла-Манш всего с 29 кораблями, из которых 11 были испанскими, стало чрезвычайно опасно. Вильнёв писал об этом морскому министру вице-адмиралу Декре, упирая на то, что испанцы могли вести бой только в линию, а это было уже «тактикой вчерашнего дня». Кроме того, Вильнёв сообщал, что состояние кораблей после многомесячного плавания критическое, ветры неблагоприятны, и у него не остается других вариантов, как возвращаться в Средиземное море.
Наполеон был в бешенстве. Уже 13 августа он писал морскому министру Декре:
«Засвидетельствуйте адмиралу Вильнёву мое недовольство тем, что он теряет такое драгоценное время. Я надеюсь, что очень скоро ветры помогут ему выйти в море, и он сделает это. Матросы храбры, капитаны воодушевлены, гарнизоны многочисленны; не нужно разрушать себя бездействием и упадком духа».
Вильнёву Наполеон в тот же день писал следующее:
«Я с удовольствием отмечаю по итогам боя 3 термидора, что многие из моих кораблей проявили себя отважно, чего я и должен был от них ожидать. Я вам признателен за прекрасный маневр, который вы произвели и который дезориентировал противника. Мне хотелось бы, чтобы вы использовали больше своих фрегатов для помощи испанским кораблям, которые, будучи первыми втянутыми в дело, очень нуждались в этом. Также я хотел бы, чтобы на следующий день после боя вы не дали бы времени противнику отвести в безопасное место свои корабли „Виндзор-Кастл“ и „Мальта“, а также два испанских корабля, которые, будучи разоруженными, двигались с большим трудом. Это придало бы моему оружию блеск большой победы. Медлительность маневра дала время англичанам для отхода в их порты. Но я склонен думать, что победа осталась за нами, так как вы вошли в Ла-Корунью. Надеюсь, что это письмо не застанет вас там, что вы уже движетесь на соединение с капитаном Аллеманом, чтобы смести все на своем пути и прибыть в Ла-Манш, где мы с беспокойством ожидаем вас. Если вы этого еще не сделали, сделайте; смело идите на противника».
Еще через восемь дней, 22 августа, Наполеон в своем письме морскому министру Декре возмущался:
«Я думаю, что у Вильнёва нет необходимого характера даже для того, чтобы командовать фрегатом. Это человек, лишенный решимости и храбрости».
Декре, по всей видимости, передал эти слова императора Вильнёву. Тот с сожалением ответил:
«Если Его Величество думает, что для успеха на флоте нужны только отвага и характер, мне не о чем больше говорить».
В тот же день, 22 августа, император просто умолял Вильнёва:
«Господин вице-адмирал Вильнёв, я надеюсь, что вы уже в Бресте. Выходите, не теряйте ни минуты! и входите с моими эскадрами в Ла-Манш. Англия наша. Мы полностью готовы, все уже погружено на корабли. Прибудьте в двадцать четыре часа, и все будет кончено».
Но Вильнёв не мог идти в Ла-Манш: с его малочисленной и ослабленной эскадрой это было бы безумием.
Поняв наконец тщетность своих ожиданий и вообще всего своего предприятия по высадке десанта в Англии, Наполеон 3 сентября покинул Булонский лагерь, двинув собранную там Великую армию в сторону Рейна. Как отмечает известный исследователь военных кампаний императора Дэвид Чандлер, «окончательное решение было принято 25-го. В тот же день из императорской ставки вышли приказы, согласно которым вторжение в Англию откладывалось на неопределенное время».
В своем письме морскому министру Декре от 4 сентября 1805 года Наполеон излил все свое негодование поведением Вильнёва:
«Господин Декре, адмирал Вильнёв переполнил чашу моего терпения; он отдал, выходя из Виго, приказ капитану Аллеману идти в Брест, а вам он пишет, что собирается идти в Кадис. Это же предательство. Этому нет другого названия. Предоставьте мне рапорт о всей экспедиции. Вильнёв — это ничтожество, которое нужно с позором изгнать. Лишенный храбрости, лишенный общей цели, он готов пожертвовать всем, чтобы спасти свою шкуру. Ничто не может сравниться с глупостью Вильнёва. Я требую отчет обо всех его операциях.