През януари 1941 г. Стивънсън предава заловената кореспонденция във ФБР. Докато продължава издирването на подателя, положението става още по-сериозно. По-нататък кореспонденцията на „Джо К.“ показва, че той значително е разширил дейността си.
Едно от изпратените писма — този път с подпис „Конрад“ — представлява донесение на опитен военен наблюдател. Сега вече кореспонденцията с неизвестните получатели се води от двама агенти, при това единият от тях без съмнение е добре подготвен шпионин-професионалист, по всяка вероятност офицер.
Доста дълго време издирването на подателите не довежда до нищо, но през март етапа едно събитие, което ускорява края на тази история. В поредната кореспонденция на „Джо“, написана както обикновено на отвратителен английски език, се съдържа следната новина:
„Тази седмица се случи нещо ужасно. Известният ви Фил стана жертва на улично произшествие. Веднъж, след като прекарахме заедно вечерта, излязохме от хотела и Фил, преминавайки Бродуей, се спря, за да даде път на транспортно средство. Само след миг го връхлетя такси, а когато вече лежеше на платното, го прегази и друга кола. Полицията задържа и двамата шофьори, а Фил на следния ден умря в болницата. Тъй като самият аз не можех нищо да предприема, чрез един приятел известих консулството за случилото се с Фил.
Вие естествено разбирате, защо не направих опит да се свържа с полицията и не и съобщих името си …Днес се отбих в консулството, където ми обещаха да ме подкрепят, особено във връзка с предстоящото погребение и заплащането на сметките.“
На обратната страна на писмото със симпатично мастило е прибавено:
„Инцидентът стана на 18 март около 20.45. Фил умря във вторник, 19 март 1941 г., 16.30 в болницата на Сент Винсент. Споменатото консулство е испанското.“
За абвера това наистина е голям удар, защото под името Фил се крие не някой друг, а Улрих фон дер Остен. Само два дни след като е заел новия си пост, той се оказва в моргата на една от нюйоркските болници, което е началото на края не само на операцията „Лудвиг“, но и на целия монопол на абвера за шпионаж в САЩ.
… Остен прекарал цялата сутрин в хотел „Тафт“, където съчинявал дълго писмо за „мистър Смит“ в Китай, възнамерявайки да го препрати чрез Мануел Алонзо в Мадрид. Към писмото с подробно описание на хавайския остров Оаху той смятал да добави няколко съставени от него карти на Пърл Харбьр. Остен събрал цялата тази информация по време на престоя си в Хонолулу на път за Съединените щати и я изложил в писмена форма, защото според него тя представлявала „определен интерес за нашите жълти съюзници“. Псевдонимът „мистър Смит“ принадлежал на резидентът на абвера в Шанхай Л. Сайфкен.
Лудвиг се отбил при Остен след обед. Дълго разговаряли за работата на Лудвиг и обсъждали бъдещите планове, в осем и половина вечерта излезли от хотела, за да вечерят в един от китайските ресторанти на „Таймс скуеър“, а след 15 минути Остен вече лежал на уличното платно, повален от една кола, про-фучала по Бродуей.
След известно време Лудвиг позвънява в хотела и съобщава, че с мистър Хулио Лидо се е случило голямо нещастие, и казва, че ще намине за вещите му. Когато администраторът помолва Лудвиг да каже кой се обажда, немецът се изплашва и окачва слушалката.
Странното позвъняване и тъй неочакваното прекъсване на разговора предизвиква у администратора подозрение. Той се обръща към полицията, която пък се свързва с Федералното бюро за разследване, където скоро донасят вещите на мистър Лидо за преглеждане. Вниманието на сътрудниците на ФБР е привлечено от няколко писма от Германия, предназначени за препращане в Денвър за Вилхелм фон дер Остен. Сега вече без особено затруднение установяват кой всъщност е Хулио Лопес Лидо: Вилхелм Остен не скрива, че загиналият е неговият брат Улрих Остен, офицер от германското военно разузнаване.
Но ключ за цялата тайна продължава да си остава загадъчният „Джо“, затова започват да го търсят с удвоена енергия. Сред книжата на Остен сътрудниците на ФБР откриват телефонния номер на малко магазинче, принадлежащо на Дейвид и Лони Гарис. Разпитът на тази възрастна двойка изяснява много неща и само два дни след произшествието на Бродуей директорът на ФБР Хувър информира Стивънсън, че под прякора „Джо“ се крие някой си Фред Лудвиг. Но дори след получаването на тези сведения ФБР не попада веднага на следите му.