Грант быстро продвигался по "узкому полуострову", разделяющему реки Раппаханнок и Рапидан, до их слияния примерно в трех милях к северу от Чанселорсвилля. Его войска перешли Рапидан вброд в двух местах, начиная с полуночи 3 мая. Полковник Винсент Эспозито предполагает, что если бы Грант переправился через Рапидан не в полночь, а в сумерках, он мог бы выйти из Уайлдернесс за один день и сорвать план Ли, но, учитывая численность войск Гранта, его обширный обоз с боеприпасами и снабжением, † и плохое состояние дорог, идущих с севера на юг через лес, это могло быть не так осуществимо, как кажется на карте. Поезд снабжения Гранта сильно отставал от первых двух корпусов, поэтому они были вынуждены расположиться на бивуак в Уайлдернесс, ожидая, пока он догонит их. Это дало Ли прекрасную возможность для атаки. Все, что ему нужно было сделать, - это продвинуть корпус Юэлла на восток по дороге Оранж-Фредериксбург-Тернпайк, а корпус А. П. Хилла - по дороге Оранж-Плэнк-Роуд, чтобы они встретились у таверны Олд-Уайлдернесс, и застать оба федеральных корпуса врасплох во фланг. Ему помогло то, что дороги, идущие с запада на восток через Уайлдернесс, были лучше, чем те, что шли с севера на юг.
Бой начался рано утром 5 мая, причем удивленные федералы поначалу не понимали, что перед ними целый корпус Юэлла. В густом подлеске и плотных сосновых зарослях войскам Союза было практически невозможно развернуться и сформировать стройные линии или воспользоваться преимуществом своей превосходящей артиллерии, но генералы Союза Гувернер Кембл Уоррен и Уинфилд Скотт Хэнкок бросали в бой дивизию за дивизией по мере их прибытия на поле боя, в итоге остановив наступление конфедератов в конце дня. Бой был настолько ожесточенным, что мушкеты многих бойцов "стали слишком горячими, чтобы с ними справиться".
Ли создал свой штаб менее чем в миле от фронта на ферме вдовы Тапп - в Дикой местности были отдельные расчищенные места для ферм, старые кузницы и, в местах, где встречались грунтовые дороги, простые магазины на перекрестках, названия которых войдут в историю в течение следующих двух дней. В середине дня во двор вдовы Тапп ворвался отряд солдат Союза, заставивший Ли, Джеба Стюарта и А. П. Хилла бежать в близлежащий лес, чтобы не попасть в плен, что, несомненно, свидетельствовало о том, что Ли, как обычно, слишком далеко зашел для генерала.
Ни одна из сторон не могла претендовать на победу после дня отчаянных боев на близком расстоянии в непроходимых лесах и густом подлеске, разделенных не нанесенными на карту блуждающими речушками, ручьями и болотами, где люди не могли видеть своих товарищей по оружию, не говоря уже о противнике, и где залпы массированного мушкетерского и артиллерийского огня, казалось, исходили из ниоткуда. Даже Дуглас Саутхолл Фримен, который редко говорит плохое слово о Вирджинии, называет ее "мрачным лабиринтом". Битву сравнивали с боями в джунглях во время Второй мировой войны и с индейскими боями в XVIII веке; и в конце кровавого и по любым меркам в значительной степени бесплодного дня почти любой генерал Союза отступил бы назад к Рапидану, чтобы зализать раны и начать искать путь в обход Уайлдернесс. Но Грант этого не сделал. Он остался на месте, чтобы возобновить бой на следующий день.
То, что произошло на следующее утро, бригадный генерал Адам Бадо, помощник Гранта, описал с долей ужаса: "Борьба, слепая, как полночь, мрак, сделавший маневры невозможными, джунгли, где полки натыкались друг на друга и на врага по очереди, стреляя иногда в свои собственные ряды, и ориентируясь только по треску кустов или возгласам и крикам, которые поднимались из глубин вокруг". Даже обычно неэмоциональная проза Гранта накаляется, описывая этот день: "Леса были подожжены разрывами снарядов, и пламя бушевало. Раненые, у которых не было сил двигаться, либо задыхались, либо сгорали заживо. . . . Но битва продолжалась, наши люди стреляли сквозь пламя, пока не стало слишком жарко, чтобы оставаться там дольше". На фотографиях Уайлдернесс, сделанных после битвы, видны заросли сосновых саженцев, поваленных выстрелами, и жуткая груда черепов, оставшихся непогребенными со времен битвы при Чанселлорсвилле. Рассказы о сражении в течение следующих трех дней напоминают знаменитые строки Мэтью Арнольда из "Дуврского пляжа":
И мы здесь, как на темной равнине.
В воздухе витают тревожные сигналы борьбы и бегства,
Там, где по ночам сталкиваются армии невежд.