Если бы Хукер правильно представлял себе ситуацию, он мог бы понять, что, хотя его правая сторона находится в смертельной опасности, смелая атака на центр Конфедерации, учитывая ее слабость в численном отношении, все равно может привести к успеху. Но он был обездвижен масштабами и сложностью сражений и не мог составить четкого представления о том, что происходит на самом деле. Хотя он и предупредил генерал-майора Оливера Говарда о том, что на него могут напасть, он не передал никакого чувства срочности или тревоги. Он так и не удосужился проехать три четверти мили к юго-востоку и посмотреть своими глазами, что делает Говард.
В 14:00 Фицхью Ли доложил Джексону, что нашел холм, с которого открывается панорамный вид на правую часть армии Союза. По тону Фицхью Джексон понял важность этого открытия, потому что он остановил свою колонну и последовал за Фицем через густой лес к частично расчищенному холму. К своему облегчению, Джексон увидел, что люди Говарда отдыхают, их оружие аккуратно сложено, видимо, не зная, что менее чем в полутора милях от них маршируют более 20 000 солдат Конфедерации, а также большая часть кавалерии Стюарта. Джексон был настолько восхищен этим зрелищем, что решил провести своих людей на две мили дальше и атаковать войска Говарда сзади, что означало, что он сможет провести свою атаку только после пяти часов.
Как и при Шилохе, первым предупреждением людей Говарда о готовящейся атаке стало внезапное появление запаниковавших диких животных, выходящих из Дикой местности, когда линия конфедератов продвигалась через лес. Мгновением позже люди Джексона "выскочили из леса с криками "Rebel Yell"". Как написал Ли в своем отчете, "позиция за позицией были захвачены, пушки захвачены, и все попытки врага сплотиться были разбиты стремительным натиском наших войск". Сначала это был разгром, приведший к фактическому краху правой части войск Союза, но, хотя Джексон надеялся отбросить федеральные войска в беспорядке до форда Соединенных Штатов в четырех милях, офицеры Союза наконец начали сплачивать своих людей, в то время как войска Конфедерации, измотанные четырнадцатимильным маршем, были не в состоянии поддерживать первоначальный темп своего продвижения. Хотя Джексон отбросил федералов более чем на милю назад, он не смог ни взять Чанселлорсвилл, ни прорваться через оставшиеся линии войск Союза, чтобы соединиться с Ли. Несмотря на гениальность его успешного флангового марша, который во многом стал высшей военной точкой Конфедерации, его победа была скомпрометирована промедлением. Он оптимистично сказал Ли, что начнет атаку в 4 утра, но на самом деле выступил только после 7 утра. Его решение последовать совету Фицхью и продвинуться дальше на запад, хотя и было тактически верным, стоило ему еще двух часов. Когда он все-таки начал атаку, до рассвета оставалось всего два часа. По мере того как сопротивление федералов усиливалось, Джексон начал беспокоиться, что его атака может зайти в тупик и что он все еще сильно уступает в численности. Он поскакал вперед по Планк-роуд далеко впереди своих людей, чтобы оценить возможность ночной атаки. Джексон уже предлагал такую атаку во Фредериксбурге, добавив, что "нам всем следует раздеться догола", чтобы избежать путаницы, которая является бичом всех ночных военных атак. Ли отверг эту идею как слишком рискованную и, возможно, эксцентричную, но мысль о ночной атаке явно не покидала его. 2 мая она могла сработать, поскольку было полнолуние.
Возвращаясь с разведки, Джексон и его помощники были приняты своими же солдатами за федеральную кавалерию и обстреляны. Некоторые солдаты из Северной Каролины зарядили "buck and ball" - шары 69-го калибра, в которых было три картечины - грозный заряд на коротких и средних дистанциях. Джексон был ранен в три места, два шарика раздробили его левую руку выше и ниже локтя. Малыш Соррел, отреагировав на внезапный шум и вспышку, бросился бежать, и его всадник был сбит на землю низко нависшей веткой. Джексон был лишь оглушен падением, и ни одно из его ранений не представляло угрозы для жизни, но левую руку пришлось ампутировать. Началась пневмония. Через восемь дней он умер.
Если бы Джексон выступил в 4 утра, как он сказал Ли, и если бы он не выбрал, по предложению Фицхью, более длинный маршрут, который добавил два часа к его маршу, у него было бы больше дневного времени, чтобы встретиться с Ли. Это, конечно, избавило бы его от необходимости ехать впереди своих линий в темноте.
Для Ли это было "несчастьем первого порядка": Джексон был, безусловно, его лучшим генералом. Меньшая проблема заключалась в том, что Джексон, как обычно, никому не сообщил о своем плане. Собирался ли он утром продвинуться на север и отрезать армию Хукера от Форда Соединенных Штатов или перегруппировать свои разрозненные части и атаковать у Оранж-Пайк, а затем снова соединиться с Ли?