Наступление Ганнибала застало римлян врасплох. Хорошо обученная армия карфагенян быстро продвигалась в направлении Рима. Войска республики терпели одно поражение за другим – сначала в битве при Требии (218), затем во время засады у Тразименского озера (217), в битве при Каннах (216) и при Гердонии (210). Поражение при Каннах стало одной из крупнейших и известнейших военных неудач Древнего мира: отряды Ганнибала зажали римлян с двух флангов и уничтожили почти втрое превосходящее их войско. В той битве погибло около 50 000 римских солдат. Поля, на которых происходили эти сражения, всегда привлекали путешественников, интересовавшихся древней историей. После всех поражений часть союзников (как, например, Капуя) помогать Риму отказалась. На Сицилии Сиракузы, которые после 1-й Пунической войны имели статус полунезависимого города, тоже поддержали карфагенян. В итоге римлянам пришлось вновь осаждать город, который все-таки был отвоеван между 213 и 211 годами до н. э.
Победы Ганнибала вызвали политические споры в самом Риме. В отчаянных поисках выхода из сложившейся ситуации предлагалось множество разных планов и стратегий. Главный вопрос был в том, стоит ли еще раз ввязываться в открытое столкновение с войсками неприятеля. Стратегия избегания сражения была названа в честь военачальника и политического деятеля Квинта Фабия Максима, впоследствии получившего прозвище Кунктатор («Промедлитель»). Став одним из наиболее влиятельных стратегов после победы Ганнибала у Тразименского озера, Фабий разработал план действий, согласно которому в битву с карфагенянами следует ввязываться не на равнинах, а в холмистой местности, потому что только там римские легионеры имеют преимущество над карфагенской конницей. Большинству такая стратегия казалась слишком пассивной, но отход от нее привел к фиаско при Каннах. После этого к Фабию вновь стали прислушиваться.
В конечном итоге Ганнибалу не удалось сокрушить Рим потому, что победы над вражеской армией в итоге не приводили к развалу системы территориального устройства неприятеля. В конце концов, войск у Ганнибала было не так много, и осаждать города он не мог. Спешивший из Испании Гасдрубал был разбит римлянами в битве при Метавре (207), и Ганнибал подкрепления не получил. Была блокирована и поддержка с моря. К тому же римляне освободили большое количество рабов, которые присоединились к их армии. Взять сам город Рим штурмом было невозможно, да и большинство союзников не отступились.
Постепенно Карфаген начал сдавать позиции. Началось все с побед римской армии в Испании: победоносный Сципион выиграл важнейшую битву при Илипе (206), а затем арена боевых действий была перенесена на север Африки (204). Там в 202 году до н. э. Сципион одержал победу над Ганнибалом в битве при Заме во многом благодаря тому, что римские легионеры научились справляться с боевыми слонами. Ганнибалу же пришлось возвращаться домой, потому что высадившийся на севере Африки Сципион оказался удачливее своих предшественников времен 1-й Пунической войны и представлял серьезную угрозу. Именно поэтому великий римский полководец получил прозвище «Африканский». Итак, одержав верх и во 2-й Пунической войне, Рим упрочил свою гегемонию на западе Средиземноморья, в том числе на юге и востоке Испании. Покончив с могущественным соперником, римляне получили возможность перенаправить военные ресурсы на отдельных, разобщенных врагов.
Большая часть армии Римской республики формировалась из представителей разных италийских народов, которые, имея разный статус и формы организации, должны были служить в римской армии. Подобно правителям китайской империи Хань, римские власти предпочитали полагаться на многочисленную армию, состоящую из взрослых представителей сельского населения – почти неисчерпаемый людской ресурс, обеспечивший победу над Карфагеном. В 31 году до н. э. в римской армии числилось почти четверть миллиона человек, то есть четверть мужского населения призывного возраста.