Подобные рейды стали частью гаванской жизни. Когда планировались новые улицы, их продолжали строить узкими, поскольку считалось, что так их удобнее оборонять. Каждый хабанеро должен был постоянно носить с собой шпагу.
В июле 1555 года город навестил французский пират по имени Жак де Сор. Его слава была так велика, что сама английская королева Елизавета конкурировала с французским монархом Франциском I за возможность пользоваться его услугами. У историков разнятся мнения по поводу количества кораблей, которыми он командовал. Одни говорят, что их было всего два, другие — что целых двадцать.
Эти пираты взяли Гавану где-то за полчаса. Губернатор Гонсало Перес де Ангуло собрал семью и пожитки и поспешно перебрался на другой берег бухты, где сейчас находится восточный район Гаваны под названием Гуанабакоа. Зато командующий фортом Хуан де Лобера остался и призвал добровольцев обороняться. Ему удалось собрать шестнадцать человек — несколько испанцев, несколько африканцев и даже несколько таино. Уже тогда у гаванцев была кожа разного цвета.
Они держались, укрепившись в форте и не давая кораблям войти в гавань; им удалось даже сбить французский флаг, поставленный пиратами. Когда де Сор поджег форт, защитники сдались. Они сражались так отчаянно, что де Сор был уверен: они обороняют спрятанное в форте сокровище. Однако он обнаружил только чуть-чуть денег, личные вещи губернатора и изумрудное кольцо его жены. Его пираты, конечно, забрали.
Они обыскали город и почти ничего не нашли. В самой Гаване никогда не хранилось сказочных богатств, они обычно лежали на судах, которых как раз в тот момент не было. Тогда пираты попытались взять с горожан выкуп, но безуспешно. В итоге они перерезали горло многим из заложников, сожгли Гавану дотла, подожгли корабли в бухте и даже уничтожили большие лесосеки за городом. Оставив от Гаваны дымящееся над морем пепелище, на котором задыхались немногие выжившие, пираты уплыли.
От города мало что осталось, но жители начали его восстанавливать. Не успело строительство закончиться, как приплыли еще одни французские пираты и сожгли Гавану снова. После этого испанцы потребовали от правительства построить огромную каменную крепость Кастильо-де-ла-Реал-Фуэрса, которая должна была встать на западном входе в гавань. Для работы король Филипп II прислал ведущего военного инженера Бартоломе Санчеса и сорок каменщиков. Все испанские колонии выделили деньги, поскольку они хотели получить форт, который будет защищать их товары. Однако для окончания строительства крепости остро не хватало рабочей силы.
К тому моменту испанцы уже пятьдесят лет как привозили на Кубу африканских рабов, в основном для работы в сельском хозяйстве. Король приказал снять африканских рабов с полей и на некоторое время отправить на строительство крепости, но резкая остановка сельскохозяйственного производства вызвала нехватку еды. Стало сложно даже снаряжать корабли. Тогда последовал новый приказ: всем чернокожим, кто сумел получить свободу и перебраться в Гавану, чтобы избежать работы в деревне, следует явиться на строительство или получить сто плетей. Свобода, судя по всему, была понятием относительным.
Крепость достроили в 1582 году.
В 1589 году, чтобы еще больше усилить обороноспособность, на восточном входе в гавань соорудили крепость с башней. Там была возвышенность; еще до того, как возникли хоть какие-то укрепления, с этого места узнавали о приближающихся кораблях. Крепость получила имя Кастильо-де-лос-Трес-Рейес-Магос-дель-Морро — в честь трех волхвов, приходивших к младенцу Христу; сегодня ее называют просто Эль-Морро, что значит «Возвышенность». Еще одну крепость, Ла-Пунту, позже построили прямо напротив Морро, на самой оконечности западной стороны гавани, на одной линии с Кастильо. Теперь вход в гавань охраняли целых три крепости.
Все же пиратские набеги не прекращались. И потому каждый вечер между двумя фортами вешали огромную железную цепь на деревянных перекладинах, чтобы перекрыть вход в гавань и не впустить корабли.
Вид на вход в Гаванскую бухту и Эль-Морро со стороны Старого города, июнь 1877 г. Из журнала Frank Leslie’s Popular Monthly
А те все равно приплывали. На берегу поставили еще две небольшие крепости. В 1674 году началась работа над постройкой стены, но прошло еще сто лет, прежде чем Гавана полностью огородилась. Готовая стена имела полтора метра в толщину и одиннадцать метров в высоту и обладала девятью воротами, которые каждую ночь запирались. Но, несмотря на крепости, стену, ворота и цепь на входе в гавань, никто не сомневался: придут еще новые беды.