Через девять дней Эдмунд Дрейк и некий Джон Хокинг объявились в Тейвистоке, где остановили ехавшего на лошади джентльмена Джона Харта. Угрожая всаднику палками, шпагами и ножами, они заставили его отдать им лошадь, стоившую три фунта стерлингов. Вскоре после этого Дрейк, Хокинг и Мастер бежали из графства. Где они скрывались в течение нескольких лет — неизвестно.
Популярная легенда о детстве Фрэнсиса Дрейка сообщает: когда в Девоншире в 1549 году вспыхнуло крестьянское восстание, возглавляемое дворянами-католиками и католическими священниками, отец Дрейка — «ревностный сторонник Реформации» — вынужден был собрать свой нехитрый скарб в повозку и бежать вместе с семьей на юг, в Плимут. Там жил родной брат его жены — преуспевающий судовладелец и негоциант Уильям Хокинс, у которого было два сына — Уильям и Джон. Когда волна восстания докатилась до Плимута и перепуганный мэр города открыл перед бунтовщиками городские ворота, Эдмунд Дрейк вместе с другими протестантами переправился на небольшой островок Сент-Николас (теперь этот остров, лежащий посреди Плимутской бухты, носит имя Дрейка). Несколько дней семья пряталась в хижине рыбаков, а затем перебралась на корабль «Инглиш гэли», принадлежавший некоему Ричарду Дрейку — возможно, брату или родственнику Эдмунда. На его борту беглецы отплыли на восток, в графство Кент, и вскоре остановились в Чатеме.
Весьма вероятно, что после скандального бегства отца юный Фрэнсис поселился в Плимуте, в доме Хокинсов. В те времена подобная практика считалась обычным явлением. Об этом упоминает Эдмунд Хоус в книге, выпущенной в 1615 году. Дрейк мог провести в доме Хокинсов несколько лет. Возможно, вместе с Фрэнсисом находились и его младшие братья — Джон и Джозеф. С юных лет Дрейк начал осваивать профессию моряка: плавал на каботажных судах юнгой, затем матросом, а около 1558 года стал казначеем на одном из кораблей Хокинса. Во время подобных рейсов моряки нередко пробавлялись также морским разбоем — присвоить себе груз какого-нибудь иностранного купца не считалось зазорным.
Согласно иной версии, после того как Эдмунд Дрейк перебрался в графство Кент, ему удалось получить должность писаря на складах с шерстью, предназначавшейся на экспорт. По утверждению племянника и тезки Фрэнсиса Дрейка, семья поселилась в корпусе старого корабля, стоявшего на приколе в Джиллингэм-Рич на реке Медуэй (ниже нынешней Чатемской верфи). Жена Эдмунда рожала регулярно и исключительно мальчиков, так что вскоре у Фрэнсиса было уже 11 братьев (в анналах сохранились имена лишь четверых — Джон, Джозеф, Эдвард и Томас). Используя цитаты из Библии, отец научил их читать и писать. Правда, Фрэнсису эти занятия всегда казались скучными. Сохранившиеся образцы его корявого почерка говорят о том, что писать он не любил. В то же время, обладая от природы превосходной памятью, Фрэнсис легко схватывал полезную информацию буквально на лету. Многие люди, близко знавшие его, позже отзывались о нем как о превосходном ораторе.
Поскольку семья Дрейков едва сводила концы с концами, отец, по данным Кэмдена, устроил старшего сына юнгой на небольшое торговое судно, ходившее в порты Нидерландов и Франции. Владелец судна, не имевший детей, относился к Фрэнсису как к родному сыну.
В январе 1561 года друзья помогли Эдмунду получить место викария в приходе Апчёрч, что в районе Медуэйских маршей. Произошли изменения и в судьбе молодого Фрэнсиса. В том же году умер владелец судна, на котором он осваивал азы морского ремесла, и ветхая посудина перешла по завещанию в его собственность. Увы, состояние парусника было столь плачевным, что спустя некоторое время Дрейк предпочел продать его за бесценок и устроиться баталёром, или третьим офицером, на один из кораблей своего троюродного брата Джона Хокинса. По данным Джона Стоу, этот корабль совершал торговые рейсы в Бискайский залив — очевидно, в Ла-Рошель и в Страну Басков. С ним солидарен Дж. Бидвелл, утверждавший, что в 1563 году Дрейк устроился третьим помощником на торговое судно «Авон», принадлежавшее братьям Уильяму и Джону Хокинсам, и отправился на нем в баскский порт Сан-Себастьян.
Более достоверными сведениями мы располагаем относительно участия Дрейка в работорговой экспедиции Джона Ловелла, снаряженной по инициативе и на средства братьев Хокинсов. Однако точно не известно, какую должность он занимал в этом походе «за рабами и золотом»: имя его не значится ни среди капитанов, ни среди владельцев кораблей.