Эдгар развился рано: в пять лет — читал, писал, рисовал, декламировал, ездил верхом. В школе легко поглощал науки, приобрел большой запас знаний по литературе, особенно английской и латинской, по всеобщей истории, по математике, по таким отраслям естествознания, как астрономия, физика. Физически Эдгар был силен, участвовал во всех шалостях товарищей, а в университете — во всех их кутежах. Характер будущего поэта с детства был неровный, страстный, порывистый, в его поведении было много странного. С ранних лет Эдгар писал стихи, увлекался фантастическими планами, любил производить психологические опыты над собой и другими, сознавая свое превосходство, давал это чувствовать.
Жизнь в богатстве кончилась для Эдгара, когда ему не было и полных 17 лет. В университете он пробыл всего год. Осенью 1826 года произошел разрыв между Дж. Алланом и его приемным сыном. Кто был «виноват», теперь выяснить трудно. Есть свидетельства, неблагоприятные для Эдгара: рассказывают, что он подделал векселя с подписью Дж. Аллана, что однажды, пьяный, наговорил ему грубостей, замахнулся на него палкой, и т. п. С другой стороны, неоткуда узнать, что терпел гениальный юноша от разбогатевшего покровителя (Дж. Аллан получил неожиданное наследство, превратившее его уже в миллионера), вполне чуждого вопросам искусства и поэзии. По-видимому, искренно любила Эдгара только г-жа Аллан, а ее муж давно уже был недоволен эксцентричным приемышем. Поводом к ссоре послужило то, что Аллан отказался заплатить карточные долги Эдгара. Юноша считал их «долгами чести» и не видел иного исхода для спасения этой «чести», как покинуть богатый дом, где воспитывался.
Для Эдгара По началась скитальческая жизнь. Покинув дом Алланов, он поехал в родной Бостон, где напечатал сборник стихов под псевдонимом «бостонца», книжечка, впрочем, «в свет не вышла». Это издание, вероятно, поглотило все сбережения юноши. Не имея приюта, он решился на крутой шаг — и поступил солдатом в армию Соединенных Штатов, под вымышленным именем Эдгара А. Перри. Службу он нес около года, был у начальства на хорошем счету и даже получил чин сержант-майора. В конце 1827 года или в начале 1828 года поэт, однако, не выдержал своего положения, обратился к приемному отцу, прося помощи, и, вероятно, выражал раскаяние. Дж. Аллан, может быть, по ходатайству жены, пожалел юношу, оплатил наем заместителя и выхлопотал Эдгару освобождение. Но, приехав в Ричмонд, Эдгар уже не застал в живых своей покровительницы: г-жа Аллан умерла за несколько дней до того (28 февраля 1829 года).
Получив свободу, Эдгар По вновь обратился к поэзии. Он побывал в Балтиморе и познакомился там со своими родственниками по отцу (которые разошлись с ним из-за его женитьбы на актрисе) — с сестрой, с бабушкой, с дядей Георгом По и его сыном Нейлсоном По. Последний мог познакомить Эдгара с редактором местной газеты У. Гвином. Через Гвина Эдгар получил возможность обратиться к видному тогда нью-йоркскому писателю Дж. Нилю. И Гвину, и Нилю начинающий поэт представил на суд свои стихи. Отзыв, при всех оговорках, был самый благоприятный. Результатом было то, что в конце 1829 года в Балтиморе был издан сборник стихов Э. По под его именем, озаглавленный «Аль-Аарааф, Тамерлан и другие стихотворения». На этот раз книжка поступила в магазины и в редакции, но прошла незамеченной.
Между тем Дж. Аллан настаивал, чтобы Эдгар закончил свое образование. Решено было, что он поступит в военную академию в Вест-Пойнте, хотя по годам он уже не подходил к этой школе для юношей. В марте 1830 года, через ходатайство Аллана, Эдгар все же был принят в число студентов, и его приемный отец подписал за него обязательство отслужить в армии пять лет. Вряд ли Эдгар охотно шел в академию; во всяком случае, он скоро убедился, что карьера, навязанная ему приемным отцом, — совершенно для него неприемлема. Нормальным порядком покинуть школу Эдгар не мог. С обычной горячностью он взялся за дело иначе и сумел добиться того, что в марте 1831 года был из академии исключен. Этим юный поэт опять вернул себе свободу, но, конечно, вновь рассорился с Дж. Алланом.