Эдгар развился рано; в пять лет — читал, писал, рисовал, декламировал, ездил верхом. В школе — легко поглощал науки, приобрел большой запас знаний по литературе, особенно английской и латинской, по всеобщей истории, по математике, по некоторым отраслям естествознания, как астрономия, физика. Физически Эдгар был силен, участвовал во всех шалостях товарищей, а в университете — во всех их кутежах. Характер будущего поэта с детства был неровный, страстный, порывистый; в его поведении было много странного. С ранних лет Эдгар писал стихи, увлекался фантастическими планами, любил производить психологические опыты над собой и другими; сознавая свое превосходство, давал это чувствовать.
Жизнь в богатстве кончилась для Эдгара, когда ему не было и полных 17 лет. В университете он пробыл всего год. Осенью 1826 года произошел разрыв между Дж. Аллэном и его приемным сыном. Кто был «виноват», теперь выяснить трудно. Есть свидетельства, неблагоприятные для Эдгара; рассказывают, что он подделал векселя с подписью Дж. Аллэна, что однажды, пьяный, наговорил ему грубостей, замахнулся на него палкой, и т. п. С другой стороны, неоткуда узнать, что терпел гениальный юноша от разбогатевшего покровителя (Дж. Аллэн получил неожиданное наследство, превратившее его уже в миллионера), вполне чуждого вопросам искусства и поэзии. По-видимому, искренно любила Эдгара только г-жа Аллэн, а ее муж давно уже был недоволен эксцентричным приемышем. Поводом к ссоре послужило то, что Аллэн отказался заплатить «карточные долги» Эдгара. Юноша считал их «долгами чести» и не видел иного исхода для спасения этой «чести», как покинуть богатый дом, где воспитывался.
Для Эдгара По началась скитальческая жизнь. Покинув дом Аллэнов, он поехал в родной Бостон, где напечатал сборник стихов под псевдонимом «бостонца»; книжечка, впрочем, «в свет не вышла». Это издание, вероятно, поглотило все сбережения юноши. Не имея приюта, он решился на крутой шаг — и поступил солдатом в армию, под вымышленным именем. Службу он нес около года, был у начальства «на хорошем счету» и даже получил чин сержант-майора. В конце 1827 года или в начале 1828 года, поэт, однако, не выдержал своего положения, обратился к приемному отцу, прося помощи, и, вероятно, выражал раскаяние. Дж. Аллэн, может быть, по ходатайству жены, пожалел юношу, оплатил наем заместителя и выхлопотал Эдгару освобождение. Но, приехав в Ричмонд, Эдгар уже не застал в живых своей покровительницы: г-жа Аллэн умерла за несколько дней до того (28 февраля 1829 года).
Получив свободу, Эдгар По вновь обратился к поэзии. Он вновь побывал в Балтиморе и познакомился там со своими родственниками по отцу (которые разошлись с ним из-за его женитьбы на актрисе) — с сестрой, с бабушкой, с дядей Георгом По и его сыном Нельсоном По. Последний мог познакомить Эдгара с редактором местной газеты, У. Гвином. Через Гвина Эдгар получил возможность обратиться к видному тогда нью-йоркскому писателю Дж. Нилю. И Гвину, и Нилю начинающий поэт представил на суд свои стихи. Отзыв, при всех оговорках, был самый благоприятный. Результатом было то, что в конце 1829 года в Балтиморе вторично был издан сборник стихов Э. По под его именем, озаглавленный «Аль-Аарааф, Тамерлан и малые поэмы». На этот раз книжка поступила в магазины и в редакции, но прошла незамеченной.
Между тем Дж. Аллэн настаивал, чтобы Эдгар закончил свое образование. Решено было, что он поступит в Военную Академию в Вест-Пойнте, хотя по годам он уже не подходил к этой школе для юношей. В марте 1830 года, через ходатайство Аллэна, Эдгар все же был принят в число студентов, и его приемный отец подписал за него обязательство отслужить в армии пять лет. Вряд ли Эдгар охотно шел в Академию; во всяком случае, он скоро убедился, что карьера, навязанная ему приемным отцом, — совершенно для него неприемлема. Нормальным порядком покинуть школу Эдгар не мог. С обычной горячностью он взялся за дело иначе и сумел добиться того, что в марте 1831 года был из Академии исключен. Этим юный поэт опять вернул себе свободу, но, конечно, вновь рассорился с Дж. Аллэном.