В 1820 году путники были опять дома, в Виргинии, желанной Эдгару По по многим причинам, а впоследствии возлюбленной им и за то, что имя этой области совпадало с именем жены его, которую он идолопоклоннически любил. Полудетские впечатления нашли верное выражение: 1821-1822 годы были начальным периодом созидания стихов.
В 1822 году мистер Аллэн поместил своего приемного сына в школу, в городе Ричмонде, в штате Виргиния, где Аллэны опять поселились. Воспоминания сверстников и сверстниц неизменно рисуют Эдгара По красивым, смелым, причудливым и своенравным, черты, которые он сохранил на всю жизнь. Некоторые подробности детских шалостей до странности совпадают с теми литературными приемами, которые позднее предстали как отличительные особенности творческого дарования Эдгара По. Кто-то рассказывает: "С отцом и с матерью мы отправились провести Святочный вечер с Алланами. Среди игрушек, приготовленных для наших забав, была некая змея, длинная, гибкая, глянцевитая, разделенная как бы на суставы, которые были соединены проволоками, и ребенок, взяв змею за хвост, мог заставить ее извиваться и бросаться кругом самым жизнеподобным образом. Это отвратительное подобие змеи Эдгар взял в руку и, пугая, прикасался им к моей сестре Джэн до тех пор, пока она почти не обезумела". Наивный человек прибавляет: "Этого низкого поступка я ему не мог простить доселе". Вероятно, позднее этот человек не мог ему простить и таких его сказок, как "Черный Кот" или "Сердце-Изобличитель". Другой рассказ из тех дней еще более определителей: "Однажды в доме моего отца было заседание "Джентльменского клуба игры в вист". Члены Клуба и немногие из приглашенных гостей собрались и уселись за столиками, расставленными тут и там в большой зале, и все было так гладко и спокойно, как это было в некоторую "Ночь под Рождество", о которой мы читали, как вдруг появилось привидение. Привидение, несомненно, ожидало, что все общество игроков в вист будет испуганно, и действительно, они были приведены в некоторое движение. Генерал Уинфильд Скотт, один из приглашенных гостей, с решимостью и быстротою старого солдата, прыгнул вперед, как будто он руководил нападением на маневрах. Доктор Филипп Торнтон, из Раппагэннока, другой гость, был, однако, ближе к двери и более проворен. Привидение, увидя, что его теснят, начало отступать, пятясь кругом по комнате, но не отвращая своего лица от врага, и когда доктор дотянулся до него и попытался схватить привидение за нос, привидение хлопнуло его по плечу длинной палкой, которую оно держало в одной руке, в то время как другой противоборствовало, чтобы не быть схваченным за простыню, облекавшую его тело. Когда, наконец, оно вынуждено было сдаться, и маска снята была с его лица, Эдгар смеялся так сердечно, как это делало когда-либо раньше какое-нибудь привидение". Очень определителей еще следующий рассказ: "Один школьник, Сэльден, сказал кому-то, что По лгун или мошенник. Будущий поэт услыхал об этом, и вскоре между мальчиками возгорелся бой. Сэльден был дороднее По, и некоторое время он его знатно тузил. Слабый мальчик, по-видимому, подчинился ему без особого сопротивления. Вдруг По опрокинул чашу весов, и к великому удивлению зрителей, превесьма поколотил своего соперника. Когда его спросили, почему он позволил Сэльдену так долго тузить его. По отвечал, что он ждал, когда противник задохнется, перед тем как показать ему кое-что в искусстве боя".
В ричмондской школе Эдгар По сделал большие успехи во французском языке и в латинском, но еще большие в плавании и в беге. Один из его товарищей говорит в своих воспоминаниях, что Эдгар По был своевольным, капризным, склонным быть повелительным и, хотя исполненным благородных порывов, не всегда добрым, или даже любезным, и, таким образом, он не был повелителем, или даже любимцем школы. Было тут нечто и другое, более важное для психологии школьников. Об Эдгаре По знали, что родители его были актер и актриса и что он зависел от доброты того, кто взял его как приемного сына. Все это вместе влияло, по-видимому, на мальчиков так, что мешало им выбрать его вождем. Нужно еще сказать, что мистер Аллэн гордился своим красивым и одаренным приемышем, но он не испытывал к нему отеческой привязанности чувство, которого всегда хотело впечатлительное сердце этого тонко-чувствительного существа. Трудно оценить, с каких ранних дней запала горечь в сердце Эдгара По и как рано зоркий его ум увидел несоответствие между внутренними достоинствами отдельного человека и внешним отношением к нему других людей.
Очень интересны воспоминания об Эдгаре По доктора Эмблера: "Я помню моего старого школьного сверстника, Эдгара Аллэна По. Я провел мои ранние годы в городе Ричмонде, и в промежуток времени 1823-1824 года я был в постоянной с ним близости. Никто из живущих, смею сказать, не имел наилучшего случая познакомиться с его телесными свойствами, ибо два лета мы раздевались ежедневно для купанья и учились плавать в том же самом прудке, в бухточке Шоко. Эдгар По не выказывал способности к плаванию; позднее, однако же, он сделался знаменит, свершив плавание от Уорвика до моста Майо". Сам Эдгар По, говоря об этом случае своей жизни, замечает: "Любой плаватель через пороги в мои дни переплыл бы Геллеспонт и ничего бы особенного об этом не думал. Я проплыл от набережной Лодлэма до Уорвика (шесть миль) под жарким июльским солнцем против одного из самых сильных течений, какие вообще ведомы реке. Проплыть двадцать миль в тихой воде было бы достижением сравнительно легким. Я бы не так уж много думал и о попытке переплыть Британский канал из Довера в Калэ". Легкость такой попытки есть, конечно, поэтическое преувеличение, но факт того, что он проплыл шесть миль, засвидетельствован его сверстниками впоследствии: полковником Майо и доктором Кэбеллем. Майо, проплыв три мили, отказался от дальнейшего состязания, а Эдгар По, несмотря на крайне жаркий день, доплыл до конца, но, когда он вышел из воды, все лицо его, шея и спина были покрыты волдырями. Он, однако, не казался очень усталым и немедленно после такого свершения, предпринятого на пари, пошел назад пешком в Ричмонд.
Полковник Майо рассказывает еще о другом, более опасном предприятии. Однажды, посреди зимы, когда они стояли на берегах реки Иакова, Эдгар По поддразнивал своего товарища и манил прыгнуть в воду, чтобы доплыть с ним до известной точки. После того как они некоторое время барахтались в полузамерзшем потоке, они достигли свай, на которых покоился тогда мост Майо, и весьма были рады, что могут остановиться и попытаться достичь берега, взобравшись по устою до моста. Достигши моста, они, однако же, заметили, к своему смятению, что помост заходит на несколько футов над устоем, и восхождение этим способом есть невозможность. Им не оставалось ничего другого, как спуститься и направиться обратно тем же путем, что они и сделали, измученные и полузамерзшие: Эдгар По достиг суши совершенно истощенный, а Майо был подобран дружеской лодкой в ту самую минуту, когда он начал тонуть. Достигши берега, Эдгар По был схвачен страшным приступом рвоты, и оба пловца были больны в течение нескольких недель. Полковник Майо помнит Эдгара По как надменного, красивого, горячего и своевольного юношу, не нерасположенного к рукопашной схватке, но с большой умственной силой и всегдашней готовностью уцепиться за какую-нибудь трудную умственную проблему.
В то время когда Эдгар По был в Ричмондской школе, он пришел однажды к одному из своих товарищей, мать которого звалась Елена Стэннэрд. Собственно ее имя было Джэн, но Эдгар По не любил имя Джэн, и заменил его означительным именем Елена. Войдя в комнату, эта леди взяла его за руку и сказала ему несколько ласковых слов, и эта ласка чужого человека до такой степени сильно потрясла мальчика-юношу, что он онемел и был близок к потере сознания. Эта напряженная чувствительность к чужой доброте по отношению к нему была одной из самых выдающихся черт характера Эдгара По за всю его жизнь. Елена Стеннэрд сделалась поверенной его полудетских скорбей, но проклятие, преследовавшее Эдгара По всю его недолгую жизнь, пожелало, чтобы через несколько месяцев она лишилась рассудка и умерла. И мальчик, помнивший потом эту ласковую тень всю жизнь, приходил к ней на могилу много месяцев спустя после ее смерти, и чем темнее и холоднее была ночь, тем он дольше оставался на могиле, чтобы ушедшей было не так холодно в гробу.
Эдгару По было суждено, чтобы всю жизнь его сопровождала тень. Призрак безумной Елены проходит через его сказки и баллады, не покидая его никогда, как призрачно-прекрасный лик его матери, заключенный в медальон, был при нем до смертного его часа.