Однако судьба распорядилась иначе — дела у британского филиала фирмы «Эллис и Аллан» шли все хуже и хуже, рискованные финансовые операции Джона Аллана приносили одни убытки, да и сам он в марте 1820 года захворал водянкой. Видимо, опять-таки по совету Уильяма Гэльта, неудачливый бизнесмен решил вернуться в Америку, чтобы при помощи дядюшки поправить дела. Сдав в аренду лондонский дом, он вместе с домочадцами отправился в Ливерпуль, где их ждал парусник «Марта».
21 июля 1820 года, после тридцати шести дней путешествия, Эдгар Аллан По сошел на американский берег в Нью-Йорке. Юный странник вернулся на родину, где его будут ожидать всевозможные невзгоды, разбитое сердце, литературная слава и преждевременная смерть.
Вернувшись в Ричмонд 2 августа 1820 года, Джон Аллан, вместе с семьей, временно поселился у своего компаньона Чарльза Эллиса. Теперь уже в Вирджинии Алланам пришлось отдавать визиты знакомым и родственникам. Эдгар По и Фрэнсис Аллан съездили к семейству Маккензи, девять лет назад удочерившему его сестру Розали. Девочка с восторгом встретила брата и ходила за ним повсюду как привязанная. К сожалению, к этому моменту фамильная психическая неустойчивость начала проявляться и у нее. У Розали стало прогрессировать слабоумие, и в двенадцать лет она остановилась в развитии, до конца жизни реагируя на окружающее как подросток школьных лет.
В конце августа 1820 года Джон Аллан определил приемного сына в «Английскую классическую школу» Джозефа Кларка, и с сентября месяца Эдгар По начал посещать занятия. Теперь он уже заметно выделялся среди одноклассников не только умственным развитием, но и физической подготовкой. Например, в июне 1824 года, в жаркий летний день, он демонстративно проплыл по реке Джеймс, на берегах которой стоит Ричмонд, почти десять километров вверх по течению. И хотя к концу испытания будущий поэт немилосердно устал, а безжалостное южное солнце сожгло ему шею и плечи, Эдгар был горд своим достижением. Позднее он вспоминал: «Любой пловец из тех, что бывали тогда „у водопадов“, переплыл бы Геллеспонт и не почел бы это за большой подвиг. Я проплыл шесть миль от пристани в Ладлоу до Уорвика под жарким июньским солнцем, двигаясь против течения — едва ли не самого сильного, какое помнят на этой реке. Проплыть же двадцать миль в спокойной воде было бы сравнительно легко. Я, не задумываясь, решился бы переплыть Дуврский пролив от Дувра до Кале».
Эдгар По нередко оказывался вожаком и заводилой среди местных подростков, подбивая их на различные выходки, граничившие с хулиганством. Любил он и более сложные розыгрыши. Однажды, когда в доме Джона Аллана вечером собралась теплая компания друзей бизнесмена, среди которых был и генерал Уинфилд Скотт, герой англо-американской войны 1812–1815 годов, перед гостями вдруг появилось привидение в саване. Нерастерявшийся генерал схватил призрака, которым оказался хохочущий приемный сын Аллана, завернувшийся в простыню.
Однако гораздо чаще По теперь предпочитал заниматься не мальчишескими выходками и не спортивными упражнениями, а сочинением стихов. Он писал много и бессистемно, чем начал вызывать неодобрение у приемного отца, надеявшегося вырастить из Эдгара юриста или торговца, а ни в коем случае не «кропателя стишков».
По охотно записывал стихи собственного сочинения в альбомы местных девушек, но ни одна из них не смогла покорить его сердце. К несчастью, очередное платоническое увлечение юного поэта оказалось очень странным и разбило его сердце.
Среди друзей По того времени можно обнаружить Роберта Стэнарда, мальчика младше его на пять лет. Будучи как-то в гостях у Роберта, Эдгар близко познакомился с матерью приятеля — Джейн Крейг Стэнард. Молодая женщина произвела на юношу почти магическое впечатление — он откровенно влюбился, хотя сама Джейн Крейг испытывала к нему в лучшем случае только материнские чувства.
Странное увлечение молодого поэта не продлилось долго — у Джейн Стэнард вскоре стали проявляться первые признаки безумия, и в апреле 1824 года она скончалась в состоянии полного помрачения рассудка. Эдгар По долго и тяжело переживал эту потерю и часто посещал могилу миссис Стэнард на местном кладбище Шоко-хилл.