Отец, вышедший в отставку по болезни в чине майора артиллерии, рассказывал мальчику о роде Ермоловых, о предках, об отчич и дедич, уходивших сонмом своим вглубь истории российской.
Согласно преданию, основателем рода был Араслан-Мурза-Ермола, по крещению названный Иоанном, который в 7010 (1506) году выехал к великому князю Василию Ивановичу из Золотой Орды. «Правнук сего Араслана, — как указывалось в составленном позднее Общем гербовнике дворянских родов Российской империи, — Трофим Иванов сын Ермолов в 7119 (1615) году написан по Москве в Боярской книге. Осип Иванов сын Ермолов от Государя, Царя и Великого Князя Михаила Фёдоровича за Московское осадное сидение пожалован поместьями. Равным образом и многие другие сего рода Ермоловы Российскому Престолу служили дворянские службы стольниками и в иных местах и жалованы были от Государя поместьями».
Правда, мало что осталось от полученных предками поместий отцу, Петру Алексеевичу Ермолову, принуждённому по выходе в отставку в 1777 году тотчас пойти на гражданскую службу. Сто душ крестьян и сельцо Лукьянчиково, Мценского уезда, Орловской губернии, — вот и всё, что составляло родовое богатство Ермоловых. Сам Пётр Алексеевич после службы в Москве был избран дворянским предводителем в Мценске, в 1785 году определён председателем гражданского суда Орловского наместничества, в следующем году произведён в коллежские советники, а затем и в советники статские, что соответствовало по Петровской табели о рангах полковничьему чину. После 1792 года и до конца царствования Екатерины II Пётр Алексеевич исполнял обязанности правителя канцелярии могущественного генерал-прокурора А. Н. Самойлова, дальнего родственника по жене.
Марья Денисовна Ермолова, урождённая Давыдова, в первом браке была за ротмистром Михаилом Ивановичем Каховским, рано умершим, от которого имела, как мы уже знаем, сына Александра. По свидетельству современника, родные братья по матери, Каховский и Ермолов, унаследовали именно от неё «редкие способности, остроту ума и, при случае, язвительную резкость возражений». Марья Денисовна была натурой незаурядной, особенно резко выделявшейся на фоне губернского общества Орла, где она оказалась с мужем после воцарения Павла I и последовавшего немедленного увольнения Петра Алексеевича со службы.
Как вспоминал один из её близких знакомых, она «до глубокой старости была бичом всех гордецов, взяточников, пролазов и дураков всякого рода, занимавших почётные места в провинциальном мире».
В характере Ермолова отчётливо проявились отцовское и материнское начала, придавшие ему с ранних лет особенный облик — гордость, независимость и вместе с тем скромность, серьёзность. Отец, по словам мемуариста, одарил его «серьёзным и деловым складом ума», а мать — «живым остроумием и колкостью языка, качествами, которые доставили ему громкую известность и вместе с тем наделали ему много вреда».
Воспитанный в духе уважения и даже преклонения перед всем русским — языком, обычаями, историей, Ермолов никогда не кичился ни своим дворянским происхождением, ни заслугами предков. Это ему, любившему говорить о себе в третьем лице, принадлежат слова: «Алексей Петрович Ермолов не может иметь обширной родословной и разумеет своё происхождение ничего особенного в себе не заключающим». Но то была прежде всего дань скромности, которой он всегда в высшей степени обладал, воспринимая себя и свой род лишь как крохотную частицу огромного ствола России и её пышной и разветвлённой кроны.
Он хорошо помнил своих предков, свой родовой герб: щит разделён горизонтально на две части, из коих в верхней, в правом голубом поле, изображены три золотые пятиугольные звёзды — одна вверху и две внизу; в левом, красном поле видна из облаков выходящая рука с мечом. В нижней части, в серебряном поле, поставлено на земле дерево, а по сторонам оного — лев и единорог. Щит увенчан обыкновенным дворянским шлемом с дворянскою на нём короною.
Намёт на щите голубого и красного цвета, подложенный золотом. Щит держат с правой стороны единорог и с левой лев. Но Ермолов никогда не преувеличивал цены голубой дворянской крови.