Понятно, не родством с временщиком, вельможей «в случае», мог гордиться Ермолов. Его семья переплелась в свойстве сразу с несколькими выдающимися фамилиями, принёсшими честь и истинную славу Отечеству. Родство шло через мать — Марью Денисовну, урождённую Давыдову. Она была родною тёткою знаменитому поэту-партизану Денису Давыдову, который, таким образом, приходился Ермолову двоюродным братом. В свою очередь её тётка, Катерина Николаевна, урождённая Самойлова, была родной племянницей «вице-императора» страны Г. А. Потёмкина и от первого брака за Раевским имела сына Николая, героя войны 1812 года. Этот Раевский женился на внучке (или, как говорили тогда, на внуке) великого Ломоносова, родившей ему двух сыновей — Александра и Николая. Когда одному из них было пятнадцать, а другому одиннадцать лет, генерал Раевский вместе с ними во главе Семёновского полка бросился на французов в сражении у деревни Дашкове, на Салтановской плотине, в двенадцати вёрстах от Могилёва…
Ермоловы, Раевские, Ломоносовы, Потёмкины, Давыдовы творили русскую историю, укрепляя государство в тех его пределах, в которых оно и осталось в наследство отдалённым потомкам…
Стало уже обычаем записывать дворянских недорослей на военную службу чуть ли не с пелёнок. 5 января 1787 года, на десятом году жизни, Алексей Ермолов был зачислен каптенармусом — унтер-офицером в лейб-гвардии Преображенский полк, в сентябре следующего года произведён в сержанты, а вскоре и в офицеры и к 1791 году имел уже чин поручика. Определённый в гвардию, первые годы юноша оставался под родительской кровлей, мечтая пойти по стопам отца-артиллериста. Пётр Алексеевич рассказывал ему о своей службе, о тонкостях огневого дела, так что отвлечённые слова «карронада», «единорог», «гаубица», «мортира», «фейерверкер», «бомбардир», «канонир», «артиллерийская шкала» наполнялись для мальчика живым и глубоким смыслом.
Москва, которую видел юный Ермолов, оставалась средоточием русского служилого дворянства. Екатерина II, немка по рождению, сумела сделаться в душе чисто русской государыней. Она стремилась внушить подданным любовь к своему Отечеству и готовность пожертвовать для него всем достоянием и, если надо, жизнью. Сын своего времени, Пётр Алексеевич Ермолов не уставал повторять первенцу святые для него слова:
— Когда требует государь и Отечество службы, служи, не щадя ничего, ибо наша обязанность только служить!..
Стремясь дать сыну подлинно хорошее образование, он определил его семи лет в университетский благородный пансион, на руки к профессору Ивану Андреевичу Гейму.
Учёный муж полюбил пытливого мальчика, и Алексей привязался к своему наставнику. Много лет спустя, уже будучи генералом, Ермолов не проезжал Москвы без того, чтобы не посетить старика Гейлы, которому был обязан развитием любви как к естественным наукам, так и к изящной словесности и живым и мёртвым языкам. Математике он учился у педагога Крупеникова, блестяще овладев всеобщего арифметикой и искусством землемерия, или геометрией.
Москва жила тогда событиями, разворачивающимися на юге России. Гром побед над Оттоманскою Портой — суворовские виктории при Фокшанах и Рымнике, штурм Измаила, успехи Ушакова на море, разгром турок Репниным при Мачине и взятие крепости Анапа Гудовичем — возбуждал в юном Ермолове нетерпеливое стремление как можно скорее попасть на поле брани. Переведясь в 1791 году из гвардии в армию с получением очередного чина, четырнадцатилетний капитан был назначен в 44-й Нижегородский драгунский полк, дислоцировавшийся в Молдавии. Однако к моменту приезда Ермолова в часть война уже закончилась.
Находясь в полку, он практически познакомился с артиллерией, что ещё более укрепило его в давней мечте — пойти по стопам отца-артиллериста.
Отец, видимо, думал иначе, желая, чтобы его сын сделал придворную карьеру. Занимая не особенно видную, но важную должность («у исправления порученных дел генерал-прокурору»), Пётр Алексеевич Ермолов — человек необыкновенно умный и деловой, собственно, и был генерал-прокурором, а граф Самойлов им только назывался. Екатерина II, прекрасно разбиравшаяся в людях, в который раз удивила современников, отыскав себе такого деятеля в малоизвестном до того председателе Орловской гражданской палаты.