Помещик же в это время принимал старосту с отчетом о полевых работах, делал распоряжения на следующий день. Для разнообразия в течение дня предпринимались объезды полей, катанья на лошадях, а то сзывали в столовую или к крыльцу дворовых запевал, плясунов и веселились их нехитрым представлением. Когда солнце садилось за ветхими крышами, на горе подымалась пыль столбом, и раздавалось мычание коров, возвращавшихся на ночлег. Вечер для детей проходил быстро среди игр и рассказов нянюшки, то страшных, то веселых. В воскресенье и в церковные праздники вся семья с детьми отправлялась в церковь, а потом наносили визиты соседям. Зимой, когда выпадал снег, к детским забавам добавлялись катание с гор, строительство снежных крепостей, игра в снежки, святочные затеи и другие прелести русской долгой зимы.
По семейным преданиям, Александр Васильевич Потемкин отличался тяжелым характером, а следствием неравенства лет стала необузданная ревность. Сумасбродные подозрения довели его даже до желания опровергнуть брачный союз, от которого было пять дочерей и сын Григорий. Защитником Дарьи Васильевны стал двоюродный брат Потемкина — Григорий Матвеевич Козловский, президент Камер-коллегии. Однако смоленские помещики-соседи Глинки совсем по-другому рассказывали об удивительной семье светлейшего князя. Они вспоминали, что отца Григория Александровича любили и ценили во всем околотке за доброе сердце, за радушную ласку и за патриархальное гостеприимство; и для богатого, и для бедного соседа, у него для всех равно отворялись и двери его дома, и сердце. Мать же князя Таврического для родных и знакомых была законодательницей и в хозяйстве, и в нарядах домашнего изделия. (Тогда еще моды парижские были в необозримой дали от сельских приютов Смоленска.) Как бы то ни было, но соседи Дарьи Васильевны ценили ее здравый ум и доброе сердце, советовались с нею во всех своих семейных обстоятельствах. Без нее не улаживалось ни одно сватовство, ни одна свадьба. От нее перешло и к сыну искусство завораживать сердца приветливым взглядом и живым словом.
О детстве Григория Потемкина нам известно из устных преданий. Осенью, после уборки полей, наступала пора любимого тогдашнего дворянского удовольствия — охоты. Хозяева и гости имения травили зайцев, загоняли волков, захватывали живьем лисиц и, связанных, привозили в село. Часто охотники увлекались, и возвращаться домой бывало уже поздно. Тогда раскидывался лагерь и готовился ужин из пойманной дичи. Соседи, вспоминая затейливую шутку маленького Григория, еще долго рассказывали ее в длинные зимние вечера своим детям и внукам в назидание: «Однажды отец его отправился на охоту с родным дядею его. Охотники заполевались и в сумерки возвращались домой. Луна засеребрилась над лесом. Издали неслись звуки рогов, хлопанья арапниками и песни заливные, верные вестники веселого полевого разгула. Наш молодец, затеяв потешить юную удаль свою, принарядился в медвежью кожу в полном ее виде и притаился под лесом в кустах. На беду дяде довелось ехать прямо мимо этой медвежьей засады. Озорник выскочил, протяжно заревел, испуганный конь шарахнулся, и дядя во весь свой рост ринулся на землю. Крепко журили проказника, а он отвечал: волка бояться, так и в лес не ходить».
В 1746 г. отец Григория Потемкина умер, и воспитание он получил под руководством матери, хотя некоторые свидетельствуют, что уже в пятилетнем возрасте мальчика забрал в свою семью Г.М. Козловский. Обучать детей грамоте было принято лет с шести, обычно этим занимался кто-нибудь из церковного клира, а иногда и сами родители. В селе Чижево образование Потемкина и его сестер было поручено сельскому дьячку Семену Карцеву, начавшему свою службу в 1742 г. Он учил смышленого и любознательного дворянского мальчика славянской грамоте в древнерусских традициях буквослагательным методом. Освоив азбуку, ученик перешел к Часослову и Псалтири; на всю жизнь Григорий приобрел любовь к церковным книгам и твердое знание Святцев и правил церковной жизни.
В 1806 г. известный писатель Сергей Николаевич Глинка, владелец соседних сел Закупы и Сутоки Духовщинского уезда, интересующийся истоками жизни могущественного вельможи блистательного екатерининского века, посетил родовое гнездо Потемкиных. Он увидел: все осталось неизменным, церковь выглядела неприкосновенной. Дом «просто дворянский», как замечает Глинка, также уцелел и свидетельствовал посетителю, что великий Потемкин, которому по плечу было превратить родное жилище в великолепный готический замок, оставил все по-прежнему. Правитель дома на вопрос путешественника: «Не осталось ли каких-нибудь книг от князя Григория Александровича?» — показал шкаф с духовными книгами, принадлежавшими еще князю и сохранившими на своих страницах восторженные замечания юного Григория. Вот книга Златоуста «О священстве». На завернутой странице Глинка читает слова автора: «Если хочешь всех военачальников исчислить от самой глубокой древности, ты увидишь, что их трофеи были большею частию следствием военной хитрости, и побеждавшие посредством оной заслужили более славы, нежели те, кои поражали открытою силою; ибо сии последние одерживают верх с великою тратою людей, так что никакой выгоды не остается от победы». Тут же на полях этой речи пометка юного Потемкина: «Правда! Сущая правда! Нельзя ничего сказать справедливие». Сколько раз современники и потомки будут обвинять Потемкина-военачальника в трусости и лености, не замечая его стараний сберечь людей и военной хитрости. На следующей загнутой странице против строк «Изобилие денег не то что благоразумие души, деньги истрачиваются» на полях запись: «это сущая правда: и я целую сии золотые слова». В селе Татеве, куда Потемкин в молодости приезжал к родным гостить, бабушки рассказывали внучатам старинное предание, будто часто утром дворня находила Григория спящим в библиотеке на стоявшем там бильярде: юноша просиживал за книгами целые ночи.
