И однако же все панычи, не говоря уже о паненках, любили веселого Ванюшу. Жизнь его текла привольно в доме старого дедушки. Бабушка смотрела на все его проказы сквозь пальцы, а самому Григорию Федоровичу некогда было наблюдать за мальчиком, отчасти за постоянными хлопотами по дипломатическим поручениям, которыми не уставал наделять его неугомонный реформатор, а отчасти по постепенно усиливавшемуся нездоровью. Григорий Федорович страдал подагрою.
Неизвестно, заметил ли государь какую-нибудь неисправность в деятельности нашего польского посольства или вследствие просьбы самого посланника Григория Федоровича, но только его отозвали в Петербург, а вместо него приехал в Варшаву сын его Сергей Григорьевич Долгоруков, на попечение которого для окончательного образования должен был перейти и наш Ванюша. Горько плакала бабушка, расставаясь с внуком, нелегко было и внуку. Кроме того что он лишился любви и нежности, самая свобода его стеснилась более бдительным надзором дяди. Избалованному ласками племяннику трудно пришлось уживаться с новыми порядками; он не слушался, вызывал беспрерывно замечания и внушения. Так продолжалось года полтора и наконец кончилось тем, что по жалобам брата Алексей Григорьевич вызвал сына к себе.
Пятнадцатилетний Иван Алексеевич по возвращении на родину поселился в родной семье при отце, занимавшем тогда довольно видное место президента Главного магистрата. Отвыкшая от Ванюши семья встретила его недружелюбно, в особенности отец, осыпавший сына градом упреков и язвительной брани. Алексей Григорьевич корил сына за леность, нерадение, за напрасно потраченное время за границею, корил за то, что только и было хорошего в характере сына: за прямодушие, непрактичность, за неумение прислужиться где следует. Полтора с лишком года терпел Иван Алексеевич домашнюю пытку, вплоть до своего назначения, при восшествии на престол Екатерины I, на место гофюнкера при царевиче Петре Алексеевиче.
Судьба улыбнулась Ивану Алексеевичу. Десятилетний царевич искренне и горячо полюбил своего семнадцатилетнего гофюнкера, такого веселого, такого симпатичного, умевшего так хорошо забавлять его. Царевич до того привязался к своему новому другу, что не мог расстаться с ним ни на один день, ни на один час. Когда по болезни Иван Алексеевич не являлся в апартаменты царевича, тот приказывал переносить в комнату гофюнкера свои занятия, свои игрушки и даже свою постель. Положение царевича при бабушке, хотя и неродной, сразу улучшилось. При жизни деда на царевича никто не обращал никакого внимания, за воспитанием никто не следил; дед не хотел удостоверяться лично в познаниях внука, даже не исполнил просьбы о том воспитателей, хваливших способности и любознательность ребенка. Все знали тайные желания деда передать наследство детям любезной Катеринушки; все умышленно и неумышленно забывали о ребенке.
Со своей стороны, и ребенок не любил и боялся сурового, никогда не ласкавшего его деда, так беспощадно сгубившего своего сына, а его отца, о трагической смерти которого услужливые люди успели ему передать под великим секретом. Под влиянием этих рассказов ребенок рано познакомился с мучительным чувством мести, но так как детское сердце не может питаться одним злобным чувством и не может обойтись без любви, то царевич с еще большею силою привязался к своему другу гофюнкеру. Иван Алексеевич едва ли не первый высказал царевичу и чувство личной привязанности, и чувство преданности к будущему наследнику престола: едва ли не первый он опустился перед ребенком на колени как перед будущим государем.
К счастью для царевича, Екатерина, любившая своих дочерей не до ослепления, ясно понимала их положение. Сама обязанная престолом, несмотря на свое коронование покойным мужем-государем, единственно энергии нескольких решительных и влиятельных лиц, она понимала невозможность передать престол дочерям, удел которых замужество за каким-нибудь иностранным принцем, а не самодержавство в России, где искони привыкли к преемству самодержавной власти по мужской линии. Она понимала, что по смерти ее русские всех партий и всех убеждений сойдутся в одной мысли о законности наследства сына царевича Алексея Петровича, и, к чести ее, она не возненавидела этого ребенка, не постаралась убрать его, а, напротив, приблизила и полюбила, насколько могла полюбить.