Опала государыни коснулась не только семьи князя Алексея, но вообще всех Долгоруких, занимавших при покойном государе высокие должности. Теперь же новое правительство, боясь их влияния, разбросало их кого куда.
В начале апреля, следуя строгому приказу государыни, Василий Лукич был удалён из Москвы, его определили на губернаторство в далёкую Сибирь, другого Долгорукого отправили в иной конец России — в Астрахань, брат Алексея Григорьевича, Иван Григорьевич, был отправлен в Вологду, князь Сергей сослан в свою дальнюю вотчину.
Такая же участь первоначально была уготована и князю Алексею Григорьевичу. Ему велено было со всем семейством покинуть Москву и поселиться в дальней своей вотчине в селе Никольском Пензенской губернии.
Раскидав всех основных участников составления подложного завещания Петра II, государыня как будто бы успокоилась, однако не совсем.
Получив строгий приказ отправиться в пензенскую вотчину, князь Алексей Григорьевич выехал туда со всем семейством. Они покидали Москву точно так же, как несколько лет тому назад до того светлейший князь Александр Данилович Меншиков оставлял Петербург.
Многочисленные экипажи сопровождались сотнями слуг, сворами охотничьих собак, лошадьми. Громоздкий обоз двигался медленно, часто останавливались. Доехав до Касимова, решили там отдохнуть подольше. Во-первых, потому, что княжна Катерина после родов была ещё очень слаба, а во-вторых, весеннее солнышко манило к себе охотой, страстным почитателем которой был старый князь.
Однако ему недолго пришлось услаждать себя ею. Как-то в июньский вечер, когда князь Алексей Григорьевич отдыхал после удачной охоты, женская часть семейства собралась на половине Прасковьи Юрьевны, которая с самого отъезда из Москвы всё хворала и больше лежала, когда выдавалась удобная минутка, как теперь их отдых в Касимове. Княжна Катерина, уже совсем оправившаяся после мучительных родов, вновь похорошела, вернув себе прежний привлекательный вид. Молодые князь Иван с женой всё время проводили вместе: им отвели отдельный домик. Княжна Катерина, сидевшая возле окна, первая увидела всадников, мчавшихся во весь дух к их дому. Что-то насторожило её. Выйдя из покоев матери и не желая её напрасно тревожить, она вышла на крыльцо. Возле него, уже спешившись, стояли несколько человек, которых княжна заметила из окна.
Одежда их была сильно запылена, лошади взмылены. Подозвав слугу, выскочившего из дома, один из всадников, молодой и пригожий офицер попросил его распорядиться насчёт лошадей, поскольку люди не по своей воле, а велением государыни. Конюхи увели лошадей. Приехавший, увидев княжну Катерину, замер, любуясь красивой молодой женщиной, потом, будто спохватившись, спросил:
— Князь Алексей Григорьевич Долгорукий здесь остановился?
— Да, здесь, — коротко ответила княжна, и сердце её почему-то сжалось, предчувствуя недоброе.
Как оказалось очень скоро, предчувствие не обмануло её. Вслед за верховыми к дому подъехали телеги, в которых помещались солдаты. Тут же офицер, прибывший ранее, передал всем обитателям дома, уже столпившимся на крыльце, что по величайшему указу им велено не ехать в Никольское, а за самовольство и непослушание отправляться в Сибирь.
Узнав скорбную новость, женщины заплакали, молодая жена князя Ивана бросилась к нему и крепко ухватилась за него руками, словно боясь, что их сейчас же разлучат. Княжна Катерина не проронила ни слезинки. Молча она так посмотрела на гвардейского офицера, который привёз им эту весть, что тот в большом смущении опустил голову, повторяя, что такова воля государыни.
— Государыни? — с иронией переспросил князь Иван. — А может быть, этого...
— Иван, — резко оборвал его старый князь, — или тебе всего мало? Хочешь, чтоб нам к этой милости добавили ещё одну?
— Я ничего, — пожав плечами, ответил князь Иван.
— А ежели ничего — так и молчи! — прикрикнул на него отец.
Объявив волю государыни, офицер распорядился, чтобы в дом больше никого не пускали. Всех расселили по разным избам. Иван с женой поместились в сарае, где было сложено сено. У всех дверей поставили часовых с ружьями. Рано утром велено было закладывать кареты и ехать, а куда ехать — опальным не сказали.
