Странные слухи стали разноситься по всему городу: кто говорил о похищениях громадных сумм из государственного казначейства и государственных дворцов, кто таинственно передавал о неудавшейся попытке бывших фаворитов возвести на престол обручённую невесту – и каждому слуху верилось легко. Сторонников и преданных лиц многочисленная семья Долгоруковых имела очень немного, но зато много завистников и недовольных.
Сама императрица имела повод быть недовольной фамилией Долгоруковых, и в особенности Василием Лукичом, самым видным представителем этой фамилии. При всём уме своём Василий Лукич не понял новых отношений Анны Ивановны; не понял, что сердце женщины, раз отдавшись вполне и безраздельно, не может так вдруг оторваться от настоящего и воротиться к минувшему, может быть, мимолётному чувству. Подобные притязания оскорбляют женщину. Но не понял этого умный, даровитый дипломат и упрямо пошёл по дороге, которая и привела его к крепости. В надежде воротить прежнюю благосклонность, может быть, более чем из верховнических видов, он так зорко следил за ней, не допускал к ней никого, сторожил её, как «некий дракон». Человек всегда остаётся человеком, и в политической сфере, и в обиходной жизни. Василий Лукич увлёкся до непростительной для дипломата слабости – до беззаветной откровенности. Дорогой из Митавы в Москву он чистосердечно рассказал самой Анне Ивановне всю историю о подложной духовной от имени императора Петра II, и эта откровенность погубила его самого и всю фамилию.
В томительном ожидании грозы вся семья Алексея Григорьевича жила в Горенках, то тревожась и вздрагивая при приезде каждого гонца из Москвы, то успокаивая себя и обнадёживаясь, что минуется буря и гроза пронесётся стороной, их не задев. Менее всех боялся за себя князь Иван, может быть, и потому, что он был поглощён совершенно другим, дома почти не бывал, а проводил всё время у невесты, тоже переживавшей тогда тяжёлые испытания.
Гостеприимные шереметевские палаты сделались домом печали и плача: больная бабушка Марья Ивановна доживала последние дни; старший брат, Пётр Борисович, лежал в оспе – кругом всё томительно и мрачно… да ещё к тому же беспрерывные вести, одна другой тоскливее и грознее. Сегодня Наталья Борисовна услышит, что её милого Ваню сошлют в ссылку; завтра – что его лишат всех званий и кавалерии; бедная невеста плакала до истерики. «Какое это злое время! Мне кажется, и при антихристе не тошнее того будет. Кажется, в те дни и солнце не светило», – писала она впоследствии в своих записках. Горе сблизило молодых людей ещё теснее: вместе плакали они и в слезах черпали новые силы. Нашлись услужливые люди, которые стали убеждать невесту не выходить за князя Ивана, как за человека опального, с которым жене придётся вынести горя немало, но такие советы действовали на Наталью Борисовну совершенно иначе; они заставляли её, напротив, торопиться со свадьбою. «Теперь-то, – думалось ей, – и настало то время, когда испытывается и доказывается истинная любовь, и женщина исполняет своё высокое назначение».
В первых числах апреля, когда умерла бабушка Марья Ивановна, а молодому графу Петру сделалось полегче, Наталья Борисовна решилась не откладывать далее свадьбы. «Сам Бог выдавал меня замуж, больше никто», – писала она – и совершенно справедливо. Свадьба совершилась в Горенках, куда приехала молодая графиня без всякого кортежа, провожаемая только одним братом Сергеем. Венчальное торжество более походило на похороны: одинокая невеста плакала до потери сознания, а семья Долгоруковых, вся собравшаяся в Горенках к Алексею Григорьевичу, казалась словно приговорённой к казни.
И казнь действительно была близка; она подвигалась медленно, но верно. Через три дня после свадьбы приехал в Горенки сенатский секретарь с объявлением указа о ссылке князя Алексея Григорьевича со всем семейством в пензенскую его деревню Касимовского уезда, в село Никольское, куда вся семья и принуждена была, по настоянию секретаря, выехать на другой же день. Но это были первые удары грома, отдалённые и безопасные; опальность как будто постепенно приучала к своим железным иглам. Одновременно со ссылкой Алексея Григорьевича и Сергея Григорьевича с их семьями в деревни состоялся указ о почётных ссылках для всех почти родичей Долгоруковых: князь Василий Лукич назначен был губернатором в Сибирь, князь Михаил Владимирович в Астрахань, князь Иван Григорьевич воеводой в Вологду.