Салтыков тщетно отрицал это. «Маленький принц почти ничего не говорит», утверждал он. Елизавета ему не верила. В течение всего своего царствования ее преследовал призрак сверженного соперника. Австрия, Швеция, даже Пруссия, казалось ей, вступались за него. Позднее, согласно некоторым данным, она даже подумывала о браке с грозным призраком, с тем, чтобы избавиться от этого наваждения. Но в это время, оставляя несчастную семью в Риге, она советовалась со всеми, даже с Бироном, возвращенным ею из ссылки, причем она поселила его в Ярославле, запретив ему приезд в столицу и ко двору, как поступить с принцами Брауншвейгскими. Может быть, регент и внушил ей ее окончательное решение. 13 декабря 1742 г. вся семья была перевезена в большой тайне в Дюнамюнде, затем в январе 1744 г. в Ораниенбург, ныне Раненбург, Рязанской губернии. В этот промежуток времени Брауншвейгская фамилия увеличилась еще одним членом, принцессой Елизаветой, родившейся в тюрьме и прожившей в ней сорок лет. Ссыльных по ошибке чуть было не свезли в Оренбург. В то время д'Аллион, французский поверенный в Петербурге, писал в Версаль следующие подробности:
«У этих высоких узников отняли всех иностранных слуг, за исключением г. Геймбурга, двух камердинеров, фрейлины Юлии (Менгден) и ее сестры. Первая, по-прежнему любимый идол принцессы Анны, уносит с собою верное доказательство того, что пламя любви может зажечься среди самых великих несчастий. Адонисом был гвардейский сержант».
В июле 1744 г. новая перемена, вызванная мнимым заговором, с которым в предшествовавшем году было связано имя маркиза Ботта, посланника Марии-Терезии. Фридрих тотчас же поспешил отстранить от себя всякое подозрение в сообщничестве, посоветовав Елизавете сослать гораздо дальше беспокойного племянника. Императрица восемь месяцев раздумывала над этим. Как мы увидим ниже, она не скоро принимала свои решения. Но данный совет даром не пропал. В июле майор Миллер получил приказание перевезти из Ораниенбурга в Архангельск и затем в Соловецкий монастырь четырехлетнего мальчика, которого ему передали под именем Григория.
То был бывший император.
Анна Леопольдовна была вновь беременна. Ее разлучили с мужем, как она думала, навсегда. Отняли у нее и Юлию Менгден, что являлось для нее, несомненно, худшим несчастьем. Изгнанники не знали, куда их везут. Лишь на берегу Белого моря все члены семьи вновь встретились вместе. Но настала зима и состояние льдов не позволило добраться до Соловков, так что пришлось ждать весны в Холмогорах. Камергер Николай Корф, заменивший теперь Салтыкова, посоветовал оставить там узников, и предложение его было принято.
В ста двенадцати верстах от своего устья Двина образует несколько островов. На одном из них стоят Холмогоры. Город этот состоял в то время приблизительно из ста пятидесяти домов, растянувшихся на протяжении двух верст вдоль единственной и извилистой улицы; внешний вид его немногим изменился с тех пор. Он считался, однако, одним из самых древних и известных городов в России, сыграв большую роль в истории Северо-Восточного края. До восшествия на престол московских царей он представлял собой очень значительный административный и коммерческий пункт, впоследствии его затмил Архангельск. Но еще при Петре Великом его собор Спаса Преображения, выстроенный из каменных плит в византийском стиле, считался красивейшим в Империи. В трех верстах от города лежит село, официально носящее название Денисовки, но прозванное крестьянами Болотом — месторождение великого Ломоносова.
Отыскивая тюрьму, где бы можно было поселить новых гостей, Корф нашел лишь дом архиерея; этому последнему пришлось искать себе убежища в другом месте. Высокий деревянный частокол, охраняемый солдатами, совершенно отрезал от мира Анну Леопольдовну и ее товарищей по несчастью. Жители Холмогор не знали ни имени, ни звания узников. На содержание их губернатору выдавалось 10—15 тысяч рублей; но никому не приходило в голову спрашивать у него отчета в них, и случалось, что принц Антон, имевший привычку пить кофе по три раза в день, был лишен его целыми месяцами.