Младенца с родителями арестовали. В суете переворота уронили на пол его крохотную сестренку, да так, что она осталась на всю жизнь глухонемой. Ничего не поделаешь: издержки переворотов…
Елизавета поспешила вытравить навсегда память о злополучном Иване VI. Приказала уничтожить монеты и медали с его изображением, прислать в Сенат для сожжения все бумаги, в которых упоминалось его имя. Но уже через семь месяцев после ее воцарения открылся новый заговор. Камер-лакей Турчанинов, прапорщик Ивашкин да сержант Измайлов замыслили ее умертвить и вернуть на престол свергнутого Ивана. Заговорщиков сослали в Сибирь, вырезав языки и вырвав ноздри.
Через год объявилось «лопухинское дело». В нем оказался уже замешан иноземный агент — австрийский посланник маркиз Ботта.
Саксонский резидент доносил секретно: «Я не в состоянии описать страшную боязнь и тайное смятение, овладевшее двором вследствие этого приключения. Куракин в течение нескольких ночей не решался ночевать у себя в доме, сама императрица устроила свой образ жизни таким образом, чтобы проводить всю ночь в обществе многих лиц; зато она почивает днем, а через это происходит много беспорядка в делах»…
Сначала свергнутого младенца с родителями хотели отправить восвояси к их родичам за границу. Но тут вступил в игру Фридрих II. Он посоветовал русскому посланнику Чернышову услать на всякий случай все брауншвейгское семейство в место столь удаленное, чтобы о них вообще все забыли.
В июле 1744 года все семейство отправили в Архангельск, чтобы поселить в Соловках. Принца Иоанна приказали везти отдельно майору Миллеру с такой инструкцией: «Когда Корф вам отдаст младенца четырехлетнего, то оного посадить в коляску и самому с ним сесть, и одного служителя своего или солдата иметь в коляске для бережения и содержания оного; именем его называть «Григорий». Ехать в Соловецкий монастырь, а что вы имеете с собою какого младенца, того никому не объявлять; иметь всегда коляску закрытую».
До Соловков пленники не доехали. Помешал шторм. Их пока в строжайшей тайности поселили в Холмогорах в бывшем архиерейском доме, да потом решили тут и оставить. Дом обнесли высоким забором. Ивана держали во флигеле, отдельно от родителей, маленького брата и сестер — в таком секрете, что они, похоже, даже не знали, что живут рядом.
Вскоре мать мальчика умерла, но он даже не узнал об этом. В полной изоляции он прожил в Холмогорах пятнадцать лет. Вопреки строжайшим запретам кто-то научил его грамоте и рассказал ему, кто он такой и как был свергнут с престола.
Летом 1756 года судьба его снова переменилась — к еще худшему.
При очередной облаве на один раскольничий скит задержали подозрительного человека. Он оказался тобольским посадским Иваном Зубаревым. За разные провинности он уже побывал в застенках Сыскного приказа, но сумел убежать. Его давно разыскивали. Теперь на допросах, под пытками Зубарев рассказал, будто после бегства скрывался у раскольников, а потом поехал с купеческими товарами извозчиком в Кенигсберг. Там местные офицеры, как было заведено, пытались его завербовать в прусские солдаты. Зубарев согласился. Но затем его решили использовать в качестве секретного агента. Отвезли в Потсдам, где бывший адъютант сосланного Елизаветой Миниха предложил ему тайно явиться в Россию к раскольникам и возмущать их в пользу Ивана Антоновича. Ему было сказано, будто скоро в Архангельск будет прислано прусское торговое судно, чтобы выкрасть Ивана. Зубарева представили даже самому Фридриху, который лично вручил ему две медали — пароль к Ивану.
Эта авантюра Фридриха так напугала Елизавету, что она приказала юношу, томившегося в заключении безвинно уже пятнадцать лет, перевезти в строжайшей тайности в Шлиссельбургскую крепость. Для видимости охрану Антона-Ульриха и других его детей нарочно усилили, чтобы казалось, что Иван все еще с ними в Холмогорах.
В 1756 году крепость на маленьком островке посреди Невы, вытекающей здесь из Ладожского озера, была еще просто оборонительным военным сооружением. Тюрьмой со зловещей славой она стала позже. Первых заключенных размещали где придется.