Первыми на родину отправились офицеры и их семьи. Хотя официального деления групп на офицерские и рядовые не было, но, вероятно, в этом случае определенную роль сыграло более свободное положение офицеров в ссылке. Возвращение основной части рядового состава растянулось на долгие годы и сопровождалось большими трудностями. Там, где ольдерманы заранее озаботились составлением списков рядового и унтер-офицерского состава каролинов, проблем удалось избежать. Например, капрал Б. Роламб еще в 1720 году составил список пленных, которые работали на металлургических заводах, расположенных южнее Верхотурья. Эта предусмотрительность помогла им без задержки отправиться домой. Столь же удачно прошло возвращение на родину рядовых, которые работали на строительстве новой русской столицы Санкт-Петербурга. И все же большая часть рядовых и гражданских пленных, как шведских, так и русских, вернулась на родину значительно позже своих командиров. Этот факт хорошо заметен по тому, когда рассматривались в правительственных инстанциях их прошения о материальных выплатах за годы, проведенные в плену. В частности, документы некоторых русских пленных попадали в соответствующие инстанции уже после смерти Петра I, во время правления Екатерины I, Петра II и даже Анны Иоанновны.
Очевидно, что каролины из центральной части России вернулись домой раньше, чем их товарищи, возвращающиеся из Сибири. Русские пленные «выходили из плена» быстрее своих визави, что объясняется не какой-то особой расторопностью шведских властей, а всего лишь меньшим их количеством и малой удаленностью мест ссылки. Основной поток пленных с обеих сторон пришелся на конец 1721 — первую половину 1722 года.
Шведские и русские власти много времени потратили на согласование организационных вопросов. Особенно ожесточенными были споры о финансовом обеспечении. В соответствии с исторической практикой предполагалось, что все расходы, связанные с отъездом, должно нести отправляющее правительство. Но русские власти, понимая, какой неподъемный груз может лечь на государеву казну, заявили протест. Представители Фельдт-комиссариата, лучше представляя реальную обстановку, чем стокгольмские власти, предложили сохранить это требование только для рядового состава военнопленных. Потребовался целый ряд специальных консультаций, чтобы взять за основу следующий порядок: прогонные деньги до Москвы и Санкт-Петербурга выделяет русская казна, а все прочие расходы несет шведское правительство.
Довольно скоро обнаружилось, что каролинам катастрофически не хватает денег: чем дальше они продвигались на запад, тем острее ощущался их дефицит. Часть офицеров имела собственные средства или занимали их по дороге, но для большинства пленных дорога домой оказалась серьезным испытанием. Кроме естественных трудностей, связанных с преодолением многокилометрового пути, в дороге возникали и сложности субъективного характера. Они были связаны с отношением к шведам местных властей и населения. Очень остро стояла проблема снабжения транспортом. Пленные в один голос жаловались, что, отказывая в выдаче им лошадей, население просто вымогало взятки. Но нельзя не принимать во внимание то, что пленных было очень много, а возможности жителей ограниченны, и, следовательно, возникающие затруднения вполне могли носить реальный характер. Жаловались каролины и на то, что жители скрывали от них продукты или искусственно завышали их стоимость. Фельдт-комиссариат не раз выражал обеспокоенность произволом охраны, которая устраивала бесконечные обыски жалкого имущества каролинов, что грозило обернуться для них потерей последнего. Не случайно, что в этот период выросла смертность среди пленных. Барону Цедеркрейцу пришлось неоднократно обращаться к русским властям для того, чтобы исправить ситуацию.
Но, как оказалось в дальнейшем, не меньшие проблемы ожидали пленных во время ожидания выездных документов. Не только русские власти, но и шведское правительство не смогли справиться с огромным потоком возвращающихся каролинов. Денег, поступавших из Стокгольма, было мало, а ожидание документов могло затянуться на несколько недель.
