Казалось бы, причины неудачи обмена очевидны — шведские власти не сдержали свои обещания. Но не все так просто. Действительно, в ответ на настойчивые просьбы министров и родственников пленных Карл XII осенью 1704 года принял решение о проведении обмена пленными, о чем сообщил в письме от 12 ноября Оборонной комиссии. В своем письме он выразился предельно четко — ни о каком картеле о всеобщем размене не может быть и речи, и обмену не подлежат офицеры чином старше полковника и резидент. И тут мы видим любопытный момент: Хилков в своем сенсационном письме умолчал об ограничениях, сообщив, что якобы все пленные «от высших до прочих» (включая его самого) будут обменены. В мемориале асессора Йоте Хилкову от 8 мая и в письме Книперкроне от 31 мая подтверждается, что основными критериями обмена должны стать соответствие чинов, положения и профессий пленных. При этом шведские власти выразили готовность обменять русских купцов на шведских гражданских служителей. И ни одного слова о размене генералов и резидента. Пытаясь изменить ситуацию, Хилков встретился с фельдмаршалом графом Магнусом Стенбоком, который был старшим в Королевском совете и авторитетным человеком в Оборонной комиссии, но тот, несмотря на любезный прием, отказался обсуждать тему, ссылаясь на то, что у него нет соответствующего разрешения короля.
Через несколько дней русскому резиденту дали окончательный ответ: так как король не собирается заключать всеобщий картель, то и переговоры на границе не нужны, достаточно обменяться списками пленных. Судя по тону ответа Хилкова, он был в негодовании. Обвинив шведские власти в непоследовательности, князь не согласился и с приложенным списком русских пленных, так как, по его мнению, там были незнакомые имена, а размен шведских офицеров на русских купцов и крестьян посчитал невозможным вовсе, потому что последние оказались во владениях Швеции ранее начала боевых действий. Оскорбило его и то, что русских офицеров — представителей знатных семей приравняли к купцам и служителям, а его самого и его врача к крестьянам и слугам.
Но особенный эффект в Стокгольме произвело письмо канцлера Головина от 9 августа 1705 года. Он начал с того, что назвал предложения Королевского совета вздорными и несовместимыми с европейскими обычаями. В саркастическом тоне обычно очень дипломатичный Головин писал, что царь Петр лучше знает европейские обычаи и соответствует христианским ценностям, чем король Карл. Российские власти пошли дальше: спустя некоторое время по приказу Петра критика поведения шведских властей прозвучала при «нейтральных дворах» из уст российских дипломатов. Это заставило членов Оборонной комиссии в начале октября отправить послание Ф.А. Головину с обвинением в том, что у него «недостаточно оснований, чтобы писать ложь и памфлеты, и многие обращения к христианским и цивилизованным министрам страдают экспрессивностью и недоказательностью». Все эти события серьезно отразились на положении пленных. Раздражение русских властей по поводу несостоявшихся переговоров и размена привело к поспешной высылке резидента Книперкроны с семьей и прочих шведских офицеров из Москвы в середине июля 1705 года. А в начале октября (кстати, к этому времени Книперкрону вернули в Москву) резидента и генералов, кроме Долгорукого, выслали из Стокгольма.
В последующие годы тема массового размена поднималась еще несколько раз, но всегда находились какие-то препятствия, которые мешали перейти даже на уровень серьезного обсуждения деталей. Пожалуй, наиболее реальной и близкой к завершению была попытка массового размена весной 1709 года, накануне, как оказалось, Полтавской битвы. Этому предшествовал удачный обмен несколькими десятками человек с обеих сторон в конце 1708 года. Было принято решение, что провести обмен «глухо — количество на количество». Для этого в русскую армию было прислано как минимум 488 пленных шведов, а вместе с женами и детьми их количество составило 534 человека. Но согласования и переговоры затянулись, а затем наступили Полтава и Переволочна, которые принципиально изменили ситуацию с обменом.
