Примечательно, что Гагарин не только помогал сам, но, пользуясь своим положением, обязывал других делать то же самое. В сентябре 1709 года, когда полтавских пленных стали собирать в Москве, он, тогда еще московский комендант, возложил часть расходов по их содержанию на купца Бориса Карамышева. Он платил содержание шведам, отправленным в Казань на службу, а также жалованье вновь зачисленным специалистам: переводчикам Ефиму Бренберху и Якову Крусу, Густаву Вайману, «которого определили к делам золота», и пр.
Не менее важной, чем материальная помощь, была моральная поддержка, которую Гагарин оказывал ссыльным каролинам. Так, во время периодических инспекций, которые он совершал по местам проживания шведов, можно было напрямую обратиться к нему со своими проблемами, и некоторые из них благополучно решались тут же. Довольно часто в поездки в Москву и Санкт-Петербург Гагарин брал с собой пленных. Капитану Кребсу, приехавшему в Москву в княжеской свите, удалось найти там свою семью. Не без ведома губернатора каролины имели возможность довольно свободно перемещаться по своим делам из одного города в другой. С 1712 года избранные представители офицерства не реже двух-трех раз в год ездили в Москву за деньгами и корреспонденцией. В 1715 году лейтенант А. Плантинг ездил на Ирбитскую ярмарку «для покупки необходимых товаров», а пастор Кулин и фенрик Сконин из Тюмени в Тобольск для покупки вина для причастия и т.д.
Гагарин охотно шел на контакты с представителями шведских общин в сибирских городах, в частности с полковником Арвидом Кульбашем, ольдерманом тобольской колонии пленных. Дружеские отношения, которые у них завязались, помогли пленным получить разрешение на строительство церкви в Тобольске. Нередко Гагарин приглашал старших офицеров к себе домой на обеды; так, 19 марта 1713 года они были на именинах дочери губернатора. Нередко офицеры участвовали в русских праздниках, например в пасхальных торжествах 1717 года. Без поддержки губернатора Сибири не могла бы осуществиться идея строительства школы в Тобольске. В качестве почетного гостя он присутствовал на церемонии ее открытия в ноябре 1713 года и на первых экзаменах. А когда в связи с высылкой в Томск большого количества офицеров возникла идея о переводе туда школы, Гагарин приложил все усилия, чтобы уговорить капитана Вреха, возглавлявшего это учебное заведение, остаться в Тобольске.
Все, чего удалось добиться каролинам за годы плена и составляло (вполне заслуженно) предмет их гордости, могло произойти только с ведома и расположения сибирского губернатора. Тот же капитан Страленберг, так неприязненно отзывавшийся впоследствии о Гагарине, вряд ли имел бы возможность так свободно путешествовать по Сибири при другом губернаторе. Обладая хорошим знанием людей, Матвей Петрович тщательно отбирал и приближал тех, кто мог быть ему полезным. Окружив себя шведскими переводчиками, художниками, музыкантами и просто просвещенными людьми, князь в значительной степени скрашивал свое пребывание вдали от столиц. Впоследствии столь тесное общение с иностранцами сослужило ему плохую службу, став основанием для удивительной живучести идеи о тайном сепаратизме князя Гагарина[87].
Разговоры о том, что сибирский губернатор тесно общается с пленными шведами и оказывает им материальную помощь, привлекли особое внимание столичных властей после того, как 9 декабря 1717 года был издан именной указ о производстве следствия по заявлению обер-фискала Алексея Нестерова, обвинившего князя Гагарина во взятках и злоупотреблении служебным положением. Над головой «сибирского владыки» разразилась настоящая гроза. К слову, уже не в первый раз поведение князя вызывало гнев царя. Однажды он вместе с губернаторами Стрешневым и Голицыным уже сидел в тюрьме за то, что не исполнил вовремя царского повеления о поставке рекрутов и лошадей. Прошло всего несколько лет, и в начале 1715 года князю вновь пришлось оправдываться перед царем из-за подозрений в систематических кражах из китайских караванов.
Новое донесение Нестерова переполнило чашу терпения Петра, и по его распоряжению в январе 1718 года была создана особая следственная комиссия под руководством гвардейского майора Ивана Ильича Дмитриева-Мамонова, которой поручили «дело Гагарина». В ходе следствия было собрано огромное количество документов, различных выписок и постановлений. В Санкт-Петербург и Москву из Сибири прислали более сотни расходных книг. Все они прорабатывались и анализировались на основе предъявленных обвинительных пунктов, количество которых быстро достигло трех десятков. Несколько из них связывали опального губернатора и пленных каролинов. Особо опасным для князя стало обвинение в растрате казенных средств на шведов. Оно было сформулировано после того, как следователи обратили внимание на записи в расходных книгах за 1712 и 1713 годы, которые делал подьячий Филиппов. Там, в частности, было записано: «Шведам, которые присланы в Сибирскую губернию и ныне у всяких работ — 2170 человек по 4 деньги на день. Итого 15 760 рублей да в 1713 году 2079 человекам — 15 135 рублей 10 алтын. Всего — 30932 рубля 10 алтын». На допросе Филиппов сказал, что он только переписал в книгу сведения, составленные дьяком Баутиным, и не знал, правильные они или нет. На следующих допросах (вероятно, после пыток) он указал, что по первым черновым записям пленным, работавшим в 1712 году, было выдано лишь 373 рубля, а в 1713 году —411 рублей 16 алтын 2 деньги, то есть всего 784 рубля 16 алтын и 2 деньги. По его словам, эти документы забрал дьяк Баутин и отнес губернатору, который оставил их у себя.