Войноральский и его товарищи ехали на подводах, по два человека на каждой. Многие шли рядом с подводами пешком, поскольку повозки были очень неудобными: из-за плохих дорог приходилось испытывать сильную тряску. Колонна проходила около 3 верст в час. Она взметала целую тучу пыли. Пятифунтовые кандалы были тяжелы и заставляли волочить ноги по земле. При безветренной погоде из-за пыли было трудно дышать, особенно тем, кто страдал болезнями дыхательных путей. На время пути выдавались небольшие кормовые деньги, на которые покупали продукты. Для приготовления пищи все разбились на группы по 3--5 человек. Еда в основном состояла из картофеля, хлеба и молока. Войноральский, как и в Мценске, продолжал быть старостой. Он получал у начальства кормовые деньги, делал общие закупки продуктов, улаживал разные организационные вопросы так, что во время всего путешествия не было никаких столкновений с начальством. Наконец, пробыв в дороге целое лето, партия политкаторжан, где находился Войноральский, к осени прибыла в Иркутск. Здесь пришлось задержаться на целую зиму в местной тюрьме.
Иркутская тюрьма имела камеры на 6--7 человек, выходившие в тесный, темный и грязный коридор. Политзаключенным разрешалось покидать камеры и общаться между собой.
В Иркутской тюрьме среди политкаторжан, кроме приехавших из харьковских централов, были осужденные по нескольким процессам. Позднее, 30 сентября 1881 г., в эту тюрьму был доставлен и В.Г. Короленко. Здесь он и познакомился с Войноральским, Мышкиным, Рогачевым, Коваликом и другими товарищами.
Как-то между друзьями зашел разговор об административной ссылке. Короленко поведал свою историю, он рассказал о своем первом объяснении с молодым прокурором в Вятской тюрьме:
-- Я задал ему вопрос: если не ошибаюсь, существует закон, по которому арестуемым должно быть в трехдневный срок сообщено о причинах ареста.
-- Совершенно верно, -- ответил прокурор.
-- И прокурор может своей властью освободить задержанного, если закон нарушен и человек арестован без причины?
-- Да, -- подтвердил прокурор.
-- Тогда почему же я сижу в тюрьме уже неделю, а мне говорят, что единственная причина этого то, что из города уехал губернатор?
После этого вопроса прокурор повернулся и вопросительно взглянул на смотрителя тюрьмы. Тот ответил:
-- В административном порядке.
Эти слова ударили прокурора как электрическим током. Он посмотрел на меня, -- продолжал Короленко, -- и процедил чуть слышно:
-- Извините, но тут я ничего не могу сделать.
-- Значит, достаточно написать на двери мелом "В административном порядке", и действие закона прекращается? И можно держать человека в тюрьме сколько угодно?
-- Ничего не могу сделать, -- пробормотал прокурор и вышел за дверь.
-- Да, такой институт, как административная ссылка -- изобретение самодержавного произвола, -- сказал Войноральский и продолжал: -- Право устанавливать надзор за кем-либо как по русскому уголовному кодексу, так и по французскому, или германскому -- это прерогатива исключительно суда. Но царское правительство применяет административную ссылку произвольно, без зазрения совести и с одинаковым безразличием и по отношению к людям, оправданным судом, как это было с подсудимыми по процессу "193-х", и по отношению к свидетелям, показавшим правду, и по отношению к гражданам, не только не привлеченным к суду, но и к тем, против которых нет вообще никаких улик. Причем срок может быть продлен до бесконечности.
-- Так вот я и есть живой пример, -- рассмеялся Короленко.-- Мне приписали побег, которого не было, на основании донесения урядника, и готово распоряжение министра внутренних дел -- отправить в ссылку в Восточную Сибирь. Я доехал до Томска, побывав по дороге в пересыльных тюрьмах. Но комиссия, учрежденная для разбора причин административной ссылки, выявила ошибку и направила меня снова под надзор полиции в Европейскую Россию. Я остался под надзором полиции в Перми. Здесь мне предложили дать присягу новому императору Александру III, на что я ответил следующее: "Я испытал лично столько неправды от существующего строя, что дать обещание в верности самодержавию не могу". По этой причине я был вновь арестован и направляюсь в Якутскую область в административную ссылку на неопределенное время.