С этого времени личность Федора Козьмича до известной степени становится центром внимания окружающих. Однако «никаких серьезных намеков на будто бы царственное происхождение» его ни самим Федором Козьмичем, ни его окружающими в это время не делалось. Народная молва считала его каким-то сосланным или добровольно оставившим свой пост митрополитом, хотя образ его жизни и не имел ни одной черты, заставлявшей предполагать в нем духовное звание. От Краснореченского Федор Козьмич уходит к деревне Коробейникам, откуда через три года вновь возвращается на Красную речку, и, наконец, в 1858 году 31 октября, уступая просьбам купца Хромова, Федор Козьмич переехал в Томск, в четырех верстах от которого на заимке Хромова и прожил до своей смерти.
По рассказам очевидцев, наружность Федора Козьмича производила внушительное впечатление. С видной фигурой, довольно высокого роста, широкоплечий, с высокой грудью, он имел серые глаза и чистое белое лицо с кругловатым подбородком. Кудрявые волосы на голове и длинная, немного вьющаяся борода, постепенно седея, к 1860-м годам покрылись уже «легкой желтизной» — признак старости. В общем лицо имело правильные и приятные черты. Традиция рисует характер Козьмича вспыльчивым, но считает старца добрым и мягким, однако последнее сомнительно, ибо дошедшие о нем сведения, и в особенности «Записки» преданного ему Хромова, дают иное представление. Резкие отзывы Федора Козьмича об епископе Пар-фении, подозревавшем в старце «прелесть», ответы Хромову («если хочешь, выбрось меня на улицу»), резкий, даже грубый ответ («я из публичного дома») любопытным купчихам, назойливо добивавшимся узнать его происхождение, и пр. свидетельствуют скорей об обидчивости и раздражительности Козьмича. Это был суровый, замкнутый человек, которого побаивались.
Рассказывают, что Федор Козьмич обладал выдающейся физической силой. При метании сена он одним взмахом бросал на стог целую копну сена, не опираясь концами вил в землю и приводя этим в удивление зрителей. Одежда его состояла из длинной холщовой рубахи, подпоясанной тонким ремешком, белых бумажных носков и кожаных туфель. Длинный черный халат, надетый поверх рубахи, а зимой старая сибирская доха с облинявшею шерстью дополняли его одежду. Отмечают в старце любовь к порядку и чистоте, хотя Хромов, напротив, сообщает, что «никто и никогда не видал, чтобы старец умывался, а только бывало в год два раза обмывал себе ноги». Жилищем ему служила обычно особая избушка или отдельная комната; летом иногда он проводил свои дни в лесу или на пасеке. Жесткая постель, без всякой подстилки, деревянный чурбан вместо подушки, две-три скамейки и небольшой столик составляли всю его аскетическую обстановку. В переднем углу висели образа Печерской Божией Матери, Александра Невского и другие, на столе — небольшое распятие и несколько книг религиозного содержания. Лубочных изданий не было.
Обычно питался он скромной пищей: ржаным хлебом и сухарями с водой, хотя от лепешек, пирогов, меда-рыбы или других приношений не отказывался. Одной из почитательниц он прямо сказал: «Я вовсе не такой постник, за какого ты принимаешь меня». Мясо ел он редко, любил жареные оладьи с сахаром, но извинял себя, говоря что «от таких оладей и сам бы царь не отказался». Вина он никогда не пил. Вставал старец рано; чем он занимался, никто не видал: дверь кельи оставалась постоянно закрытой. Твердые мозоли на его коленях, обнаруженные после смерти, красноречиво говорят о продолжительной молитве и земных поклонах. «Он всегда утаивался, — пишет Хромов, — разве когда-либо тихонько увидишь, что он молится Богу, но это случалось днем, ночью же никогда и никого к себе не принимал».
О посещении старцем церковной службы сведения противоречивы, но они единогласны в указании, что у себя в селе Козьмич у исповеди и причастия никогда не бывал, чем возбудил даже против себя негодование местного священника, подозревавшего в нем сектанта. Вполне точно установлено, что старец не принял причастия и перед смертью. На неоднократные предложения причаститься Федор Козьмич обычно отвечал: «Господь удостоил меня принимать эту пищу».
