У якутского воеводы не хватало сил, чтобы закрепиться на Амуре, и он все время просил помощи у царя. А с последним своим донесением даже отправил в Москву хабаровца — Дружинку Васильева Попова, чтобы тот лично объяснил положение дел на Амуре. В Москве еще до приезда туда Попова было решено послать на Амур трехтысячное войско под командованием князя Лобанова-Ростовского. В марте 1652 года для размещения людей, постройки дорог и ознакомления на месте со всеми делами на Амур был послан московский дворянин Дмитрий Иванович Зиновьев. В этом году он до Амура не дошел и добрался лишь до Чечуйского волока — между Леной и Тунгуской, где и зимовал.
Встреча Зиновьева с Хабаровым произошла только в первых числах августа 1653 года на устье реки Зеи. Зиновьев привез царские награды всем участникам похода. Прямой и честный Хабаров не понравился спесивому и властолюбивому московскому дворянину. В ответ на приказание Зиновьева отчитаться перед ним Хабаров спросил у посланца царскую грамоту, официальные полномочия. Это окончательно взбесило Зиновьева. Сохранились известия, что он, заподозрив «Хабарова в утайке ясака, требовал от него отчета и дерзость свою простер до того, что плевал Хабарову в лицо, драл за бороду и вооружил против себя товарищей героя».
Уезжая с Амура, Зиновьев решил взять с собой в Москву самого Хабарова. Есть сведения, что он вез Хабарова арестованным, отобрал у него все имущество. Зиновьев распорядился построить три острога: в Лав-каевом улусе, на реке Урке и в устье Зеи. Главным вместо Хабарова он оставил служилого Онуфрия Степанова, который с отрядом до 1658 года разъезжал по Амуру, собирая с жителей ясак.
Несмотря на столкновения с русскими служилыми людьми, нередко провоцируемые маньчжурами, пытавшимися настроить местное население против «леча» — русских, даурское население чувствовало постоянную опасность вторжений маньчжурских войск. В Москве Зиновьев докладывал, что осенью 1653 года «даурские иноземцы» били челом царю Алексею Михайловичу, чтобы «государь пожаловал своим государевым служилым людям и охочим людям воевать и грабить их не велел, а они де, иноземцы, государю ясак с себя по свое мочи платить учнуть и быти под ево государскою царьского величества высокою рукою и вечном холопстве ради, только б государь пожаловал, веля их оберегать от богдойского царя».
Что же стало с Хабаровым? По прибытии его в Москву царь Алексей Михайлович пожелал видеть славного землепроходца. Хабаров был принят ласково, награжден званием сына боярского. Кроме того, он был назначен приказчиком поселений между Леной и Илимом, от Усть-Кута до Чечуйского волока. Имущество, отобранное Зиновьевым, было ему возвращено. Но по прибытии на Лену Хабарова вскоре арестовали и отправили в Якутский острог, так как он не мог сразу рассчитаться с долгами, сделанными перед даурским походом. Хабаров нашел поручителей и лишь тогда смог возвратиться на свои земли. В ноябре 1667 года Хабаров просил тобольского воеводу П. Годунова отпустить его снова на Амур, но получил отказ. Свои последние дни Ерофей Павлович провел, по-видимому, или в Илимском остроге, или в деревне Хабаровке, около Усть-Киренги. Сын его Андрей впоследствии стал посадским человеком.
В ответ на челобитную «даурских иноземцев» после возвращения Зиновьева в Москву на Амур была послана «царская грамота с предписанием строго соблюдать принципы ясачного сбора, отпустить всех ранее взятых в плен и оберегать местное население от маньчжурских войск».
Исключительно велико историческое значение действий Пояркова и Хабарова на Амуре, неоценимы результаты географических открытий славных русских землепроходцев. Эти русские люди совершили подвиги, достойные самого глубокого уважения и восхищения. Советский народ бережно хранит память о Ерофее Павловиче: огромный край и его центр носят имя Хабарова.
Приамурье быстро осваивалось русскими людьми. Вскоре на Среднем Амуре образовалось Албазинское воеводство (уезд), в административном отношении подчиненное Нерчинску.
Как пишет В. А. Александров, «к началу 80-х годов в бассейне Амура от устья Аргуни до Зеи находилось, по минимальным подсчетам, до 800 человек русского населения мужского пола (крестьян, промышленников, казаков)». Слава самого восточного форпоста России на Дальнем Востоке — Албазина гремела в Забайкалье, Якутии, катилась по Западной Сибири, перехлестывала через Урал, пробуждая у многих вольнолюбивых людей стремление попытать свою судьбу в «Райской земле», как называли Приамурье сибиряки, истосковавшиеся на студеных реках Заполярья по солнцу и рождающей хлеб земле. Более 1000 десятин пашни обеспечивали отборным зерном потребности переселенцев, промыслы в тайге давали заработок удачливым охотникам, перспективы торговли с тунгусскими племенами привлекали в Албазин предприимчивое купечество, а сложная система коммуникаций соединяла Албазин со всеми крупными центрами Восточной Сибири.
