Хабаров, не желая обострять отношения с маньчжурскими ханами и учитывая малочисленность своего отряда, вынужден был возвратиться вверх по Амуру. В середине мая хабаровцы встретились с отрядом численностью 137 человек во главе с Т. Чечигиным, Д. Поповым и А. Петриловским, посланным из Якутска на помощь Хабарову. Еще до этой встречи из состава отряда Т. Чечигина на поиск хабаровцев была отправлена команда казаков из 27 человек во главе с И. Нагибой. Она прошла мимо отряда Хабарова и вышла из устья Амура в открытое море, а затем реками Ленского бассейна 15 сентября 1653 г. возвратилась в Якутск. Так, отряд И. Нагибы после В. Пояркова еще раз прошел морским путем в центр Восточной Сибири.
Во время похода Хабаров строго следил за дисциплиной своих людей. Попытка части казаков во главе с С. Поляковым отделиться от объединенного отряда была пресечена решительными действиями Хабарова.
В августе 1653 г. на Амур прибыл московский дворянин Д. И. Зиновьев с указом подготовить все необходимое для приема правительственного войска. В устье Зеи он встретился с Хабаровым, для которого эта встреча оказалась недоброй. Недовольные строгостью Хабарова казаки написали на него жалобу, а говоря языком того времени — навет, в котором обвинили его в притеснениях и нарушении государева дела. Зиновьев, использовав эту жалобу, отстранил Хабарова от руководства отрядом и подверг унижениям. Он отобрал у Хабарова все его имущество и под арестом повез в Москву, прихватив с собой и его долговую расписку из Якутска. Таким образом, Е. П. Хабаров превратился в государева должника.
В Москве, в Сибирском приказе, начался разбор дела Хабарова. Несмотря на то что Зиновьев в черном свете выставил деятельность Хабарова на Амуре, 12 июня 1655 г. Сибирский: приказ оправдал Хабарова.
За долгие годы службы Хабаров получил звание сына боярского — попал в привилегированный слой служилых людей, но ни жалованья от царя, ни имущества от дворянина Зиновьева Хабаров не дождался. В 1658 г. он возвратился на Лену, в Усть-Киренгский острожек, куда был назначен ответственным за гражданские дела в округе. Оклад за службу ему полагался натурой, но он отказался от хлебного жалованья и снова занялся хлебопашеством.
Однако прежние долги взимались с Хабарова, и в 1660 г. он угодил даже в тюрьму. Но вскоре под поручительство Хабаров был освобожден из тюрьмы, хотя и продолжал оплачивать долги. На склоне лет в 1667 г. Хабаров, подарив свою заимку в Усть-Киренге монастырю, намеревался вернуться в Даурию, куда буквально нахлынула волна переселенцев, убегавших от произвола местной администрации. Об этом замечательном человеке спустя много лет будет написано: «…илимский воевода (Зиновьев)… топтал ногами и сажал в железо того почтенного исторического человека, Ерофея Павловича Хабарова, который снабдил Сибирь… солеваренными заводами и приобрел… богатый, цветущий Амур. Даровитый устюжанин… только за то и пострадал, что стоял на дороге неспособному, алчному, но имевшему власть воеводе»[16].
После отъезда Е. Хабарова в 1653 г. в Москву отрядом численностью 370 человек руководил О. Степанов. В 1654 г. маньчжуры преградили путь отряду Степанова, шедшему вверх по реке Сунгари. Степанов вынужден был зазимовать в Кумарском остроге, построенном Хабаровым в 1652 г. в устье реки Кумары (ныне река Кумархэ) — правого притока Амура. Весной 1655 г. 10-тысячное маньчжурское войско с пушками и осадными лестницами окружило острог. Предвидя столкновения с маньчжурами, Степанов хорошо подготовил острог к осаде. Казаки под его руководством выкопали ров, разбросали «чеснок потайный» — железные шипы перед рвом, устроили стены с верхними и нижними бойницами. Для водоснабжения гарнизона и тушения пожаров они выкопали глубокий колодец. Три недели маньчжуры пытались взять острог, но не смогли.