С самого начала Крестьянской войны 1773–1775 гг. Зарубин стал одним из ее вождей. Под его руководством был сформирован отряд казаков, который действовал в районе Яицкого городка. В октябре 1773 г. этот отряд захватил важные опорные пункты царской администрации — Илецкий городок, Нижне-Озерную и Татищеву крепости. Вместе с Пугачевым Зарубин участвовал в осаде Оренбурга. В критический момент восстания, когда на помощь Оренбургу был брошен отряд генерала Кара, Пугачев направил Зарубина навстречу правительственным войскам. Повстанцы, получив подкрепление от отряда Хлопуши, который передал Зарубину пушки и часть «казаков», подошли в начале ноября 1773 г. к деревне Юзеевке, где находились войска генерала Кара. Подавив артиллерию карателей, восставшие разгромили правительственные войска и несколько часов их преследовали.
После победы над Каром Зарубин возвратился в лагерь восставших под Оренбург. Здесь его ждало новое, чрезвычайно важное поручение. Пугачевские войска остро нуждались в боеприпасах и артиллерии. Основными базами снабжения восставших были уральские заводы. Пугачев направил Зарубина на Воскресенский завод в Башкирию с тем, чтобы тот наладил производство пушек. Атаману удалось справиться с этой задачей; как доносили Пугачеву, «заводские стали уже лить чугунные пушки».
Вскоре Зарубин получил новое повеление «Петра III». Атаман должен был возглавить осаду Уфы — крупнейшего центра Башкирии. Поручение было весьма ответственным и сложным. Осада важнейшего опорного пункта царской администрации усугублялась общей сложной обстановкой, которая возникла в Башкирии. Отряды восставших, сформированных по национальному признаку, действовали разрозненно, на свой страх и риск, не были подчинены центральному руководству. Иногда между восставшими различных национальностей возникали недоверие и разлад. Пугачев и его штаб под Оренбургом поручили Зарубину усилить осаду Уфы и прежде всего добиться прекращения разногласий между отрядами восставших. Атаман, который теперь стал именоваться «графом Чернышевым», по имени президента Государственной военной коллегии в Петербурге, успешно справился с поставленной перед ним задачей. После своего переезда под Уфу, в деревню Чесноковку, где сложился повстанческий центр, Зарубину удалось подчинить разрозненные отряды командованию, устранить конфликты между отдельными воинскими национальными формированиями. В свою армию он принимает не только русских, но и башкир, татар, представителей всего населения огромного края независимо от их национальной принадлежности. Основным критерием отбора в войско Зарубина было отношение повстанца к правительственной администрации, к заводчикам и помещикам — врагам угнетенного населения Башкирии. Из штаба Зарубина выходили воззвания, манифесты, указы, призывающие к борьбе против эксплуататоров, к созданию отрядов, набору добровольцев в войска, снабжению повстанческой армии продовольствием и снаряжением. В ответ на воззвания Зарубина к нему присоединились отряды из всех районов Башкирии и с заводов Урала. Так, лишь с одного Ижевского завода в Чесноковку прибыл в январе 1774 г. отряд работных людей и пришлых крестьян численностью до 1700 человек. Одновременно с функцией главного военного центра штаб в Чесноковке являлся и административным учреждением, дающим указания, относящиеся к делам и постановлениям выборных административных органов власти (мирских сходов) и к спорным вопросам, возникающим в повседневной работе. Например, в феврале 1774 г. с Рождественского завода прибыли представители работных людей во главе с выборным атаманом Семеном Волковым с жалобой на захват заводской казны отрядом башкир. В то же время заработная плата рабочим хозяевами не выплачивалась. Зарубин постановил, чтобы «вместо тех взятых башкирцами денег из вырученных за соль и и с продчих питейных доходов выдать им (работным людям — Ю. Л.) полторы тысячи рублев, дабы они не могли притти в крайнее раззорение».
Много сил и энергии отдавал Зарубин основной своей задаче — взятию Уфы. Вначале он попытался овладеть городом мирным путем — «без драки». В декабре 1773 г. жители Уфы, захваченные в плен, были отпущены обратно в город с наказом уговорить горожан сдаться. Это обращение не привело к желаемой цели. Тогда Зарубин решил разведать городские укрепления. Для этого были совершены «около города объезды», и 23 декабря восставшие предприняли попытку захватить город. Зарубин располагал крупными силами. Численность его войска достигла 10 тысяч человек при 25 пушках. Бой разгорелся утром и длился почти 8 часов. С обеих сторон был открыт ожесточенный артиллерийский огонь. По выражению современника, город «такой крайней опасности… подвержен был», что едва не был захвачен отрядами Зарубина. Осажденные были принуждены призвать для отражения штурма «партикулярных горожан» — чиновников, купцов, мещан. Несмотря на катастрофическое положение гарнизона, атаки были отбиты и Уфа осталась под властью «матушки-государыни».
