С марта 1928 года он, сохраняя свою должность, параллельно возглавил Институт химической обороны. В личном партийном деле Фишмана сохранилось несколько характеристик, сделанных его непосредственными начальниками. В одной из них, выданной 18 ноября 1926 года говорилось: «Энергичный, влюбленный до фанатизма в химическое дело. Много успел сделать за год работы в Химическом управлении. Дело, бывшее еще год назад в беспризорном состоянии, теперь двинуто широко вперед…» 11 июня 1928 года начальник снабжения РККА Федор Дыбенко охарактеризовал его в таких словах: «Наряду с энергией и трудоспособностью много фантазии. Решителен, самостоятелен в работе, иногда слишком много берет на себя ответственности. Выдержанный и устойчивый партиец…»
В 1932 году Фишман прошел переаттестацию и получил вторичное назначение на должность начальника Военно-химического управления РККА. К этому времени он опубликовал несколько научных и учебных трудов. Первые из его книг («Газовая война» и «Химическое оружие») вышли в Москве в 1924 году, когда их автор еще находился в Германии. Впоследствии вышли другие работы: «Воздушно-химическая оборона тыла» (1928), «Военно-химическое дело» (1929), «Военно-химическое дело в современной войне» (1930). Помимо основной служебной деятельности, Фишман с конца 20-х годов возглавлял секцию военно-химической обороны союзного Осовиахима (Общества содействия обороне, авиации и химическому строительству), активно пропагандируя накопленные за границей знания для подготовки широких кругов населения к тотальной войне.
В соответствии с постановлением ЦИК и СНК СССР от 22 сентября 1935 года «О введении персональных военных званий начальствующего состава РККА», приказом по личному составу армии за № 2396 от 20 ноября ему было присвоено воинское звание коринженера. Он был награжден орденом Красной Звезды и включен в состав Военного совета при наркоме обороны. Но все его заслуги не спасли Якова Моисеевича от ареста. За ним пришли 5 июня 1937 года в разгар репрессий в отношении высокопоставленных военных. Наряду с фабрикацией наиболее известного заговора в Красной армии (делом М. Н. Тухачевского, И. Э. Якира и др.), расстрельные приговоры по которому были вынесены Специальным судебным присутствием Верховного Суда СССР 11 июня, НКВД инспирировал несколько автономных дел. Одно из них - «военно-эсеровского центра» - было направлено против военных, принадлежавших в прошлом к социалистам-революционерам. По этому делу были арестованы такие крупные военные, как командующий войсками Закавказского военного округа, Маршал Советского Союза А. И. Егоров, командующий войсками Белорусского военного округа, командарм 1-го ранга И. П. Белов, командующий Приморской группой войск Особой Краснознаменной Дальневосточной армии, командарм 2-го ранга М. К. Левандовский, начальник Артиллерийского управления РККА, комкор Н. А. Ефимов и др. 9 февраля 1938 года нарком внутренних дел Ежов письменно доложил Сталину о ликвидации «антисоветской военноэсеровской организации». Большая часть арестованных была расстреляна, но Фишман стал исключением.
В справке о проверке обвинений, предъявленных в 1937 году Тухачевскому и другим военным деятелям, составленной в 1964 году комиссией ЦК КПСС под председательством Н. Шверника, в которую, между прочим, входили руководители КГБ А. Шелепин и В. Семичастный, был раскрыт фальсификаторский характер дел НКВД. О Фишмане в этой справке говорилось: «Представленный на следствии в качестве члена „военно-эсеровского центра“ и агента немецкой и итальянской разведок корпусной инженер Фишман в действительности же сам длительное время, вплоть до ареста, являлся негласным осведомителем органов НКВД СССР». Когда именно он был завербован - в Бутырке в 1919 году или позднее, остается только гадать…
29 мая 1940 года по приговору Военной коллегии Верховного Суда СССР Фишман был осужден на 10 лет тюрьмы. Точных сведений о том, где он находился в заключении, в нашем распоряжении пока нет. Но можно предположить, что он отбывал срок, работая по химической специальности в какой-нибудь секретной шарашке. Известно лишь, что почти сразу после освобождения он становится зав-кафедрой химии института механизации сельского хозяйства в Саратове, но работает в этом вузе недолго - меньше одного семестра. Потом Фишман перебрался на Украину и стал доцентом кафедры химии сельхозинститута в Умани.
