Во ВЦИК Е.Г. Евдокимов познакомился с Я.М. Свердловым. По его рекомендации в январе 1919 года Ефима Георгиевича направляют на учебу в Академию Генерального штаба Красной Армии. Советской власти очень нужны были грамотные и преданные делу революции военные специалисты. Однако уже в мае 1919 года Реввоенсоветом Республики Е.Г. Евдокимов был откомандирован в Регистрационный отдел ЦК РКП (б), а в июне того же года Оргбюро ЦК принимает решение о переводе его на работу в чекистские органы.
Важное место в деятельности ВЧК и МЧК в 1919 году занимала ликвидация анархистского подполья в столице. Об анархистских клубах, действовавших в Москве после Октябрьской революции, Е.Г. Евдокимов вспоминал: «Здоровая революционная часть желавших драться за революцию разбрелась и уходила из клубов, а остатки были впоследствии разоружены, так как представляли собой в значительной части полуанархистский, полубандитский и просто бандитский сброд. Я уже не говорю о том, что ко всему этому примазывалась и лезла в анархистские клубы белогвардейщина из бывших офицеров и прочие, используя порядки анархистских клубов, их доступность и вольности для своих контрреволюционных целей».
В обстановке гражданской войны часть анархистских организаций и групп перешла от агитации против «восстановления государственного гнета» к открытым выступлениям против Советской власти с оружием в руках, в том числе в составе различных банд, наиболее крупной из которых была банда Махно на Украине. Они превратились, по существу, в один из отрядов внутренней контрреволюции, представлявшей большую опасность для молодой Республики Советов.
Первый удар по контрреволюционному анархистскому подполью и уголовщине ВЧК нанесла еще весной 1918 года. Тогда 3 апреля она обратилась к населению Москвы с призывом оказывать поддержку в ее деятельности. В обращении говорилось, что «первейшей задачей Всероссийской чрезвычайной комиссии будет борьба За полную безопасность и неприкосновенность личности и имущества граждан от произвола и насилия самовольных захватчиков и бандитов, разбойников и хулиганов и обыкновенного жулья, осмелившихся скрываться и выдавать себя за… членов революционных организаций. В борьбе с этими двойными преступниками, охотно… принимающими в свою среду контрреволюционеров и белогвардейцев, будет проявлена особая решительность и беспощадность…». Всем уголовным элементам предлагалось в 24 часа покинуть Москву «или совершенно отрешиться от своей преступной деятельности, зная вперед что через двадцать четыре часа после опубликования этого заявления все, застигнутые на месте преступления немедленно будут расстреливаться». Но предупреждение подействовало не на всех. 11 апреля состоялось экстренное заседание ВЧК, на которое были приглашены представители всех районов столицы. На нем было принято решение немедленно приступить к разоружению анархистов.
В 12 часов ночи отряды Московского гарнизона и чекисты начали операцию. Они оцепили 25 особняков анархистов, выставили против них броневики и потребовали сдачи оружия. Большинство анархистов после недолгих колебаний сдались, но у некоторых особняков на Малой Дмитровке, на Поварской и на Донской анархисты оказали отчаянное сопротивление. В окнах были выставлены пулеметы, даже горные пушки, было брошено несколько бомб. После применении чекистами артиллерии осажденные сдались. В доме «Анархия» на Малой Дмитровке был захвачен большой склад оружия — от револьверов до орудий, в подвале были обнаружены запасы продовольствия. Операция завершилась к 2 часам дня 12 апреля, арестовано было около 400, убито и ранено 30 анархистов.
«Нашей задачей, — говорил тогда Феликс Эдмундович Дзержинский, — с самого начала возникновения Чрезвычайной комиссии как органа борьбы с антиреволюционными явлениями была борьба с преступностью во всех ее проявлениях. Поэтому совершенное нами очищение города в ночь на 12 апреля следует рассматривать как одно из наших мероприятий, осуществленное в широком масштабе… Мы имели определенные сведения, что вожди контрреволюции хотят воспользоваться преступными элементами, сгруппировавшимися вокруг групп федерации, для выступлений против Советской власти… Последнее обстоятельство подтверждается также и теми своеобразными мотивами, которыми руководствовались анархистские группы при занятии особняков: они выбирали стратегические пункты как раз против всех наиболее важных советских учреждений города, поэтому мы имели основание предполагать, что якобы анархистскими организациями руководит опытная рука контрреволюции. Мы в настоящее время будем продолжать с должной энергией довершение начатого дела по очищению города от преступных элементов. В ближайшем будущем нами образуется особый подотдел, который систематически займется борьбой с преступными элементами…»