Троцкий продолжал настаивать на четком организационном и политическом размежевании. Хотя он рьяно отрицал обвинения в том, что происходит формирование параллельных компартий, фактически он все больше видел в группах, лигах и прочих объединениях своих последователей эмбрионы будущих партий, а в их международном объединении — зародыш будущего Интернационала. Не случайно, отвергая необходимость создания IV Интернационала, он в 1931–1932 гг., в отличие от прежних лет, относил эту свою позицию только к данному времени, не предрекая, какие действия будут предприняты в недалеком будущем.
Троцкий уделял особое внимание деятельности находившегося в Париже Интернационального секретариата оппозиции (его стали называть в этот период также Административным секретариатом). Об этом свидетельствует ряд писем М. Миллю (Окуню), эмигранту из России, занимавшему в начале 30-х гг. пост исполнительного руководителя этого Секретариата (публикуется лишь небольшая часть этих писем, которые могли бы, по словам Троцкого, занять целый том). Они показывают, что усилия Троцкого по объединению оппозиционных коммунистических групп, по преодолению раскола в национальных организациях, прежде всего в Коммунистической лиге Франции, не приводили к успеху. Сам Милль, на которого Троцкий первоначально возлагал большие надежды, не оправдал его ожиданий, стремился к бюрократическому единоличному решению сложных вопросов и, главное, своевольничал, нарушал указания «пророка в изгнании», пытаясь в то же время убедить Троцкого, что он последовательно выполняет его волю.
Троцкий стремился активизировать Интернациональный секретариат, но все его усилия в этом направлении к успеху не привели. В то же время поначалу Троцкий даже как бы заискивал перед Миллем, и это свидетельствует, насколько скудны были находившиеся в его распоряжении активные кадры. Разочарование, однако, наступило довольно быстро. С середины 1931 г. Троцкий перестает обращаться лично к Миллю и адресуется к Интернациональному секретариату в целом, а в октябре того же года происходит полный разрыв с Миллем.
По документам прослеживается плохо скрытое, а иногда и открыто выражаемое разочарование тем, что Интернациональный секретариат не в состоянии наладить эффективное руководство национальными секциями, находится в жалком состоянии, что его «Бюллетень» выходит лишь от случая к случаю.
Все большее чувство досады и даже озлобления проявлял Троцкий по адресу многих лидеров национальных секций своих сторонников. Хотя свои гневные, а подчас и издевательские письма он считал лишь «дружескими увещеваниями», они не только интенциями, но во многих случаях и содержанием не отличались или почти не отличались от разоблачительных филиппик по адресу политических противников. Присоединение одной из французских оппозиционных групп к Коммунистической лиге Франции Троцкий комментировал презрительными словами: «Группа «Лютт де клясс», которая в течение нескольких лет переезжала с одного идеологического курорта на другой, примкнула к левой оппозиции».
Тем не менее, как и подобало правоверному марксисту-ленинцу, Троцкий искал «объективные» причины неудач своего движения. В июле 1931 г. он высказал мнение, что возникший «революционный прилив» бьет как по правой, так и по левой оппозиции официальному сталинистскому коммунизму. «…При таких условиях, — полагал он, — та фракция, которая не просто плывет по течению, а критически перерабатывает обстановку и сознательно ставит все вопросы стратегии, должна неминуемо быть на известное время оттерта в сторону». Почему же? Ответ на этот вопрос не следовал. Правда, почти вслед за этим лидер оппозиции все же вынужден был перейти от «объективных факторов» к «субъективным», признав, что оппозиция «до сих пор» сделала «очень мало», что оппозиционные группы «нередко не имели ничего общего с большевизмом», что «мы делали… немало ошибок», что рабочие «не поспешили броситься очертя голову на призыв левых оппозиционных групп в разных странах». Призывая к конкретному анализу обстановки, причинно-следственных связей явлений, Троцкий далеко не всегда следовал собственному призыву, особенно в тех случаях, когда такой анализ мог оказаться политически вредным для его движения или же для него лично.