Муссолини выучил немецкий язык, на котором впоследствии говорил так же бегло, как и на французском. К тому времени он прочел в итальянском переводе «Манифест коммунистической партии» и «Капитал» Карла Маркса, а теперь читал по-немецки остальные его работы. Он также познакомился с трудами Энгельса и Карла Каутского, считавшегося после смерти Энгельса и «бегства в ревизионизм» Эдуарда Бернштейна самым значительным теоретиком марксизма в Германии. Ленин тогда был большим поклонником Каутского, хотя позднее, когда тот стал критиковать действия большевиков в России после Октябрьской революции, обозвал его ренегатом.
В 1904 году социалисты с интересом изучали последнюю книгу Каутского «День после социалистической революции». Он описывал в ней общество, которое надеялся увидеть икоторое, он верил, будет после прихода социалистов к власти. Этой проблемы теоретики социализма почти нигде не касались. Только Маркс очень кратко в «Критике Готской программы» поднял этот вопрос. Муссолини решил перевести книгу Каутского на итальянский. По воспоминаниям Анжелики Балабановой, он сказал ей, что хочет перевести эту работу, но не знает немецкого, и она стала обучать его этому языку. Однако, по-видимому, она не права. Ведь Муссолини прочел и восторженно оценил «День после социалистической революции». А это можно было сделать, только достаточно владея немецким языком. Хотя вполне возможно, что Балабанова помогала ему с переводом.
В апреле 1904 года у Муссолини снова было столкновение с полицией. Когда он впервые приехал в Ивердон, его швейцарская виза позволяла ему оставаться в Швейцарии в течение 18 месяцев, до 31 декабря 1903 года. Однако по мере приближения этой даты он стал бояться, что ему придется вернуться в Италию как раз к моменту получения призывной повестки. Ему пришло в голову, что будет очень легко изменить в визе «3» на «5», что он и сделал. Получилось, будто ему разрешено пребывание в Швейцарии до 31 декабря 1905 года. Но в апреле 1904 года полиция Женевы обнаружила подделку. Муссолини был арестован и после трех дней пребывания в женевской тюрьме приговорен к высылке из кантона.
Социалистам Женевы удалось провести в Великий совет кантона одного из своих лидеров, адвоката Адриена Висса. На совете Висе высказал возражение против депортации Муссолини, а социалисты провели несколько демонстраций протеста на улицах Женевы. Ряд местных отделений социалистической партии вынес резолюции с призывом к 24-часовой всеобщей забастовке. Тем временем полиция уже повезла Муссолини к границе, но из-за протестов это путешествие было прервано, и его передали властям в Люцерне. Так что Пасху он провел в тамошней тюрьме.
Социалисты и радикалы Тичино, зная, что Муссолини провезут через их кантон по пути к итальянской границе, присоединились к протестам против его высылки. Радикал, член Великого совета Тичино Антонио Фузони высказал этот протест на заседании совета. Шумные возражения увенчались успехом, и Муссолини, которого должны были доставить к границе в Кьяссо, был освобожден в Беллинцоне. Ему было разрешено остаться в Тичино. Власти Женевы отозвали приказ о высылке, и Муссолини летом и осенью 1904 года оставался в Женеве, Лозанне и других районах Швейцарии.
В апреле 1904 года Муссолини был заочно осужден военным трибуналом в Форли за уклонение от военной службы. Однако несколько месяцев спустя итальянское правительство даровало амнистию дезертирам. В это время Муссолини обдумывал намерение посетить Нью-Йорк, но ему хотелось повидаться с отцом и матерью, которые мечтали о его возвращении в Италию. Он также понимал, что если не откликнется на амнистию и не пойдет в армию, то ему придется быть изгнанником до конца своей жизни. В ноябре 1904 года он покинул Швейцарию. Дома он немедленно явился на призывной пункт в Форли и в январе 1905 года был направлен в 10-й полк берсальеров, расквартированный в Вероне.
В книге, посвященной юности Муссолини, вышедшей в 1936 году, его секретарь Ивон де Беньяк иначе рассказывал о призыве Муссолини на военную службу. Когда Муссолини был фашистским правителем Италии, ни он, ни его сторонники никогда не пытались скрывать его социалистическое прошлое. Его жена, его сестра, его сын Витторио, Маргерита Сарфатти и де Беньяк гордо писали о революционной деятельности Бенито и его отца Алессандро, о его бродячей жизни в Швейцарии, арестах, пребывании в тюрьмах там и в Италии. Даже о его оппозиции ливийской войне в 1911 году, хотя де Беньяк писал об этом, преуменьшая силу его противодействия. Было одно-единственное исключение: поклонники Муссолини никогда не признавались в том, что он уехал в Швейцарию, скрываясь от военной службы.