Борьба со шведскими захватчиками была, однако, лишь составной частью обороны Руси. Тевтонские рыцари в 1240 году с помощью датских феодалов захватили город Изборск, а затем и Псков, после чего появились вблизи Новгорода. Александр Невский разбил рыцарей под Псковом, вторгся в их владения, «землю ордена пожже и повоева, и полона много взя, а иных иссече». А 5 апреля 1242 года произошла историческая битва против тевтонцев на Чудском озере, получившая название Ледового побоища, в ходе которого одних только рыцарей было убито 500 и 50 тевтонцев попало в плен. «И бысть та сече зла и велика, и треск от копий ломления и звук от мечного сечения… и не бе видети льду, покрыто бо все есть кровию».
Победа над тевтонцами на Чудском озере имела огромное значение для дальнейшей истории как русского, так и других народов Восточной Европы. Благодаря Ледовому побоищу был положен предел грабительскому продвижению тевтонцев на Восток.
Конец XIV—начало XV века были временем расцвета военного могущества тевтонского ордена, получившего большую помощь от западно-европейских феодалов и папы римского. В борьбе против этой грозной силы объединились польские, русские и литовские войска. В 1409 году между Тевтонским орденом, с одной стороны, и Польшей и Литвой — с другой, вновь вспыхнула война, получившая название Великой. Решающая роль между армией Тевтонского ордена и польско-литовско-русскими войсками произошла 15 июля 1410 года под Грюнвальдом (литовцы называют это место Жальгирисом, а немцы — Танненбергом).
Под предводительством великого князя Литовского Витаутаса были разгромлены основные силы тевтонцев. Этим был положен конец экспансии немецких феодалов и крестоносцев на Восток, продолжавшейся 200 лет. Эпохальное значение битвы, в которой погибли гроссмейстер Ульрих фон Юнгинген и почти все члены военного руководства ордена, состоит в том, что была сломлена военная и политическая мощь тевтонцев, развеяны их планы господства в Восточной Европе. Тевтонский орден не смог больше оправиться от нанесённого ему поражения. Тщетно искал он помощи у папы и у вселенских соборов, которые в это время старались укрепить расшатанный авторитет католической церкви. Под объединёнными ударами Польши и восставших городов Тевтонский орден был вынужден признать себя побеждённым и отказаться от политической самостоятельности.
По Торунскому миру 1466 года Польша получила обратно поморские земли с Гданьском, Кульмскую землю и часть Пруссии. Остальные земли, оставшиеся за орденом, стали вассальными владениями Польши. Гроссмейстер тевтонцев обязался приносить присягу польскому королю и лишался права самостоятельно заключать союзы и объявлять войну.
В первой четверти XVI века в истории Тевтонского ордена развернулись интересные события. 2 апреля 1525 года гроссмейстер тевтонцев Альбрехт Гогенцоллерн въехал в Краков — столицу Польши в белом плаще «священного воинства», украшенном чёрным орденским крестом, а уже 8 апреля подписал с Польшей мир не как гроссмейстер Тевтонского ордена, а как герцог Пруссии, находившейся в вассальной зависимости от польского короля Сигизмунда. По этому договору все старые привилегии, которыми пользовались тевтонцы, утрачивались, однако все права и привилегии прусского дворянства оставались в силе. А ещё через день на старом рынке Кракова коленопреклонённый Альбрехт принёс присягу на верность королю польскому. Таким образом, 10 апреля 1525 года родилось новое государство.
Тевтонский орден был ликвидирован ради того, чтобы существовала Пруссия.
В 1834 году орден был восстановлен с несколько видоизменёнными задачами в Австрии (при гроссмейстере Антоне Викторе, который стал называться хохмейстером), а вскоре де-факто и в Германии, хотя официальные орденские власти утверждают, что в этой стране тевтонцы возобновили свою деятельность только после окончания второй мировой войны, ибо братья-рыцари преследовались при нацизме.