В 1377 году, в возрасте чуть больше тридцати, граф Робер неожиданно умер, не оставив наследника. По феодальным законам земли и замки Робера в Перше перешли его господину — королю Карлу V. Следуя традиции, король отдал Перш старшему брату Робера — графу Пьеру Алансонскому. А Жан и его отец едва ли не в одночасье стали вассалами нового господина, которому снова должны были присягнуть на верность, вверив ему свои жизни и судьбы.
Граф Пьер Алансонский, был одним из самых богатых, могущественных баронов Франции. Третий сын Карла Валуа, Пьер также приходился кузеном многим королям. В 1363 году, в двадцать с небольшим лет, Пьера отправили в Англию в качестве заложника вместе со многими другими представителями французской знати, чтобы гарантировать выкуп за короля Иоанна. Пьер пробыл в Англии чуть больше года и после смерти короля Иоанна вернулся во Францию. Будучи третьим сыном, Пьер изначально имел мало шансов унаследовать от отца графский титул. Но вскоре после возвращение из Англии, счастливое стечение обстоятельств вознесло его на самый верх, даровав огромное состояние и положение, поскольку два его старших брата выбрали церковное служение. Оба вскоре стали могущественными архиепископами, но им пришлось отказаться от унаследованных земель и титулов. В 1367 году, Пьер, которому не исполнилось еще и тридцати, стал графом Алансонским, хозяином огромных территорий. В 1371 году он удвоил свои владения, женившись на виконтессе Мари Шамайяр, от которой ему досталось еще пять феодальных имений. Со временем граф Пьер продолжил приобретать земли, получая огромную ежегодную ренту. Когда в 1377 году умер его брат Робер, Пьер получил все его владения в Перше, включая крепости Беллем и Эксм.
Огромное богатство графа Пьера Алансонского только разогревало его аппетит, и он продолжал покупать новые земли. Самым важным его приобретением стал Аржантан, укрепленный город на холме, примерно в тридцати километрах к северу от Алансона. Красивый город, выгодно расположенный стратегически, Аржантан был излюбленной резиденцией короля Анри II во времена, когда Нормандия находилась под контролем Англии. Граф Алансонский мечтал заполучить его, и в 1372 году он купил город, замок и окружавшие его земли за 6000 золотых ливров.
Пьер сразу же перестроил старый дворец в Аржантане и сделал его своей резиденцией, переведя сюда из Алансона весь свой двор. Дворец, величественное четырехэтажное здание с окнами в романском стиле и тремя квадратными башнями с остроугольными крышами, сохранился до сих пор.
В большой зале на втором этаже граф устраивал приемы. Здесь, восседая на украшенном инкрустациями троне на фоне висевших на стенах роскошных гобеленов, граф принимал посетителей, вел судебные заседания. В полдень в зале устанавливались длинные столы, и граф обедал в компании рыцарей, оруженосцев, духовенства и прочих гостей. По слухам, здесь же он развлекал своих любовниц, включая Жанну де Могастель, жену одного из своих вассалов, от которой у него был внебрачный сын. Граф Пьер не забывал и о супружеском долге: за четырнадцать лет брака его жена Мари родила ему восьмерых детей.
Это не означает, что граф Алансонский мог проводить все время, только лишь расширяя свои владения, наслаждаясь богатством и производя на свет наследников одного за другим, включая внебрачного сына. Граф Алансонский, как кузен короля и принц крови, был одним из самых доверенных вассалов французского короля в Нормандии. В его обязанности входило регулярно призывать на военную службу целую армию рыцарей, оруженосцев и солдат из своих обширных территорий. Граф сражался во многих королевских кампаниях, получил серьезное ранение при одной осаде и некоторое время служил королевским лейтенантом в Нижней Нормандии, провинции, которая лежит к западу от Сены.
Став вассалами графа Пьера Алансонского, Жан IV и его отец регулярно ездили в Аржантан к своему сюзерену для участия в судебных заседаниях или если их призывали на военную службу.
В свободное от придворных дел и военной службы время, Жан III в основном находился в Беллеме, где как капитан крепости отвечал за поддержание ее обороноспособности, осуществлял контроль за провиантом и гарнизоном, насчитывающим несколько десятков воинов. Поэтому рыцарь сделал Беллем своей главной резиденцией и проживал там вместе с женой Николь.
