В первые годы Реставрации положение Бурбонов не было прочным. Поэтому сразу после того, как Наполеон высадился со своими людьми на южном побережье и начались его «Сто дней», герцог Беррийский также стал участником этого конфликта. Правда военного опыта у него не было, хотя некоторые исследователи утверждают, что он принимал участие в битвах при Эммендингене (1795) и Шлингене (1796), поэтому Людовик XVIII принимает решение назначить его главнокомандующим парижского гарнизона и столичных войск. Несмотря на старания, даже с этой задачей герцог Беррийский справится не смог, а солдаты восторженно встречали возвращавшегося императора. После этой неудачи он переехал во фландрский Гент (ныне Бельгия), где и встретил окончание войны.
Брак с Эми Браун не признавали ни французские законы, ни королевская семья. Причин тому две – во-первых, англичанка была протестанткой, а, во-вторых, она происходила из низшего сословия. Все это делало Эми Браун лишь любовницей принца, как с точки зрения закона, так и по мнению семьи. Поскольку брак был морганатический, это автоматически лишало дочерей принца прав на французскую корону. Но, вероятно, это заботило королевского кутилу меньше, чем возможность обеспечить их будущее.
Обе дочери получили графские титулы – старшая Шарлотта стала графиней Иссудун, а младшая Луиза стала графией де Вьерзон. Их личная жизнь сложилась вполне удачно. Старшая дочь вышла замуж за принца Люсинского де Фосиньи Люсинга, а младшая стала женой барона де ла Контри. Но и это еще не все. Они не только удачно вышли замуж, но и оставили потомков, которые в будущем стали далеко не последними людьми во Франции. Прямым потомком Шарлотты является супруга бывшего президента Пятой Республики Анна-Аймон Жискар д'Эстен, а один из министров иностранных дел при Жаке Шираке был Эрве де Шаретт, являвшийся прямым потомком младшей дочери принца.
И все же поведение младшего сына не могло не беспокоить ни графа д'Артуа, ни Людовика XVIII. Французское правительство при активном участии ряда дипломатов начинает поиск достойных претенденток на роль супруги принца из европейских принцесс. Один из дипломатов – граф Блак (будущий герцог), находящийся в то время в качестве посла в Неаполе (Королевство Обеих Сицилий), вступает в переговоры с сицилийским двором. Он наиболее близок и Франции, и даже Испании, ведь в этом королевстве тоже правят прямые потомки французских королей. Здесь граф Блак находит в качестве претендентки на роль французской принцессы молодую Марию Каролину. Людовик XVIII и граф д'Артуа одобряют этот выбор. 17 июля 1816 года герцог Беррийский и неаполитанская принцесса становятся мужем и женой. Но, поскольку брак был вынужденным и, по сути, требовал от французского принца вступить на путь правильной размеренной семенной жизни с законной супругой, то он против этого активно протестовать.
За неполные четыре года брака с сицилийской принцессой он жил на несколько семей, от каждой из которых имел детей. В браке с Марией Каролиной родилась дочь Луиза Мария, но одновременно от французских любовниц он за эти же годы продолжил свой род, по меньшей мере, 6-ю детьми. Однако в отличие от детей от первого брака, которым он пытался обеспечить будущее за счет дарования титулов и привилегий, в отношении родившихся «бастардов» он так уже поступать не мог.
И супруга, и король, и общественность знали о похождениях принца. Не смотря на это, парижанам нравилась королевская пара. Трудно сказать, что принц активно занимался политическими делами. Однако, в качестве наследника трона он рассматривался. Его старший брат Луи Антуан к этому времени так и не обзавелся собственными детьми, поэтому он мог стать следующим наследником трона. В качестве одного из проектов по постепенному введению герцога Беррийского в политический свет Людовик XVIII даже подготовил проект назначения его Великим магистром старейшей французской масонской ложи – Великой Ложи Востока. Но даже это не удалось, а проект остался незавершенным. Политические взгляды принца были отличны от взглядов дяди и больше были близки к позициям отца. Герцог Беррийский считался роялистом и уж точно не сторонником французской конституции.
