Между тем брак Людовика Бонапарта и Гортензии Богарне, не задавшийся с самого начала, фактически распался. Бывший голландский король предпочел удалиться в германские земли, подальше от подавлявшего его влияния старшего брата. Гортензия, покинув Голландию, обосновалась в Париже, где вскоре обрела женское счастье в обществе светского повесы, 25-летнего кавалерийского офицера графа Шарля де Флао де Ла Биллардери, приемного сына Талейрана. От этой связи 20 октября 1811 г. у нее родится мальчик, которому дадут имя Шарль-Огюст-Луи-Жозеф. В скором времени он будет усыновлен бездетным графом де Морни. Впоследствии младший Морни, как сводный брат Наполеона III, станет одним из создателей и столпов Второй империи, министром, герцогом и председателем Законодательного корпуса.
Надо признать, что увлеченная красавцем Флао Гортензия никогда не забывала о двух своих «законных» сыновьях. Она была образцовая мать и не жалела сил для того, чтобы дать им надлежащее воспитание. Страстная поклонница Наполеона, Гортензия и детям внушала чувства романтического преклонения перед их великим дядей. Наиболее сильное впечатление материнские наставления производили на младшего, Луи-Наполеона, буквально боготворившего императора.
Первые детские годы Луи-Наполеона были поистине безоблачными. Мальчик проводил время между императорской резиденцией Тюильри, где он жил с матерью и старшим братом, загородным поместьем Маль-мезон, куда его часто возили к бабушке, опальной императрице Жозефине, и курортом Экс-ле-Бен, где Гортензия любила отдыхать и проходить лечение на водах. Именно там она встретила графа де Флао.
Безмятежная жизнь закончилась 31 марта 1814 г. В этот день шестилетний Луи-Наполеон из окна Тюильри видит, как войска антифранцузской коалиции входят в Париж. Позднее он узнает, что русский император Александр I имел благородное намерение обеспечить интересы императрицы Жозефины, ее дочери и внуков. 16 апреля 1814 г. он навестил ее в Мальмезоне. Они довольно долго беседовали о чем-то наедине. Но 29 мая того же года Жозефина, простудившись, внезапно умерла, и намерения русского царя (если они у него действительно были?) остались нереализованными.
С возвращением в столицу Бурбонов и установлением режима Реставрации положение многочисленных представителей клана Бонапартов, окруженных откровенной враждебностью новых властей, становилось угрожающим. Гортензия вознамерилась любой ценой обеспечить безопасность и материальную будущность своих детей. Она ясно видела, что из всех вождей антинаполеоновской коалиции может рассчитывать лишь на благоволившего к ее матери Александра I. Ее надежды на царя оправдались. При его активном содействии Гортензия Богарне-Бонапарт получает от Людовика XVIII титул герцогини де Сен-Лё, пенсию и апанаж (удел) в размере 400 тыс. франков, предназначенный ее сыновьям.
Неожиданное возвращение Наполеона с о-ва Эльба и последовавшие за этим Сто дней, завершившиеся его разгромом при Ватерлоо и окончательным отречением, в корне изменили ситуацию. Во Франции развернулся Белый террор в отношении бонапартистов и активных участников революции. 1 января 1816 г. был принят закон об изгнании всех членов семейства Бонапарт из Франции. Гортензия покинула Париж еще в июле 1815 г., успев заблаговременно распродать свое имущество. Одним из покупателей ее коллекции старинной живописи на очень выгодных для Гортензии условиях стал все тот же русский царь.
В это время ее настиг второй удар. Людовик Бонапарт, давно добивавшийся передачи ему на воспитание обоих сыновей, сумел «отсудить» у жены старшего, Наполеона-Людовика, которого в октябре 1815 г. Гортензия вынуждена была отправить к отцу, в Богемию. Младший, Луи-Наполеон, остался с матерью, которая в 1817 г. на вырученные от распродажи имущества средства и доставшееся после смерти матери наследство приобрела небольшой, но красивый замок Арененберг на севере Швейцарии, на границе с Баварией. Свой замок Гортензия превратила в своеобразный музей, воссоздав в нем обстановку эпохи Империи. Здесь изгнанников посещали родственники, друзья и заезжие знаменитости, среди которых – Александр Дюма-отец, Жорж Саид, Шатобриан и др. В замке Арененберг Луи-Наполеону доведется провести долгие семнадцать лет.