У нее было разбито сердце, она была измотана и опустошена. Пытаясь развеяться, Рита снова уезжает в Европу — сначала в Париж, а оттуда в Мадрид, где у нее был короткий роман с тореадором Луисом Мигелем Домингином — бывшим любовником Авы Гарднер. Подобные путешествия «по странам и постелям» в актерской среде всегда считались лучшим средством от всех проблем, но Рите оно не помогло. Она хотела любви, а не секса, счастья, а не разнообразия, спокойствия, а не острых ощущений. Рита Хейворт, предмет мечтаний миллионов мужчин, никак не могла встретить того единственного, который бы сделал ее счастливой. Ежедневно на ее имя приходили сотни писем с предложениями руки и сердца, а она всю жизнь чувствовала себя одинокой. «Все мои мужчины ложатся в постель с Джильдой, а просыпаются со мной», — грустно говорила она. Рита всю жизнь выбирала не тех мужчин — и всю жизнь не оставляла надежду на счастье.
Вернувшись в США, Рита Хейворт снова начала сниматься в кино. Гарри Кон был, пожалуй, единственным мужчиной в жизни Риты, который оставался ей верен в любых обстоятельствах. Рита была готова работать день и ночь, и Кон дал ей такую возможность. Она сыграла главные роли в нескольких фильмах, и хотя было заметно, что молодость Риты прошла — исчезла ее жизненная энергия, ее искрящаяся радость, — но она по-прежнему была красива, а играла она даже лучше, чем в свои лучшие годы. Ее новый образ — женщины с прошлым, женщины, у которой внутри больше, чем снаружи, — оценили знатоки и верные поклонники, но не пресса. После премьеры фильма «Мисс Сэди Томпсон», поставленного по мотивам «Дождя» Сомерсета Моэма, сам Моэм сказал: «Рита Хейворт — женщина, перед которой не сможет устоять ни один мужчина». Однако критики обращали на ее фильмы мало внимания — за последние годы Рита из кинозвезды превратилась в героиню скандальной хроники, и журналистам было интереснее копаться в ее жизни, чем ходить на ее фильмы.
В 1953 году Рита снова вышла замуж — за певца и актера Дика Хеймса. У него была плохая репутация — он беспробудно пил, растратил немалый капитал на кутежи и имел целый выводок детей. Рита была его пятой женой; он покорил ее напором и страстью — а удерживал побоями и алкоголем. Он пытался устроить свою давно рухнувшую карьеру за счет имени жены, но сломал карьеру ей. Когда Хеймс поссорился с руководством «Коламбии» (он требовал себе роль), его уволили, а затем начали против него судебный процесс по обвинению в уклонении от уплаты алиментов. Рита так переживала за мужа, что совсем забросила собственных детей: когда журналисты обнаружили их в доме няни Дороти Чемберс, они ужаснулись — Ребекка и Ясмин были грязными, голодными, неухоженными. После опубликованных фотографий иск вчинили уже Рите. Целый год она таскалась по судам, пытаясь вернуть себе детей, и добилась своего — но газетные публикации окончательно испортили ее имидж. К тому же Хеймсу по решению суда было запрещено появляться в Калифорнии — следовательно, и Рита, которая не хотела оставлять мужа, не могла появляться на голливудских студиях.
В 1954 году вместо «фильма с Хейворт» на MGM вышел фильм «о Хейворт» — «Босоногая графиня» режиссера Джозефа Манкевича. Главная героиня — испанская танцовщица Мария Варгас — была списана с Риты. Ей же предложили и сыграть — но из-за Хеймса Рита отказалась, и Марию сыграла Ава Гарднер.
Точку в четвертом браке Риты поставил сам Хеймс — однажды в холле отеля Coconut Grove он так врезал ей в глаз, что она отлетела к противоположной стене. Рита встала, поднялась в номер, собрала детей и уехала в Голливуд.
Она снова снималась — ведь это было единственное, что она умела делать. Правда, главных ролей ей уже не доверяли, но все же она снялась в нескольких очень хороших фильмах — «Приятель Джои», «Огонь внизу», «Отдельные столики». Во время съемок «Столиков» Рита сошлась с кинорежиссером Джимом Хиллом, который стал ее пятым мужем. Он пытался заново раскрутить Риту Хейворт — на этот раз как комедийную актрису, в ролях, которые критика определила как «поиграть в гольф, накрасить губы, выпить, пошутить и уйти». Но Рита уже устала от кино, она хотела просто семейной жизни — чего совершенно не хотел Хилл. Они ругались так, что у соседей дрожали стекла в окнах, беспробудно пили и снова дрались. В сентябре 1961 года они развелись. Больше Рита замуж не выходила. Журналу Times она признавалась: «Меня не удивляют неудавшиеся браки. Меня удивляют те, которые удались».