Поначалу гаремы существовали отдельно от дворцов правителей. После взятия турками Константинополя в 1453 г., султан Мехмед II переустроил его на собственный вкус. Одна из главных достопримечательностей современного Стамбула – гигантский дворец (сераль) Топкапы был возведен в 1470-х годах. Со временем сюда перекочевал и султанский гарем, расцветший при Сулеймане Великолепном. Возможно, это произошло не без влияния знаменитой Роксоланы, речь о которой пойдет позже. Во всяком случае, это переселение принесло обитательницам гарема новый статус и большие возможности влиять на султана и дела в государстве.
Лучшая часть дворца отводилась для гарема. В остальных частях принимали гостей, устраивались дипломатические приемы, парады и прочие церемонии.
Современник оставил нам соответствующие разъяснения: «Сераль – значит дворец: это имя дается резиденции государя, а также и резиденциям губернаторов, управляющих провинциями от имени султана. Под словом сераль разумеется совокупность дворцовых построек, обитаемых как женщинами, так и мужчинами. Наиболее распространенная часть этих построек предоставляется женщинам и называется гаремом. В другой части сераля помещаются мужчины и совершаются парадные приемы; отсюда происходит слово селамбик, что значит место церемоний. Впрочем, слово селамбик во дворце заменено более громким, хотя и выражающим то же понятие, именем императорского мобейна.
Сераль, в котором обыкновенно живет султан, представляет громадное мраморное здание, раза в четыре превосходящее размерами петербургский Зимний дворец. Три четверти всей этой массы построек составляют гарем, тогда как мобейн, относительно говоря, является только пристройкой к прочему зданию.
Между мобейном и гаремом находится громадная зала, с особыми лестницами, подъездами и своей почетной дверью, назначенная для официальных приемов иностранных монархов, посланников, министров и пр.
Независимо от этого главного корпуса существует еще множество пристроек к сералю, обширных зданий, служащих конюшнями, кухнями, складами, казармами и пр. Все эти здания составляют как бы маленький город, тянущийся вдоль Босфора на протяжении приблизительно двух километров».
Гарем состоял из нескольких тысяч помещений различного назначения, из которых сохранилось лишь около трехсот, которые сегодня показывают туристам.
Гаремный комплекс многое перенял от устройства «женских домов» во дворцах византийских императоров, он постоянно расширялся и перестраивался, особенно после пожаров и землетрясений. А также обзаводился «филиалами» – виллами на Босфоре и в других чудесных уголках природы.