Болезненный от природы Альберт укреплял свое здоровье физическими упражнениями и долгими прогулками. Во время одной из таких прогулок он в 17 лет познакомился с Маргарет Вебер, которая затем стала его женой и матерью его пяти детей.
Ухаживание за Маргарет не помешало занятиям Альберта. Он отлично успевал по всем предметам, особенно по математике. Однако отец Альберта настоял, чтобы он стал архитектором, подобно ему и его деду. А. Шпеер поступил в Институт технологии в Карлсруэ, а вскоре перешел в Институт технологии в Мюнхене, а затем – в такой же институт в Берлине.
Финансовые трудности во время бешеного роста цен и галопирующей инфляции в 1923–1924 гг. заставили родителей Шпеера продать часть своей собственности по дешевке. В то же время эти годы запомнились Шпееру велосипедными прогулками, которые он совершал вместе с Маргарет по Германии. Порой они отправлялись в горы, где жили в палатках. В своих мемуарах Шпеер даже не обратил внимание на «Пивной путч», который произошел в 1923 г. в Мюнхене. Ультраправые идеи, популярные в Германии в эти годы, не захватывали Шпеера. Он находился под влиянием идей О. Шпенглера, изложенные им в книге «Закат Европы». В 1925 г. он писал своей невесте: «Небольшая расовая примесь всегда полезна. И если сейчас мы идем вниз, то это не потому, что мы – смешанная раса. Мы были таковой уже в Средние века… Мы идем вниз, потому что мы истощили свою энергию. То же самое случилось в прошлом с египтянами, греками, римлянами. С этим ничего нельзя поделать».
Летом 1927 г. Шпеер получил диплом архитектора и стал ассистентом берлинского Института технологии. В своих мемуарах он писал: «Этот пост позволил мне жениться». Медовый месяц молодожены провели, катаясь на надувных лодках по озерам Мекленбурга. Во время турпохода Шпееры остановились у тюрьмы Шпандау, в которой Шпеер затем провел 20 лет.
В Институте технологии, в котором стал работать Шпеер, как и повсюду в Германии в эти годы, кипели политические страсти. Коммунисты посещали семинар, который вел профессор Плёциг. Нацисты предпочитали семинар под руководством профессора Тессенова. Хотя Тессенов не был нацистом, он проповедовал те установки, которые были близки сторонникам Гитлера. Он решительно отвергал «интернациональное» в архитектуре и превозносил «германские», «национальные» традиции. В 1931 г. профессор предрекал: «Кто-то должен придти, кто мыслит очень просто. Нынешнее мышление стало слишком сложным. Некультурный человек, крестьянин по своей сути, решит проблемы гораздо легче, потому что он будет неиспорченным. У него будет сила, чтобы осуществить простые идеи». Шпеер писал: «Для нас это было замечанием оракула, которое предвещало приход Гитлера».
В 1931 г. Шпеер посетил собрание, на котором выступал Гитлер. Фюрер нацистов выглядел не таким, каким его представлял Шпеер по плакатам и карикатурам. Он был одет в «хорошо сшитый синий костюм и выглядел очень респектабельным». Гитлер говорил спокойно. В этой аудитории он не стал произносить пламенную речь, а прочел лекцию.
Лекция Гитлера пришлась по вкусу Шпееру. Позже он вспоминал: «Тут была надежда. Тут были новые идеалы, новое понимание, новые задачи. Мне казалось, что мрачные прогнозы Шпенглера опровергнуты… Гитлер убеждал нас, что угрозу коммунизма, неумолимо нависавшую над нами, можно было остановить. Вместо безнадежной безработицы Германия двинется к экономическому восстановлению. Он упомянул еврейскую проблему, но лишь вскользь. Но эти замечания не смутили меня, хотя я не был антисемитом. У меня было немало еврейских друзей со дней школы и университета, как и у всех».
Через несколько дней Шпеер пошел на собрание в «Спортпалаце», на котором выступал Геббельс. Здесь царила другая атмосфера, а главный оратор вел себя по-иному. Шпеер вспоминал: «Много фразеологии, тщательно продуманная структура речи, точные формулировки; ревущая толпа, которую Геббельс взвинчивал до всё больших и больших проявлений энтузиазма и ненависти; настоящий ведьмин котел возбуждения, подобный которому я наблюдал лишь на финише велосипедных гонок. Я почувствовал отвращение. Позитивное воздействие, которое оказал на меня Гитлер, ослабло, хотя и не исчезло».
