Будучи единственным ребёнком, Кроули находился в центре внимания семьи, а поскольку его родители из-за своих религиозных воззрений вели уединённую жизнь, мальчик рос во взрослой среде и общался со взрослыми гораздо чаще, чем с детьми. Его первую гувернантку звали мисс Эркель. Она ходила в чёрном, у неё были седые волосы, а на её «большом плоском лице клочками росла борода». Кроме того, как он вспоминал, ему приходилось противостоять воспитательным усилиям двух старых дев, плимутских сестёр Сьюзан и Эммы Купер, которых он позже нелестным образом сравнивал с перезревшей редиской и Черепахой Квази, как изобразил её Тенниел в своих иллюстрациях к «Алисе в стране чудес». Мать Кроули сказала ему, что женщины не имеют ног, поскольку в те времена все женщины носили длинные платья и показывать ноги считалось непристойным. Мальчик решил проверить это утверждение. Когда сестры в очередной раз пришли с визитом, он нырнул под стол, чтобы исследовать, что там у них внизу, и, вернувшись, заявил, что ни одна из них не является женщиной, поскольку обе имеют ноги. Став взрослым, Кроули часто приводил это происшествие как пример раннего проявления своего логически устроенного, пытливого ума, характерного для учёных. В другой раз, во время прогулки с отцом, ему тот показал на заросли крапивы и сказал, что она может «укусить». Кроули усомнился в словах отца, тогда он предложил сыну или поверить ему на слово, или убедиться на собственном опыте. Выбрав последнее, Кроули забрался в заросли крапивы и сильно обжёгся.
Ему не суждено было остаться единственным ребёнком, хотя утрата этого статуса была для него мимолётной. В феврале 1880 года его мать родила девочку, Грэйс Мэри Элизабет. Ребёнок прожил только пять часов.
Набожность была основой семейного уклада Кроули. День начинался с церемонии молитвы, на которой присутствовала и прислуга, после чего по очереди читали отрывки из Библии. В результате к четырём годам Кроули уже умел хорошо читать и успешно это делал, когда очередь доходила до него. Библия была единственной книгой, которую ему разрешали читать, и он был заворожён загадочными именами, которые в ней встречались, но признавался, что ни проза, ни поэтические тексты Библии не впечатляли его. Тем не менее он с любопытством относился к пророчествам и к описаниям из Откровения Иоанна Богослова. Нет надобности говорить, что благодаря своему чтению он получил твёрдые знания об Апокалипсисе, о пути спасения через учение Плимутского братства, о страшном зле, которое происходит от греха, об ужасе адовых мук и неизбежности смерти.
В 1881 году Эдвард Кроули продал дом в Лемингтоне, и вся семья переехала на Ферму, которая представляла собой солидный трёхэтажный дом с большим, заросшим деревьями садом, с видом на дорогу, соединяющую Редхилл и Мерстхэм в графстве Суррей. Это место будет их домом в течение пяти лет, оставшихся в памяти Кроули как время непрекращающегося счастья.
С того момента, когда семья поселилась на Ферме, начинается формальное образование Кроули. Вместо того чтобы послать сына в местную частную школу, где он мог бы получить «неправильное» религиозное воспитание, отец нанял ему частных учителей. Кузен Кроули по имени Грегор Грант, который был на шесть лет старше мальчика, нередко приходил в гости и стал его кумиром. Однако то, что ему было разрешено бывать в доме, — загадка, поскольку он был воспитан в пресвитерианских традициях и, несомненно, его убеждения не совпадали со взглядами Плимутского братства. Все остальные товарищи Кроули были детьми «плимутских братьев», и общение с ними казалось родителям Кроули безопасным. Тем не менее Алик, как Кроули звали в семье, вовсю наслаждался обычными мальчишескими проказами. Он и его друзья по Братству, лёжа среди деревьев на краю сада, подстерегали местных школьников и дразнили их, называя невежами и паля по ним из игрушечных духовых ружей. Однажды они напали на землекопа, который работал на другой стороне дороги, и побили его палками, вообразив, что это главный злодей в той игре, в которую они играли.
