Семья Гиляровских жила очень дружно и скромно. Отец и дед были завзятые рыбаки и первые медвежатники на всю округу, крепко дружили с крестьянами и пользовались всеобщим уважением. «3а все время управления дедом глухим лесным имением, где даже барского дома не было, никто не был телесно наказан, — с гордостью пишет Гиляровский, — никто не был обижен, хотя кругом свистали розги, и управляющими, особенно из немцев, без очереди сдавались люди в солдаты, а то и в Сибирь ссылались… Дед был полным властелином и, воспитанный волей казачьей, не признавал крепостного права: жили показачьи, запросто и без чинов».
В 1860 году Алексей Иванович получил место чиновника в губернском правлении, вся семья переехала в Вологду и поселилась за рекой, на Калашной улице. На лето отправлялись в небольшое имение Светелки, стоявшее на берегу Тошни, в тех же глухих и непроходимых домшинских лесах. Гиляровскому минуло восемь лет, когда умерла его мать, и мальчик еще больше привязался к беглому матросу Китаеву, целыми днями пропадая с ним на охоте.
Вскоре умер дед, отец женился на Марии Ильинишне Разнатовской, и мальчик перестал бывать в родных домшинских лесах, а гостил под Вологдой, в Несвойском, и в Деревеньке, небольшой усадьбе родовитых, но уже разоряющихся дворян Разнатовских. Даже здесь не расставался он со своим воспитателем Китаевым. «Моя мачеха, — вспоминает Гиляровский, — добрая, воспитанная и ласковая, полюбила меня действительно как сына и занялась моим воспитанием, отучая меня от дикости первобытных привычек. С первых же дней посадила меня за французский учебник, кормя в это время конфетами. Я скоро осилил эту премудрость…, но „светские“ манеры после моего „гувернера“ Китаева долго мне не давались, хотя я уже говорил пофранцузски. Особенно это почувствовалось в то время, когда отец с матерью уехали года на два в город Никольск на новую службу по судебному ведомству, а я переселился в семью Разнатовских. Вот тутто мне досталось от двух сестер матери, институток: и сел не так, и встал не так, и ешь, как мужик! Допекали меня милые тетеньки».
В августе 1865 года Гиляровский поступил в первый класс вологодской гимназии «и в первом же классе остался на второй год».
В гимназии царили те же грубые и жестокие нравы, что и в годы обучения здесь П. В. Засодимского— в ходу были линейки, подзатыльники, карцеры, применялись «по традиции» и розги. Гимназистов учили «чемунибудь и какнибудь», поэтому у Гиляровского о том, что он учил, и о тех, кто учил, «осталось в памяти мало хорошего». Во главе гимназии стоял брат известного поэта Василия Красова, Иван Иванович Красов, человек вялый и сонный, и в его времена гимназия страдала от засилия чопорных и важных иностранцев. Учитель французского языка Ранси был чрезвычайно бездарен: на родине он был парикмахером и вряд ли знал хорошо даже свой язык. Немец Робст, по словам Гиляровского, «производил впечатление самого тупоголового колбасника». Гимназисты, зная, что он совершенно не понимает порусски, читали ему вместо утренней молитвы — «Чижик, чижик, где ты был», за что впоследствии многие из них, в том числе и Гиляровский, не миновали карцера.
В гимназические годы Гиляровский начал писать стихи. Первыми его опытами были злые эпиграммы, «пакости на наставников», за которые обиженные учителя тайно и зло мстили юному «стихоковыряле». «Но кроме „пакостей на наставников“, — вспоминает Гиляровский, — я писал и лирику, и переводил стихи с французского, что очень одобрял учитель русского языка Прохницкий».
В Вологде Гиляровский впервые попал в театр, впервые приобщился к цирку. Тогдашние знаменитости провинциальной сцены произвели на него большое впечатление и «заставили полюбить театр». Както осенью на городской площади за несколько дней выросло круглое, высокое здание с загадочной манящей рекламой «Цирк арабакабила Гуссейн БенГамо». Юноша немедленно проник туда и в два года постиг «тайны циркового искусства», «стал недурным акробатом и наездником».
Вологда в то время была, по словам Гиляровского, полна политических ссыльных, которых местные обыватели называли одним словом — «нигилисты». Здесь были революционные демократы, народники, ссыльные по делу Чернышевского и по делу «Молодой России», жили здесь Н. В. Шелгунов и П. Л. Лавров, были и участники польского восстания 1863 года. На улице то и дело можно было встретить «нигилиста» в широкополой шляпе, в небрежно накинутом на плечи пледе или народника в красной рубахе, в поддевке и простых сапогах.
