Если Александру Иванову должно было быть не по себе в академии, то и в родительском доме не было полного благополучия. Отец Александра Андрей Иванович Иванов был человеком незнатного происхождения. Из Воспитательного дома он еще в раннем детстве был взят в академию и получил дворянство, дослужившись до соответствующего чина. При окончании академии Андрею Иванову была присуждена золотая медаль, но, рано женившись, он лишился права заграничной поездки и остался педагогом академии. В молодости своей Андрей Иванов в числе немногих русских художников входил в состав Вольного общества любителей словесности, наук и художеств, в котором высоко почитались традиции радищевского свободомыслия. В творчестве художника эти связи его проявились в картинах на темы из русской истории, в которых он в меру своего скромного художественного дарования пытался увековечить подвиги русских людей, придавая им сходство с героями античности. Однако нужда заставляла его переходить от писания патриотических холстов к церковным образам и казенным иконостасам. Вдумчивым отношением к своим педагогическим обязанностям и усердием по службе он дотянул до звания профессора.
С автопортрета Андрея Ивановича на нас смотрит приветливое лицо человека с густыми темными бровями, коротким, чуть вздернутым носом и пухлыми добрыми губами. Его открытое, добродушное лицо плохо гармонирует с тугим и высоким воротом шитого золотом академического мундира.
Поскольку жена его ограничивала круг своих интересов хозяйственными делами и здоровьем своих пятерых детей, воспитание Александра оказалось целиком в руках отца. В сыне своем он не чаял души, видимо надеясь увидеть в нем сбывшимися свои мечты художника, от которых он сам, обремененный семейными заботами, вынужден был отказаться. Впрочем, согласия и мира в семье Ивановых не существовало, особенно после неудачного замужества старшей сестры Александра Екатерины. Недаром Александр никогда не любил вспоминать о своем детстве и горько сетовал на судьбу, которая с ранних лет «вокормила его бедами». Во многом он готов был винить самого себя: юношей ему все казалось, что в детстве он много времени потерял напрасно и по причине лени и бездеятельности так и не стал вполне образованным человеком.
В этих упреках самому себе была значительная доля преувеличения. В старших классах академии Александр работал с исключительным трудолюбием. Он твердо усвоил мысль, что на природные дарования ему не приходится полагаться. Иное дело братья Брюлловы, особенно Карл, слава которого уже гремела по всей академии. Впрочем, дух соревнования твердо укоренился между учениками академии и искоренить его не было никакой возможности. Этот дух соревнования поощрялся самой системой отметок по рисунку, которые ставились в последовательном порядке, начиная с номера первого — лучшего. Это сказывалось и в раздаче медалей, которые сулили в будущем осуществление мечты каждого ученика — поездку в Италию на казенный счет. Упорным, сосредоточенным трудом Иванову в последние годы пребывания в академии удавалось несколько раз заслужить медали. Но в сознании его оставалось непоколебленным представление о совершенстве Карла Брюллова. Он называл его Геркулесом, с которым безрассудно вступать в единоборство.
Достигнув «старшего возраста», Александр Иванов был зачислен в мастерскую профессора Егорова, которого за его превосходное владение рисунком величали в то время «российским Рафаэлем». Работая много лет в стенах академии вместе с Андреем Ивановым, Егоров неизменно относился к нему недоброжелательно, порой даже враждебно. У Егорова, впрочем, было достаточно беспристрастия, чтобы не отрицать успехов младшего Иванова в его классных работах. Но однажды, когда тот представил «домашнюю программу» на тему блудного сына, старик взглянул на нее своими косыми рысьими глазами с явной недоброжелательностью. «Не сам», — отрывисто бросил он. Это подозрение не было ничем подкреплено, но его трудно было и опровергнуть.
В отличие от множества учеников Иванову в академические годы больше удавались его классные задания и академические программы, чем то, что он делал для себя, рисуя с натуры и по памяти. Сравнивая его альбомные зарисовки, вроде изображения родной семьи или юноши за мольбертом, с его классными работами, трудно признать в них руку одного и того же художника. В классных работах Иванов в рамках строгой академической дисциплины уже проявляет большие успехи. Домашние рисунки его робки по замыслу и по выполнению, как рисунки любителей; в них незаметно даже тех элементов мастерства, которыми ученик уже владел, работая в классе.