В. О. Ключевский писал: «От природы он получил ум бойкий и гибкий, вдумчивый и немного насмешливый, настоящий великорусский, московский ум. Но обстоятельства, среди которых протекало детство Ивана, рано испортили этот ум, дали ему неестественное болезненное развитие. Иван рано осиротел. Он с детства видел себя среди чужих людей. В душу его рано и глубоко врезалось и на всю жизнь сохранилось чувство сиротства, брошенности, одиночества, о чем он твердил при всяком случае: „Родственники мои не заботились обо мне“. Отсюда его робость, ставшая основной чертой его характера. Как все люди, выросшие среди чужих, без отцовского призора и материнского привета, Иван рано усвоил себе привычку ходить оглядываясь и прислушиваясь. Это развило в нем подозрительность, которая с летами превратилась в глубокое недоверие к людям. В детстве ему часто приходилось испытывать равнодушие и пренебрежение со стороны окружающих. Он сам вспоминал после в письме к князю Курбскому, как его с младшим братом Юрием в детстве стесняли во всем».
А вот как описывал свое детство сам Иван в письме к Андрею Курбскому: «Остались мы с почившим в бозе братом Георгием круглыми сиротами – никто нам не помогал; оставалась нам надежда только на Бога, и на Пречистую Богородицу, и на всех святых молитвы, и на благословение родителей наших. Было мне в это время восемь лет; и так подданные наши достигли осуществления своих желаний – получили царство без правителя, об нас же, государях своих, никакой заботы сердечной не проявили, сами же ринулись к богатству и славе и перессорились при этом друг с другом. И чего только они не натворили! Сколько бояр наших, и доброжелателей нашего отца, и воевод перебили! Дворы, и села, и имущества наших дядей взяли себе и водворились в них. И сокровища матери перенесли в Большую казну, при этом неистово пиная ногами и тыча в них палками, а остальное разделили.
Тем временем князья Василий и Иван Шуйские самовольно навязались мне в опекуны и таким образом воцарились; тех же, кто более всех изменял отцу нашему и матери нашей, выпустили из заточения и приблизили к себе. А князь Василий Шуйский поселился на дворе нашего дяди, князя Андрея Старицкого, и на этом дворе его люди, собравшись, подобно иудейскому сонмищу, схватили Федора Мишурина, ближнего дьяка при отце нашем и при нас, и, опозорив его, убили; и князя Ивана Федоровича Вельского и многих других заточили в разные места; и на церковь руку подняли: свергнув с престола митрополита Даниила, послали его в заточение; и так осуществили все свои замыслы и сами стали царствовать. Нас же с единородным братом моим, в бозе почившим Георгием, начали воспитывать как чужеземцев или последних бедняков.
Тогда натерпелись мы лишений и в одежде и в пище. Ни в чем нам воли не было, но все делали не по своей воле и не так, как обычно поступают дети. Припомню одно: бывало, мы играем в детские игры, а князь Иван Васильевич Шуйский сидит на лавке, опершись локтем о постель нашего отца и положив ногу на стул, а на нас и не взглянет – ни как родитель, ни как опекун, и уж совсем ни как раб на господ.
Кто же может перенести такую гордыню? Как исчислить подобные бессчетные страдания, перенесенные мною в юности? Сколько раз мне и поесть не давали вовремя. Что же сказать о доставшейся мне родительской казне? Все расхитили коварным образом: говорили, будто детям боярским на жалованье, а взяли себе, а их жаловали не за дело, назначали не по достоинству; а бесчисленную казну деда нашего и отца нашего забрали себе и на деньги те наковали для себя золотые и серебряные сосуды и начертали на них имена своих родителей, будто это их наследственное достояние…»
Ключевский, прочитавший это письмо, замечал: «Горечь, с какою Иван вспоминал об этом 25 лет спустя, дает почувствовать, как часто и сильно его сердили в детстве. Но в обстановке, в какой шло его детство, он не всегда мог тотчас и прямо обнаружить чувство досады или злости, сорвать сердце. Эта необходимость сдерживаться, дуться в рукав, глотать слезы питала в нем раздражительность и затаенное, молчаливое озлобление против людей, злость со стиснутыми зубами. К тому же он был испуган в детстве. В 1542 г., когда правила партия князей Вельских, сторонники князя И. Шуйского ночью врасплох напали на стоявшего за их противников митрополита Иоасафа. Владыка скрылся во дворце великого князя. Мятежники разбили окна у митрополита, бросились за ним во дворец и на рассвете вломились с шумом в спальню маленького государя, разбудили и напугали его.