Первый биограф Лермонтова П. А. Висковатый предполагал, что встречи с людьми иного поколения дали Лермонтову пищу для сравнений и породили «Думу»[4]. Это предположение не лишено вероятия, но лишь до известной степени. Круг жизненных впечатлений и социально-исторических размышлений, отразившихся в «Думе», был шире. Проблема исторической судьбы поколений ставится уже в «Бородине», где рельефно обрисован контраст между «богатырями» 1812 года и «нынешним племенем». На Кавказе Лермонтов столкнулся с людьми разных социально-психологических формаций; галерея типов в «Герое нашего времени» уходит своими истоками сюда, в первую кавказскую ссылку. Он видел ссыльных декабристов, и сохранивших юношеский энтузиазм и социально-политические иллюзии, и испытавших разочарование. Наконец, он впервые близко соприкоснулся с народной жизнью, воочию увидев быт казачьих станиц, русских солдат, многочисленных народностей Кавказа. Результатом было, в частности, оживление фольклористических интересов: в 1837 году Лермонтов записывает народную сказку об Ашик-Керибе, стремясь при этом передать колорит восточной речи и самую систему понятий и мышления «турецкого» (то есть азербайджанского) сказителя. Эти же впечатления дали жизнь и балладе «Дары Терека», и «Казачьей колыбельной песне», где фольклор не стилизуется, но оказывается той культурной стихией, из которой вырастает народный характер. Все это неизбежно сказывалось на литературном и историческом мышлении Лермонтова в целом, и беспощадный самоанализ, рефлексия «Думы» — явление уже качественно иного порядка, нежели в ранней лирике: здесь Лермонтов едва ли не впервые поднимается над своим собственным рефлектирующим сознанием, оценивая его со стороны как порождение времени, исторически обусловленный и преходящий этап духовной жизни общества. В этом смысле «Дума» — уже прямой пролог к «Герою нашего времени», замысел которого зарождается во время первой кавказской ссылки.
Хлопоты бабушки и влиятельных знакомых сократили срок пребывания Лермонтова на Кавказе. Уже в январе 1838 года, «прощенный» и переведенный в лейб-гвардии Гродненский полк, Лермонтов возвращается в Петербург.
Три с половиной петербургских года — 1838–1840-й и часть 1841-го, — последние в биографии Лермонтова, были годами его литературной славы. Его сопровождала репутация поэтического наследника и защитника имени Пушкина, и, приехав в столицу, он сразу же попадает в пушкинский литературный круг. Уже «Бородино» печатается в «Современнике» — основанном Пушкиным литературном журнале; сразу же по прибытии Лермонтов наносит визит Жуковскому и передает для «Современника» новую поэму «Тамбовская казначейша». Он принят в семействе Карамзиных; он знакомится с Плетневым, Вяземским, Соллогубом, В. Ф. Одоевским — всеми, кто входил в число близких знакомых и литературных сотрудников Пушкина в его последние годы. Давний ценитель Пушкина, начинавший свой поэтический путь под его знаком, он теперь впервые попадает в атмосферу литературных проблем, исканий и полемик пушкинского кружка и становится свидетелем собирания и издания неизвестных ранее пушкинских сочинений. Нет ничего удивительного, что пушкинские начала вновь оживают в его творчестве; и в прозе, и в стихах его есть следы только что прочитанных посмертных пушкинских публикаций. Так, в «Штоссе» улавливаются вариации мотивов незаконченных повестей Пушкина из светской жизни; в «Тамаре» интерпретирована тема Клеопатры; имя Галуб в «Валерике» взято из первой публикации «Тазита». «Журналист, читатель и писатель» содержит отзвуки полемик Пушкина с «торговой словесностью».
Эта связь даже вредит Лермонтову в глазах пушкинских сотрудников: она заслоняет собой новаторский характер творчества. Мнение о прямой подражательности Лермонтова исходит от критиков из прежнего пушкинского лагеря. Между тем Лермонтов шел собственным путем.
В 1838 году в «Литературных прибавлениях к Русскому Инвалиду» печатается его «Песня про царя Ивана Васильевича…». Она была непосредственно связана с «Боярином Оршей», но ее идейная и художественная проблематика была подготовлена тем новым поворотом к фольклору, который произошел у Лермонтова в 1837–1838 годах. В отличие от «Орши» это — стилизация, сказ, ориентированный на фольклорные жанры, но не имитирующий ни один из них. Народное эпическое творчество здесь служит, как в «Бородине», созданию национального характера, причем характера исторического: Калашников, «невольник чести» XVI столетия, подобно Орше, движим законами древнерусской чести, традиции и обычая, и стихийная мощь его личности несет в себе больше общих, национальных, нежели индивидуальных черт. В фигуре его противника — Кирибеевича — мы уже едва узнаем традиционного байронического героя, однако эта связь несомненна: подобно Арсению из «Боярина Орши», он исповедует культ индивидуальной храбрости, удали и страсти, и с его образом связана лирическая струя поэмы. Калашников — победитель, отстоявший честь и «закон» перед лицом самого грозного царя, и эта его победа возвеличена преданием. Герой-антагонист выдвинулся на передний план. Это был кризис романтического индивидуализма — существеннейший момент в творческой эволюции Лермонтова.