Но еще большее значение имел Смоленск как ключевая крепость на западной границе Российского государства. Кто владел Смоленском, тот был здесь хозяином положения. Когда в Боярской Думе обсуждался вопрос о строительстве новой смоленской крепости, высказывались разные мнения: одни бояре настаивали на сооружении неприступной твердыни, другие выражали опасения, что в случае захвата ее Польшей и Литвой последствия для России будут самыми тяжелыми. Эти разногласия высветились в споре Бориса Годунова, фактического правителя государства, с боярином князем Трубецким. Борис Годунов образно назвал Смоленск «ожерельем земли Русской», но князь Трубецкой возразил: «А как в том ожерелье заведутся вши, и их будет и не выжить?»
Частицы правды были и в том, и в другом мнении. Во время польско-шведской интервенции начала XVII века Смоленск сыграл выдающуюся роль, надолго задержав прямое наступление короля Сигизмунда III на Москву, а затем, попав в руки поляков, потребовал огромных и многолетних военных усилий от России, чтобы вернуть себе «ожерелье»…
Строительство смоленской каменной крепости началось в 1586 году, но велось медленно — внимание правительства отвлекла война со Швецией. И только в 1595 году после заключения мира было решено приступить к интенсивному строительству. По существу, это была вторичная закладка крепости, Как сообщает Новый летописец, «царь же Федор Иванович, помысли Смоленский поставити град каменный, посла шурина своего Бориса Федоровича Годунова и повеле места осмотрети и град заложить». Борис Годунов «прииде во град Смоленск и объеха место, како быти граду, и повеле заложити град каменный».
То, что в Смоленск поехал Борис Годунов, фактический правитель государства, само по себе свидетельствует, какое значение уделило московское правительство созданию новой крепости.
Сохранилось «Подлинное дело о строении города Смоленска», согласно которому 5 декабря 1595 года князю В. А. Звенигородскому, С. В. Безобразову, дьякам П. Шипилову и Н. Перфирьеву и городовому мастеру Ф. С. Коню было приказано «делать государеву отчину город Смоленск каменный». Фактическое же строительство каменной смоленской крепости началось в 1596 году и закончилось в 1602 году.
Сын тверского плотника, городовой мастер Федор Савельевич Конь был выдающимся военным инженером своего времени, превосходно знавшим западноевропейскую фортификацию (он побывал за границей). До этого Федор Конь руководил постройкой Белого города в Москве.
Даже в наши дни объем строительных работ кажется огромным — общая протяженность стены смоленской крепости достигала шести с половиной километров (длиннее была только обводная стена столицы Византии — города Константинополя!) и включала тридцать восемь башен. По подсчетам историков, для постройки потребовалось триста двадцать тысяч свай, тридцать две тысячи кубических сажен бутового камня, шестьсот двадцать тысяч больших белых облицовочных камней, сто пятьдесят миллионов штук кирпича, триста двадцать тысяч бочек извести, миллион возов песку, триста двадцать тысяч пудов полосового железа, пятнадцать тысяч пудов прутового железа, миллион гвоздей, пять тысяч бревен шестисаженных, тридцать семь тысяч бревен четырехсаженных, сто тысяч бревен трехсаженных, пятьсот тысяч досок и множество других материалов. Более пятнадцати тысяч человек было постоянно занято на строительных работах и подвозке материалов в течение шести лет. Это была поистине общегосударственная стройка. Летописец отмечал: «Град же Смоленск совершен был при царе Борисе, а делаше его всеми городами Московского государства. Камень возили изо всех городов…»
Мощные стены могли противостоять ядрам любых осадных пушек: мелкие ядра просто отскакивали от стен, а крупные лишь наполовину «влипали», оставаясь памятными знаками ратной доблести смолян. Смоленск выдержал пять больших осад, но ни разу стены не были пробиты неприятелем. Высота стен достигала в различных местах от тринадцати до девятнадцати метров, ширина — пяти-шести метров (фундамент — шести с половиной метров). Фундамент был углублен на три-четыре метра, что усложняло подземные минные работы против крепости. Башни имели приблизительно двадцать один метр в высоту, а Фроловская проездная башня у Днепра — даже тридцать три метра.