Правда, Александр остался в Москве, а двое других братьев прибыли в Петербург.
Им по высочайшему имущественному положению предписывалось иметь несколько домов, поэтому 6 января 1741 года они получили высочайший указ строить второй дом «на Васильевском острову в третьей… линии, подле двора князей Трубецких».
После смерти Петра стало понятно, что Васильевский остров не стал центром Петербурга, императорская резиденция обосновалась на Адмиралтейском острове, куда потянулись царедворцы и фавориты.
Столь отдалённое место на Васильевском Строгановых тоже никак не могло устроить и они приискали для себя «на погорелых местах по Невской першпективе на углу у реки Мьи» недостроенный каменный дом портного мастера Иоганна Неймана.
Предприимчивый портной имел на Невском два дома. Недостроенный дом, стоявший на месте нынешнего Строгановского дворца, он согласился продать.
15 сентября 1742 года документы на дом были оформлены на имя Сергея Строганова. В документе Сената приведены точные размеры дома, купленного у портного: «по Невской першпективе – 34 сажени, да в заворот по речке Мье – 10 сажен».
Дом Неймана, по всей видимости, был вариантом типового проекта домов, предназначенного для строительства по Невской першпективе.
Известно, что строился дом четыре года и к моменту его покупки он имел некоторые недоделки.
Сергей Строганов велел достроить его по «архитектуре» и содержать, как «указами велено».
Он стал единоличным его хозяином, хотя в сделках купли-продажи были обязаны участвовать все братья как единое юридическое лицо.
Чертежи и гравюры середины XVIII века донесли до нас облик первого Строгановского дома.
Он был высотой в два этажа, увенчанный высокой черепичной крышей. Фасады его были оштукатурены, а первый этаж был выделен рустовкой и украшен рельефными пилястрами и скромными наличниками окон.
От проезжей части Невского проспекта дом был изолирован забором с калиткой.
В марте 1753 года в доме с согласия С. Строганова поселился зодчий Франческо Растрелли, чтобы прямо здесь заняться проектированием нового дворца.
Это было необходимо, так как старый дом не соответствовал уже зарождавшейся новой моде в архитектуре. Тем более что совсем рядом через реку Мойку императрица Елизавета повелела возвести для себя деревянный Зимний временный дворец по проекту этого же модного тогда архитектора.
И ещё одно обстоятельство позволило ускорить процесс строительства: 1 ноября 1753 года в доме произошёл пожар.
Итак, здесь на Невском началась большая стройка.
Строительство дворца было подкреплено огромными доходами с уральских и сольвычегодских вотчин, а благодаря своему близкому расположению к императорскому двору были использованы также большие запасы строительных и отделочных материалов, рабочая сила, стянутая на строительство Зимнего императорского дворца. Здесь же использовались сотни собственных Строгановских крепостных, казённых строителей и мастеров-отделочников.
Днём и ночью в несколько смен при свете костров и тысяч сальных свечей трудились они под надзором опытнейших десятников Канцелярии от строений.
Работы велись с таким расчётом, чтобы использовать все фундаменты и стены старого здания.
Такой скорости строительства зданий в России ещё не было, ведь возвели дворец всего за полтора месяца с 1 ноября по 15 декабря 1753 года, создав 50 жилых и парадных помещений.
На втором этаже были сосредоточены самые роскошные и богато убранные залы, которыми гордились владельцы дворца, там же были покои и самих Строгановых, располагавшиеся окнами на Невский проспект ближе к Казанскому собору.
Во дворце позже вершились государственные дела, устраивались балы для всего Петербурга. В нём проходили торжества и свадьбы, в частности состоялась свадьба баронессы М. Н. Строгановой и родственника императрицы графа М. К. Скавронского.
Часто там бывала и сама императрица Елизавета Петровна.
30 сентября 1756 года во дворце умирает граф Сергей Григорьевич Строганов, уступив место владельца дворца своему сыну графу Александру, в будущем одному из самых знаменитых его владельцев, который приехал из-за границы только в 1757 году, через год после смерти своего отца.
