С тех пор Николай Иванович получил репутацию делового человека, хорошего организатора, способного в короткий срок наладить производство боеспособных военных кораблей. За их строительство он был удостоен награды — серебряного лаврового венка.
В 1857 г., оставив службу, коллежский советник Путилов занялся горнозаводской промышленностью. Он стал первым, кто организовывал в Финляндии производство железа из болотных руд. Построенные им в районе Сайминской водной системы три завода ежедневно выплавляли около 200 тыс. пудов железа и стали. Причем было признано, что изготовленные из этой стали котельные листы имеют более высокое качество, чем импортные английские. С тех пор предприниматель взял стимулом своей деятельности девиз: «Послужить России, заткнуть иностранца за пояс».
Освоив металлургическое производство, Николай Иванович занялся изготовлением продукции для военного ведомства. В 1863 г. основанный им совместно с талантливым инженером П. М. Обуховым сталелитейный завод приступил к выпуску бронебойных снарядов и орудий больших калибров. На нем изготавливались пушки, которые благодаря применению разработанного Обуховым способа производства высококачественной литой стали, выдерживали свыше 4 тыс. выстрелов. Эта продукция «.освободила русское правительство от зависимости от Круппа». Позже Путилов, уже по собственному способу, начал выпускать снаряды из быстро охлажденного чугуна.
К 1867 г. промышленник обзавелся маленьким металлургическим предприятием «Аркадия», которое служило ему базой для экспериментов с железнодорожными рельсами. Путилов решил сделать основание рельса из железа, а рабочую головку — из стали, что намного удешевляло продукцию и ускоряло производство. С этой своей идеей комбинированных рельсов Николай Иванович обратился в министерство путей сообщения. Он заявил чиновникам: «Дайте мне мало-мальски нормальный железоделательный завод в долг, и я завалю Россию русскими рельсами. Причем из русских материалов и конечно с использованием русской рабочей силы. Дешево, быстро и надежно».
До этого времени рельсы отечественного производства уступали по качеству иностранным. Поэтому, несмотря на тщательные испытания, специалисты министерства продолжали относиться с сомнением к продукции, продемонстрированной Путиловым. Но в январе 1868 г. Николаевская железная дорога оказалась под угрозой остановки: бельгийские и английские рельсы очень быстро износились, а новые должны были доставить в страну только с открытием навигации. Так предприниматель получил от правительства бывший Огаревский завод, а вместе с ним и заказ на срочное производство 2,8 млн пудов рельсов по цене 1,8 рублей за пуд.
Заметим, что этот, говоря словами Путилова, «мало-мальски нормальный завод» был основан в 1801 г. и введен в строй при участии большого знатока литейного дела, шотландца Чарлза Гаскойна. С тех пор предприятие неоднократно закрывали, передавали в частные руки, а затем вновь возвращали в казну. К моменту перехода его к Путилову завод находился в полном упадке — его немногочисленный штат производил лафеты для пушек, части мостов и детали для морских судов — так что нельзя не поразиться тому, что Путилову удалось пустить производство через 18 дней. И не просто «пустить», а начать катать рельсы: «Тысячи золотых рублей покатились из-под прокатных станов в карманы нового хозяина», — писал один из его биографов. Во многом это чрезвычайное событие стало возможным благодаря огромной энергии и организаторскому таланту бизнесмена, проводившего на заводе буквально дни и ночи.
В то время о Путилове говорили как о неутомимом человеке, знающем дело, но строгом и очень требовательном. Он мог простить запойный прогул хорошему рабочему, даже одеть его, если он пропился до нитки, но безжалостно рассчитать, если тот явно по халатности испортил инструмент или деталь. Он мог оказать рабочему помощь в любой разумной просьбе: помочь деньгами, если в деревне пала лошадь, или околела корова, или случился пожар у родни. Он поощрял семейные бригады и артели, куда входили люди из земляков, и никогда не отказывал в просьбе «пристроить свояка» или родича в бригаду.
