Свою карьеру Джон начал в 1857 г. с должности младшего бухгалтера нью-йоркской банковской конторы «Дункан, Шерман и К°», которая представляла в США лондонскую фирму «Джордж Пибоди». Вскоре многие почувствовали жесткую хватку и острый ум 22-летнего бизнесмена. Однажды случай свел его с капитаном судна, не знавшим как избавиться от груза кофе, который отказалась брать оптовая фирма. Морган рискнул, выкупил всю партию (по бросовой цене) и на следующий же день реализовал товар с большой прибылью.
В 1861 г. в Америке началась Гражданская война, но Джон и не думал бороться за независимость страны с оружием в руках. Откупившись от призыва 300-долларовой взяткой, молодой предприниматель стал «ковать победу» в тылу. Вместе с отцом он провернул бесчисленное количество выгодных операций, обнаружив при этом такой вкус к спекуляции, что Джуниусу иногда было просто не по себе. То, что к концу столетия сделало Джона самым известным представителем семьи Морганов, проявлялось уже тогда: он был холоден, расчетлив, безжалостен к конкурентам и компаньонам, к тому же склонен к чрезмерному риску. Капитал молодого Моргана рос в геометрической прогрессии, и никакие взывания к порядочности и «заботе о ближнем» уже не могли свернуть его с выбранного пути.
Сколотив во время войны на краткосрочных спекуляциях с товарами и акциями капитал в 50 тыс. долларов, Джон покинул «Дункана и Шермана» и основал собственную фирму «Дабни, Морган и К°». Он работал день и ночь, держал под личным контролем все сделки, а когда бизнес разросся настолько, что один человек уже не мог за всем уследить, заменил дюжину блокнотов на такое же количество помощников.
В 1870 г. на исключительно выгодных для себя условиях Морган кредитовал на 10 млн фунтов стерлингов Францию, которая в то время вела войну с Пруссией и остро нуждалась в наличности. Несмотря на то что Франция войну проиграла, эта операция не только принесла фирме хороший доход, но и помогла ей заработать репутацию «банка мирового уровня». Сам Джон, по словам современников, уже с тех пор стал представлять собой «могущественнейшую силу в американской деловой жизни» и статус этот весьма ценил. Российский премьер С. Ю. Витте в своих мемуарах вспоминал, как однажды встретил Моргана в Париже. Глядя на следы изуродовавшей нос и лицо банкира красной волчанки, Витте участливо предложил ему услуги знакомого хирурга, который делал удачные операции по удалению подобных опухолей. На это бизнесмен ответил: «Благодарю, граф. Но тогда я не смогу вернуться к себе в США. Таким, каков я есть, меня там знает каждая собака. Всякий сразу видит: вот он, Морган! А так меня просто никто не узнает. И мое дело может пострадать».
В 1871 г. он объединился с компанией Энтони Дрексела, известной и уважаемой брокерской фирмой, которая вскоре стала доминирующим источником финансирования правительства США. Через десяток лет бизнесмен решил действовать абсолютно независимо. К моменту образования собственной фирмы «Дж. П. Морган и К°», преобразованной впоследствии в банк, его зарплата составляла 500 тыс. долларов в год — астрономическую по тем временам сумму.
В течение 1880-х гг. Морган производил реорганизацию и финансирование железнодорожных систем Америки, и его влияние в этой ключевой области народного хозяйства неустанно возрастало. Во время кризиса 1893 г. владельцы частных железных дорог страны оказались на грани разорения, что вынудило их искать спасения у могущественного банкира. Когда же ситуация стабилизировалась, в руках Джона оказался контроль над десятком важнейших железных дорог, в том числе «Нью-Йорк сентрал», «Саузерн», «Чесаник энд Огайо», «Санта-Фе», «Род-Айленд» и др.
К концу XIX в. едва ли можно было найти такое важное предприятие, которое не испытывало бы на себе решающего влияния банка Моргана. В частности, он финансировал компанию «Федерал стил» и преобразовал ее в «Юнайтед Стейтс стил корпорейшн», мощность которой через пол столетия стала равна всей металлургической промышленности Англии и Франции вместе взятых. На сотнях заводов этой корпорации выпускалась самая разнообразная продукция — от стальных конструкций до сложного технического оборудования; от рельсов, кабелей, труб, проволоки и листовой стали до военных кораблей, грузовых и пассажирских судов и плавучих доков; от удобрений и предметов домашнего обихода до целых домов.