Неудача, постигшая его в первом браке, не способствовала желанию П. М. Рябушинского вторично заводить семью. Тем временем его младший брат Василий решил жениться. Ему сосватали невесту из старинной старообрядческой семье петербургского хлебного торговца Степана Овсянникова. В 1870 г. Павел Михайлович поехал в столицу устраивать эту свадьбу. И тут случилось то, чего он уже и не ждал. Увидев будущую жену Василия, старший брат влюбился в нее с первого взгляда и, недолго думая, попросил у родителей благословения на брак. И поскольку юная Александра, не успевшая еще к тому времени даже окончить пансион, ответила взаимностью 50-летнему бизнесмену, родителям ничего не оставалось, как дать согласие. Тем же летом они обвенчались. Этот, на первый взгляд, «неравный» брак оказался по-настоящему счастливым. В нем родилось 16 детей, последний из которых появился на свет в 1893 г., когдаП. М. Рябушинскому было уже 72 года.
Уделяя много внимания воспитанию многочисленного потомства, Александра Степановна находила время и для влияния на торгово-промышленные дела мужа. Оно проявлялось в том, что со времени женитьбы Рябушинского установилась более прочная связь хозяев со служащими. Всякие шероховатости во взаимоотношениях, неизбежные во всяком живом деле, на которые Павел Михайлович по своему характеру реагировал очень горячо, Александра Степановна всегда умела смягчить, умиротворяя затронутое самолюбие.
Женитьба будто вдохнула новые силы в Рябушинского. Он с удвоенной энергией стал заниматься своими предприятиями, стремясь к укрупнению производства и сосредоточению его по возможности в одном районе. Ряд старых фабрик был ликвидирован, в том числе и Голутвинская, проданная купцам Истоминым. Зато была куплена новая фабрика в селе Заворово Вышневолоцкого уезда. Она была расположена очень удобно, в полуверсте от железнодорожной станции Николаевской дороги, на равном расстоянии от двух столиц — Петербурга и Москвы, в районе сплавной реки Цны. С концентрацией всего бизнеса на новом месте обороты торгово-промышленного дела Рябушинского чрезвычайно возросли. А сама мануфактура постепенно стала ведущей в стране и превратилась в некое подобие современного холдинга: здесь развивались бумагопрядильное, ткацкое, красильное, отбельное и аппретурное производство. Теперь фабрикант полностью контролировал весь производственный цикл: от пряжи нитей до создания ткани.
После внезапной смерти брата Павел Михайлович, унаследовавший половину его состояния, выделил остальных наследников Василия Михайловича и в 1887 г. преобразовал торговый дом в «Товарищество мануфактур П. М. Рябушинского с сыновьями». Основной капитал его — 2 млн рублей был разделен на 1 тыс. именных паев, из которых 787 паев принадлежали самому хозяину, 208 — его жене и 5 остальных — служащим фирмы. Выделение мануфактур в особое предприятие на паях сильно способствовало их развитию и увеличению. К этому времени на его предприятиях работало уже 1,2 тыс. человек. Кроме фабрик в Товарищество входило также «московское заведение» по торговле мануфактурными товарами, пряжей и ватой.
Среди постоянных забот о развитии руководимого им дела предприниматель не забывал и о благотворительности. В 1891 г. он открыл в своем Голутвинском доме обширную народную столовую. Спустя четыре года этот дом был пожертвован Александрой Степановной для учреждения «Убежища им. П. М. Рябушинского для вдов и сирот московского купеческого и мещанского сословий». На устройство и оборудование «убежища» были выделены значительные средства. Кроме того, по завещанию фабриканта было обеспечено особым капиталом бесплатное ежедневное питание в народной столовой трехсот человек.
В конце жизни Павел Михайлович, накопив значительные капиталы за счет фабричного производства текстильных изделий и торговли ими, обратился к новому для себя, но чрезвычайно увлекательному виду предпринимательской деятельности — банковскому делу. Он стал заниматься учетными операциями и производить покупку процентных бумаг. Позднее для его сыновей этот бизнес стал одним из основных и создал громкую славу и финансовое могущество Банкирскому дому братьев Рябушинских.