Первым Рябушинским по документам числится родившийся в 1786 году экономический крестьянин Калужской губернии (Пафнутьево-Боровского монастыря слободы Ребушинской) Михаил Яковлев. 12-летним Миша был отдан в обучение «по торговому делу», а в 16 лет под фамилией Стекольщиков (отец его занимался стеклением окон) он записался в «московской третьей гильдии купцы», объявив при этом 1000 рублей капитала (деньги младшему брату ссудил Артемий Яковлев, уже несколько лет торговавший в Москве). Молодой купец занимался тем, что сам лично скупал по деревням у крестьян ткань, наносил на нее орнамент, делал ситец и продавал его в собственной лавке в Холщовом ряду Гостиного двора. Вскоре он довольно выгодно женился на дочери богатого московского кожевника Евфимии Скворцовой.
Удачному бизнесу помешала война 1812 года. Московский пожар тогда подкосил многих купцов. «По претерпленному мною от нашествия неприятельских войск в Москву разорению, процентных денег платить нахожу себя не в состоянии, почему покорнейше прошу по неимении мною купеческого капитала перечислить в здешнее мещанство» – бумагу такого содержания подал в купеческую гильдию Михаил в 1813 году. Пребывание в низшем городском сословии растянулось на долгие десять лет. Сначала молодой мещанин пытался наладить дела самостоятельно, но после нескольких безуспешных попыток решил вступить в «раскол». Тогдашние старообрядцы были не только религиозной, но и глубоко коммерческой организацией. Хорошо зарекомендовавшие себя члены свободно пользовались довольно крупными беспроцентными, а порой и безвозвратными кредитами у церкви. Кроме того, члены общины пользовались поддержкой известных купцов-старообрядцев. В 1820 году Михаил Яковлевич, взяв себе по отчизне фамилию Ребушинский (через «я» ее начнут писать с 1850-х годов), вступил в сообщество Рогожского кладбища – московскую твердыню старообрядчества «поповщинского толка». В том же 1820 году у него родился второй сын – Павел (первый, Иван, появился на два года раньше), которому суждено было стать продолжателем отцовского дела.
С принятием новой веры дела Михаила пошли на поправку, и в 1823 году он уже вернулся в третью гильдию. Спустя шесть лет он покупает у актера Малого театра Михаила Семеновича Щепкина дом на углу 1-го и 2-го Голутвинских переулков (№ 10/8), а в 1846 году строит тут же, в Голутвине, текстильную фабрику.
Михаил Яковлевич пользовался у староверов уважением – как «истинный ревнитель за веру». Узнав, что 10-летний сын Павел увлекся игрой на скрипке, он отобрал у плачущего мальчика «бесовскую игрушку» и самолично разрубил ее на части топором. С сыновьями он был, что называется, «строг, но справедлив». Когда старший сын Иван (всего сыновей было трое; последний, Василий, родился в 1826 году) вопреки воле отца женился на мещанке, отец сразу отлучил его от семьи, оставив без наследства и без дела. Павел отцу не перечил и в 1846 году женился на Анне Фоминой, внучке старообрядческого начетчика. От этого брака у Павла Михайловича родилось шесть дочерей; наследника Анна оставить мужу не смогла.
В 1848 году царь Николай I, стремясь покончить с «расколом», издал указ, по которому старообрядцев запрещалось принимать в купечество. Сыновьям Михаила Яковлевича грозила 25-летняя рекрутская служба в армии, от которой дети купцов были освобождены.
В те времена многие купцы, проявляя нетвердость в вере, отказывались от своих прежних принципов и переходили в ортодоксальное православие. Однако Михаил Рябушинский был не таков: невзирая ни на что, он продолжал-таки отстаивать свои убеждения. В результате сыну Павлу пришлось отправиться за 1400 верст в далекий, только что основанный город Ейск. Там, для скорейшего заселения города, старообрядцам была дана льгота – им разрешалось приписываться к местному купечеству. Истребовав в Ейске свидетельство для себя и для брата Василия, Павел Михайлович вскоре вернулся в Москву «ейским третьей гильдии купцом». Таковыми они с Василием и оставались вплоть до 1858 года, когда император Александр II отменил отцовский указ.