Женат Семен Александрович был дважды. От первой жены, Надежды Петровны, имел двух сыновей — Александра и Николая. От второй жены, Анны Ильиничны, у него были сыновья, Евгений (15 ноября 1862 г. — 17 апреля 1891 г.), и Дмитрий, умерший младенцем, а также дочь Евдокия.
Семен Александрович, единственный из братьев оставшийся в миру до конца своих дней, воспитавший «двух доблестных слуг Церкви и Отечества», был убежден в праведности старшего брата. Отправляя своих сыновей-студентов в 1862 г. в университет, указал им заехать к дяде в Бабайки. По свидетельству младшего из сыновей, Николая Семеновича, их свидание со Святителем Игнатием оставило на всю жизнь глубокое впечатление родственной сердечности, необычной простоты, духовной близости.
Старший из сыновей Семена Александровича, носивший имя деда, Александр Семенович Брянчанинов-младший (28 октября 1843 г. — 26 декабря 1910 г.), поступил в Петербургский университет, но с третьего курса выбыл и в 1864 г. поступил в Николаевское кавалерийское училище, в 1866 г. окончил его первым и записан на мраморную доску, и определен корнетом в Кавалергардский полк. В 1868 г. назначен полковым казначеем, причем не оставлял фронтовых занятий, и на состязании офицеров гвардейской и армейской кавалерии в высшей офицерской езде получил в 1869 г. первый, а в 1870 г. Императорский призы. В 1872 г. в чине ротмистра оставил военную службу и посвятил себя местной общественной деятельности. В 1879 г. он был избран почетным мировым судьей Грязовецкого мирового округа, а с 1880 г., в течение 8 лет, был Грязовецким уездным предводителем дворянства, и с 1882 г. — председателем съезда мировых судей. В 1888 г. он был назначен Самарским вице-губернатором. Полный неурожай хлебов в 1891 г., выяснившийся в Самарской губернии, и только отчасти, в июле месяце, в связи с более или менее значительным недородом хлебов на огромном пространстве средней полосы России; неподготовка местных сил для борьбы с таким стихийным бедствием; почти пустые хлебо-запасные магазины; отсутствие сведений о существовании запасов хлеба в пределах губернии у частных лиц; невозможность получения на местах, за недостаточной провозоспособностью железных дорог, хлеба, купленного распоряжением земства за пределами губернии; необходимость приведения в действие Высочайшего повеления, последовавшего 21 ноября 1891 г. и вызванного серьезностью положения, об изъятии в Самарской губернии из ведения земства продовольственного дела с передачей такового в распоряжение губернской администрации — вот условия, в которых находилась губерния, когда 19 декабря 1891 г. последовало Всемилостивейшее назначение А. С. Брянчанинова Самарским губернатором. С 1895 г. он состоял также председателем местного отделения Красного Креста и почетным попечителем школ церковноприходских и грамоты в Самарской епархии. Он неоднократно вызывался в Петербург для участия в разных серьезных комиссиях при Министерстве внутренних дел. 6 мая 1892 г. он получил за особые заслуги звание гофмейстера. С 1904 г. он член Государственного Совета, сенатор. Он также был почетным пожизненным членом Самарского попечительства детских приютов, членом Высочайше утвержденного Особого Комитета по усилению военного флота на добровольные пожертвования, членом главной дирекции Императорского русского музыкального общества, членом многих благотворительных учреждений и имел звание почетного гражданина городов Самары и Ставрополя Самарской губернии и почетного мирового судьи по Бугурусланскому уезду. Награжден многими орденами до ордена Александра Невского включительно.
Скончался он в Петербурге, где его отпевали в церкви Кавалергардского полка, после чего прах его был перевезен в Покровское и похоронен в семейном некрополе.
Сохранилось сорок девять писем Александра Семеновича Брянчанинова к сенатору Александру Дмитриевичу Свербееву, с которым он был в дружеских отношениях. Письма написаны в бытность Александра Семеновича Самарским вице-губернатором и губернатором. В них он рассказывает о своей основной заботе — чуме в Бузулукском районе, особенно среди татар, об усугублявшей бедственное положение засухе и росте цен на хлеб. Касается он и личных, семейных новостей. Например, в письме от 22 февраля 1890 г. он пишет: «В Москве, к великому нашему удивлению, встретили брата Алексея Петровича, который поехал в Бабайки к своему больному отцу. На Петра Александровича весьма повлияла неожиданная кончина архимандрита Иустина». Напряженная работа этих лет явилась причиной начала тяжелой болезни: «В половине июня, — пишет он 20 мая 1892 г., — хотел бы побывать в Петербурге. Но не знаю, будет ли возможность. Недавно я доработался до обморока, доктора не велят так много заниматься; по их совету ездил в Ставропольский уезд, чтобы немного освежиться». И еще через год, 17 мая 1893 г.: «Собираюсь в Москву посоветоваться с Захарьиным и, конечно, проеду в Питер. Повторяющиеся обмороки заставляют меня немножко подумать и о себе».
