Женат Семен Андреевич Брянчанинов был на дочери коллежского асессора (впоследствии действительного статского советника) Дмитрия Ивановича Волоцкого, Павле Дмитриевне. У них было два сына — старший Александр, проживший долгую жизнь, и младший — Николай, родившийся 17 июля 1788 г. и не доживший до зрелого возраста.
Семен Андреевич был человеком широкообразованным. Об этом свидетельствует собранная им библиотека, часть книг из которой (с владельческими записями и оттисками печати СБ) находится в Вологодской областной библиотеке. В их числе: «Кандид, или Оптимисм» Вольтера, список трактата Фонтенеля «Разговоры о множестве миров» в переводе Кантемира, ряд драматических сочинений: «Комедии из театра» Мольера, трагедия «Синав и Трувор» Сумарокова и др., а также комическая опера Гретри по пьесе Фенцило де Фальбера «Двое скупых». Наличие именно этих книг в библиотеке Семена Андреевича не случайно: сохранились сведения об его серьезном увлечении театром и о том, что именно он являлся содержателем «вольного театра» в Вологде, спектакли в котором смотрели и городские обыватели и приезжающие на них помещики. При этом, Семен Андреевич, по-видимому, был не только «содержателем» театра, но и постановщиком спектаклей. Об этом можно судить по надписи, сделанной им на трагедии Сумарокова: «В роли Гостомысловой — 304 строки, в роли Ильмениной — 431 строка».
Увлечение театром, однако, стоило дорого, к концу жизни он разорился и оставил своим наследникам одни долги.
Последний раз имя Семена Андреевича Брянчанинова в архивных документах встречается в 1798 г., когда он был воспреемником пятого родного правнучатого племянника, Александра Петровича Брянчанинова. Павла Дмитриевна пережила мужа и присутствовала при рождении внучат.
Сын Семена Андреевича, Александр Семенович Брянчанинов (7 мая 1784 г. — 19 апреля 1875 г.), своим современникам запомнился, прежде всего тем, что он был пажом при Павле Петровиче: «В 1797 г. по именному указу определен в Императорский Пажеский корпус пажом». Пажеский корпус был привилегированным учебным заведением, в котором дети из знатных семей воспитывались вместе с детьми императорской фамилии. Аристократический налет, который Александр Семенович приобрел в Пажеском корпусе, был его отличительной чертой на протяжении всей жизни.
Из Пажеского корпуса он был «выпущен в Александрийский гусарский полк корнетом в 1802 г. 10 августа; уволен от полевой службы по статским делам 1 октября 1803 г. в Вологодскую милицию в Избранный полк, где по окончании получил Золотую медаль». В последующие годы служил в губернии. Затем «с 1812 по 1814 находился при сенаторе Хитрове в разных поручениях по Вологодской и Вятской губерниям; в 1814–1818 — предводителем дворянства Грязовецкого уезда, награжден орденом Св. Анны 3 ст. Уволен со всех служб в 1825 году». В 1826 г. исправлял должность Вологодского губернского предводителя дворянства.
Александр Семенович принадлежал к кругу высокообразованных людей своего времени, с широкими взглядами; по некоторым сведениям, он был масон, во всяком случае, он был близок О. А. Поздееву; его библиотека была одна из лучших в губернии. Современники называли его любителем просвещения. Понимая необходимость образования не только для дворянства, но и для крестьян, он первым в губернии открыл (19 мая 1814 г.) и содержал на протяжении всей жизни приходское двухклассное училище, где обучалось до 50 человек крестьянских детей. Унаследовав от отца поместье, обремененное долгами, он вынужден был выйти в отставку, чтобы заняться хозяйством. Он поселился в родовой вотчине — селе Покровском, которое было пожаловано Брянчаниновым еще в 1617 г. за Смоленское сидение и изгнание ляхов. «Воля его и вкус создали (из Покровского) маленький Версаль». Действительно, эта усадьба еще и сегодня, несмотря на все потери, поражает красотой старинного каменного дома в стиле раннего классицизма и парка с липовыми аллеями.
Он пережил почти всех своих детей. По воспоминаниям его внучки А. Н. Купреяновой1240, он «берег себя… Я знала деда в глубокой старости, но старости красивой и доброй: бывшая суровость его исчезла. В его ясных глазах светилась снисходительность, купленная ценою жизненного опыта. О наружности своей он заботился. Какое благородное спокойствие было в его лице, с тонкими чертами, в манере — важной, приветливой и старомодной! Как хороша была его изящная голова с густыми, серебристыми волосами, его прямой стан и неторопливая, милая, снисходительная речь!..»
