Усадебный дом Мантусов был построен прадедом Александра Модестовича — Петром Михайловичем — возле старого дома, срубленного ещё первым Мантусом. Тот старый трёхчастный дом, более напоминающий крестьянскую избу, чем жилище помещика, простоял полтора века, от Адама до Александра Модестовича, и был крепок, сух и светел, и продолжал служить — являлся не только кровом для прислуги, но и пристанищем для «не очень благородных гостей» Александра Модестовича, в основном — приболевших крестьян, нуждающихся в продолжительном лечении, а также был прибежищем для случайных путников, попросившихся на ночлег. Часть хозяйственных построек — амбар, гумно, погреба — также вышли из-под топора неутомимого Адама; древесина их, казавшаяся снаружи сплошь изъеденной древоточцем, была, однако, крепкой, и от времени сделалась настолько твёрдой, что даже после сильного удара обухом топора на ней не оставалось сколько-нибудь заметной вмятины; другая часть — истопка, лямус и иное — представляла собой позднейшие постройки. Усадебный дом, возведённый Петром-строителем, был двухэтажный на каменном цоколе, деревянный, оштукатуренный, с деревянным же портиком на четыре колонны и двумя боковыми лестницами; колонны портика, сделанные из еловых брёвен и оштукатуренные, заканчивались капителями незамысловатой резьбы, на коих уже держался также еловый, но побелённый антаблемент; завершался портик треугольным фронтоном с гербом Мантусов, вылепленным из глины и окрашенным, — на голубом фоне красно-охряный трилистник, знак гармонии (по преданию, эти листочки клевера, плотно прилегающие друг к другу, изображали триединство символов: чистоты, милосердия и просвещения — просвещения, должно быть, в качестве пожелания тёмному Адаму в тёмные времена). Дом поставлен был на невысоком взгорке, и из открытой галереи и окон фасада открывался вид на отлогий спуск к реке Осоти; от торцов же здания двумя гигантскими крыльями простирался пейзажный парк — клёны, каштаны, липы, лиственницы, берёзы — живописными тенистыми аллеями, отдельными группами или одиночно стоящие посреди лужка, с укромными уголками, потайными беседками, романтическими видами и неожиданными перспективами.
Здание было под недорогой тесовой крышей, имело десятка три высоких окон и по десятку высоких же комнат на каждом этаже, расположенных анфиладой, — хоть и не очень удобно, но всё ещё модно. Внизу гостиная-диванная, столовая, библиотека, прихожая-лакейская, вверху комнаты для гостей, детская, спальни. Все они были проходными, за исключением будуара Елизаветы Алексеевны и кабинета Модеста Антоновича в первом этаже и покоев гувернёра и бельевой — во втором. Меблированы комнаты были небогато, большей частью гарнитурами старыми, громоздкими, тяжеловесными, поставленными на своё место десятилетия назад и уж более не передвигаемыми, — здесь воздымались и шкафы немецкого барокко, и кресла, более напоминающие громы, и резные комоды, широко расположились по углам данцигские и холмогорские сундуки. Кое-где попадалась мебель более позднего времени — изящные диваны, лёгкие креслица, банкетки, столики в стиле австрийского классицизма. Часть мебели — ступы, скамьи, табуреты — была явно сработана руками крестьян. Украшение дома — книги, о которых уже говорилось, стояли не только в библиотеке; также повсюду — портреты и пейзажи в скромных рамах грушевого дерева, коллекции насекомых, чучел птиц и животных — коллекции систематизированные, с надписями на учёной латыни, с редкими, а то и экзотическими экземплярами. Старая изразцовая печь здесь запросто соседствовала и уживалась с хрупкой едва ли не прозрачной фарфоровой вазой, таз и кувшин для умывания — с курительной трубкой, турецкая феска и сабля мамелюка — с тульскими пистолетами, а в расписной колыбели могло храниться охотничье ружьё... Всё это обилие предметов разного назначения, разных культур, собранное в доме Мантусов, не было признаком преуспевания или сверхумелого и очень доходного хозяйствования, а было скорее признаком бережливости, умеренного и нерасточительного образа жизни, признаком уважения к старине, к традиции, признаком уважения к самим предметам, к труду. Словом, Мантусы принадлежали к тому типу людей, кто не искал богатства в обладании, кто не возводил роскошь в божество, кто не стремился к единству стиля и во всём и любой ценой и не мечтал прослыть эстетом, кто склонен был увидеть прекрасное в простом, к го не горел желанием блеснуть перед себе подобным истицей, на поверку сущей безделицей, либо нарядом, либо дорогим экипажем. Они устроили свой быт удобно для себя и тем довольствовались.