Опекуном над малолетними наследниками и их имуществом был назначен владелец Смелы, муж племянницы Екатерины Николаевны Самойловой, граф Бобринский. Видимо, он уделял мало внимания Каменке, т. к., по словам моего деда, в дни его детства и юности, там полновластно распоряжались (21) управляющие, не только не соблюдавшие интересов владельцев, но форменным образом расхищавшие имение. Почему-то во время их владычества были разобраны до основания огромный каменский дом и флигель с колоннами в левой части парка, в котором, лежа на бильярде, любил писать Пушкин. До разорения главного дома на его террасах, где когда-то собиралось аристократическое общество, управляющие устраивали пиршества с соседями. Лилось остававшееся еще в погребах шампанское, которым поили даже лошадей, а хор крепостных пел малороссийские песни.
В результате такого управления каменское хозяйство пришло в полное расстройство и его молодым хозяевам грозило разорение. Их спасли испытанные ими в Петербурге неудачи. Окончив Школу Гвардейских Подпрапорщиков, старший из них, Петр, вышел офицером в Конную Гвардию, а младший, Николай, - в Преображенский полк. Однако, оба они недолго оставались на военной службе. Первому пришлось ее покинуть из-за недопустимых шалостей, а второму - из-за резкости, допущенной по отношению к нему наследником престола, будущим императором Александром II. Когда Николаю I было доложено, что корнет Конной Гвардии, Петр Давыдов, проскакал на паре с пристяжной по Невскому Проспекту от Адмиралтейства до Александро-Невской Лавры, а затем выехал верхом в лагере на переднюю линейку, в голом виде, он только рассмеялся и сказал: "Пусть поедет проведать отца в Сибири". Наказание было легким, потому что дед отправлялся в Красноярск совершенно свободно и мог вернуться оттуда, когда ему заблагорассудится. Да и для ссыльного отца было большой радостью увидеть сына. Так мягко поступил с сыном декабриста прославленный своей строгостью Николай I. Совершенно иначе обошелся с дядей Николаем наследник Александр Николаевич, впоследствии даровавший амнистию декабристам. На параде Преображенского Полка, который он принимал, он крикнул сделавшему какую-то ошибку дяде: "Подпоручик Давыдов, вы всегда и все врете", - после чего дяде не оставалось ничего другого, как подать в отставку.
Пробыв в Сибири не более года, мой дед вернулся женатым на дочери декабриста кн. С. П. Трубецкого, красавице (22) Елизавете, и поселился с ней в ее имении Саблы, в Крыму, а дядя Николай отправился в Каменку заниматься хозяйством. Это и спасло ее.
Найдя дела в Каменке в полном расстройстве, дядя Николай всецело отдался приведению их в порядок. Образ жизни, принятый им тогда и сохраненный им до конца жизни, был спартанский. О "веселом шуме семейной деревенской жизни" в Каменке теперь не могло быть и речи. От прежнего каменского богатства не оставалось и следа, да к тому же дядя был холост и жил один. Надо было думать не только о собственном питании, но и братьях и сестрах, живших в Петербурге, да и об отце и его семье в Сибири... Под руководством своего дяди гр. Бобринского, опытного сельского хозяина и пионера свекловичного сахароварения на Украине, дядя Николай сначала наладил в Каменке полеводство, а затем построил сахарный завод. Дела начали быстро поправляться, и через несколько лет братья могли не только содержать себя и отца, но и откладывать капитал для рожденных в Сибири сестер и братьев.
В 1855 году, похоронив в Красноярске мужа, вернулась с детьми прабабушка моя Александра Ивановна. Поселилась она в Киеве и лишь летние месяцы проводила в Каменке. Все же в последней опять началось некоторое оживление. Давыдовская семья соединилась, Александра Ивановна собрала вокруг себя своих детей как родившихся до ссылки их отца в Сибирь, так и после нее. К этому времени из ее 13-ти детей оставалось в живых одиннадцать.
Скоро дяде Николаю, главным интересом которого никогда не было сельское хозяйство, удалось осуществить то, что всегда его привлекало, т. е. занятие философскими, общественными и политическими вопросами. Заметив, что старший из рожденных в Сибири братьев, Лев, проявляет интерес и способности к хозяйству, он с согласия своего брата и совладельца по Каменке, моего деда Петра Васильевича, передал ему управление имением, а сам, пользуясь обширной библиотекой, сохранившейся в Каменке, предался своим любимым занятиям.