Но дед, Павел Дмитриевич Дягилев (1808–1883), был всё же более интересной и оригинальной личностью. Страстность и порывистость уживались в нем с почти монашеским аскетизмом, жизнелюбие на грани эпикурейства — с типично русским сибаритством. Недаром его непосредственный начальник граф П. Д. Киселев, возглавлявший Министерство государственных имуществ, называл своего подчиненного «фуфыркой». А спустя годы Павел Дмитриевич, уже будучи старым и немощным, любил рассказывать о своей жизни соседу, Николаю Семеновичу. Тот с удовольствием пил вкуснейший чай, а с еще большим — слушал и записывал услышанное в особую тетрадочку. А потом оказалось, что сосед — известный писатель Лесков, который и вывел П. Д. Дягилева под именем господина N в рассказе «Мелочи архиерейской жизни».
Один из внуков Павла Дмитриевича, кузен С. П. Дягилева Павел Григорьевич Корибут-Кубитович (в семье его любовно называли Пафка), считал деда человеком особенным. Сообщая, что старший Дягилев оставил службу в министерстве «из-за пустого разногласия», он подчеркивал: «…дед, как и внук его, Сергей Павлович, не мог по самой природе своей служить и подчиняться дисциплине».
Впрочем, Павел Дмитриевич в ту пору и не переживал вовсе о потерянном месте. Весельчак, прекрасный пианист, он гордился тем, что был учеником известного ирландского музыканта, профессора Джона Фильда. С оптимизмом смотреть в будущее помогала и счастливо сложившаяся семейная жизнь — в семье Дягилевых подрастало восемь детей. В 1850 году, выйдя в отставку, Павел Дмитриевич вместе с женой Анной Ивановной и многочисленными домочадцами поселился в родовом пермском имении Бикбарда. После смерти отца он получил большое состояние — «около пятнадцати тысяч десятин в Осинском уезде Пермской губернии и в смежном Бирском уезде Уфимской губернии, тоже с прекрасною усадьбою; в каждом имении было по большому винокуренному заводу». В самом центре Перми у Дягилевых был громадный дом, в котором насчитывалось 30 просторных комнат. К дому примыкал большой флигель, а также сад и обширный двор, который обрамляли конюшни, каретные сараи, ледники и прочие хозяйственные пристройки. Павел Дмитриевич жил то в этом доме, то в усадьбе — как душа желала. Нередко отправлялся он и в Санкт-Петербург. Ведь детям нужно было давать образование, вот и жили они по большей части в столице.
Причем жили на широкую ногу — в собственном трехэтажном доме с флигелями на Фурштатской улице. Хозяин справедливо слыл человеком широких взглядов и к крестьянам всегда относился доброжелательно. Он не хотел иметь дворовых крепостных, и вся прислуга была наемная. Когда начались знаменитые реформы императора Александра II, землевладельцы Пермской губернии выбрали Павла Дмитриевича депутатом в комитет по освобождению крестьян. С тех пор он всё чаще и дольше жил в столице вместе с постоянно увеличивавшейся семьей. Дела шли как нельзя лучше. При умелом управлении имениями и перестроенными и модернизированными винокуренными заводами Дягилев из очень состоятельного человека превратился в богача.
Но странное дело: именно тогда, на пороге пятидесятилетия, у Павла Дмитриевича произошел какой-то внутренний слом. Он всё меньше ценил богатство и земные блага, даже сблизился с монахами, что очень не нравилось его жене. Анна Ивановна то и дело обвиняла чернецов в перемене, произошедшей с ее мужем. Началом последовавшей драмы она считала эпизод, имевший место вскоре после свадьбы старшей дочери Анны (Ноночки), которая, по ее собственному признанию, вышла замуж за «одного из лучших людей на свете» — Владимира Дмитриевича Философова.
Неприятность случилась в Петергофе, на великолепной даче, снятой на все лето. Народу там собралось много: Дягилевы с девятью детьми, молодая чета Философовых, а также пятеро сирот, оставшихся на попечении Павла Дмитриевича после смерти старшей сестры Анны Ивановны. «Под крылом» гостеприимных хозяев жили и гости: двое сыновей графа Федора Петровича Литке — двоюродные братья матери семейства, одного возраста с ее детьми, так что скучать не приходилось. Численность этой компании увеличивали гувернеры, гувернантки и бонны.