В 1725 г. открылась Императорская академия наук, и в ее состав, по мысли Петра, должна была входить астрономическая обсерватория. Французский астроном Ж. Н. Делиль стал ее первым директором и, по сути, основателем, поскольку, хотя обсерватория и числилась, ее не существовало. По ведомству обсерватории проходил один из первых в мире планетариев: это был огромных размеров глобус, расписанный по внешней стороне картой земли, а по внутренней — картой неба. Внутрь этого чудо-аппарата могло зайти 12 человек; с помощью механизма шар вращался, и наблюдатели могли воочию увидеть движение звезд и планет на небосклоне. В 1747 г. обсерватория сильно пострадала от пожара (первоначально она располагалась в деревянной башенке над Кунсткамерой), и Делиль уехал, так как не смог дождаться работ по восстановлению своего детища. С 50-х гг. XVIII в. частные обсерватории в Петербурге множились, как грибы: первой стала домашняя обсерватория академика А.Н. Гришова, сменившего Делиля на посту директора обсерватории при АН, на Васильевском острове; затем — площадка для астрономических наблюдений М. Ломоносова на Мойке и т. д.
Владимир Орлов пригласил из Германии доктора Л. Крафта, который должен был работать в академической обсерватории, но поскольку та со времен пожара так и не вступила еще в действие, Крафт также построил домашнюю обсерваторию на свои деньги, на чердаке дома, где жил. Словом, директором АН было положено много сил, чтобы в России ученые смогли наблюдать любопытное зрелище прохождения Венеры со всеми удобствами. Но, слава Богу, они дали хорошие результаты, и сам В. Орлов участвовал в публикации и обработке материалов наблюдения. Тем более что все трудности, с которыми сталкивался он и прочие любители астрономии в России, не шли ни в какое сравнение с историей академика Г. Лежантиля, действительного члена Парижской академии наук. Эта история столь интересна, что позволим себе рассказать ее здесь, хотя она имеет лишь косвенное отношение к описываемым событиям.
Гийом Лежантиль должен был наблюдать прохождение Венеры 1761 г. из Индии, но шла война, и он, не получив возможности вовремя высадиться на берег, делал зарисовки с палубы корабля. Долгие 8 лет ученый ждал прохождения 1769 г., но ему вновь не повезло: ясная все эти годы погода вдруг в день прохождения сменилась переменной облачностью… Наблюдение вновь не состоялось. Делать было нечего, и несчастный астроном отправился в Париж, но его вновь ждали испытания: кораблекрушение и пираты задержали его вдали от дома еще на пару лет. А дома Лежантиля уже не ждали: Академия наук, посчитав его погибшим, отдала его место другому ученому…
Владимир Орлов продолжал активную работу до 1771 г., когда пошатнувшееся здоровье вынудило его просить соизволение государыни уехать в Европу для лечения; в окончательную отставку он ушел в декабре 1775 г. в чине генерал-поручика. Возможно, ему не удалось сделать Петербургскую Императорскую академию наук лучшей в Европе, но положение дел в ней, бывшей до его назначения директором «в великом нестроении и почти совершенном упадке», несколько улучшил.
Остаток жизни граф Владимир прожил в Москве, в своем имении, подаренном ему братом Алексеем. Он был счастлив с женой, Елизаветой Ивановной, урожденной баронессой Штакельберг, и любил своих детей. Брак принес ему, как и всякий брак, горе и радость. Первый сын, которого назвали Александром, умер рано; сын Григорий тоже не пережил отца и скончался, не подарив родителям внуков. Супруга, графиня Елизавета Ивановна, умерла прежде мужа, опередив его на 14 лет. Дочери Софья, Екатерина и Наталья сделали хорошие партии и нарожали детей.
Граф Владимир занимался строительством усадьбы, желая сделать ее похожей на средневековый замок; он привлекал к работе друзей и знаменитых архитекторов своего времени (К. Брюллова, Д. и А. Жилярди). В усадьбе В. Орлова был домашний театр, где играли крепостные артисты, и прекрасный оркестр. Незадолго до смерти ему пришло в голову перезахоронить всех своих братьев в одном месте, и в Отраде была возведена изящная усыпальница по проекту архитектора А. Жилярди.