В это время Григорий, не исключавший возможности женитьбы на императрице, возможно, примерялся и к роли отчима, так как порой наведывался к наследнику Павлу, который поначалу с нетерпением ждал его прихода. С ним можно было на время отвлечься от нотаций скучного Н. Панина и повеселиться — поиграть в солдаты, попрыгать через стулья, покататься в манеже на лошадях, а то и навестить вместе с ним прекрасных фрейлин в их комнатах. Юный Павел нередко выражал свое восхищение прелестницами, и уже тогда присмотрел пользовавшуюся впоследствии особым его вниманием Чоглокову.
Слухи о фаворе Орловых будоражили двор, разрастаясь все шире. Весной 1763 г., когда императрица посетила Москву, а затем отправилась в Ростов Великий и Ярославль с заездом в Воскресенский монастырь, А. Орлов остался в Москве наблюдать за ситуацией — витающие слухи о готовящейся против Орловых враждебной партии принимали угрожающий характер.
Особую опасность для братьев представляли офицеры братья Рославлевы, Ласунский, Барятинский и Хитрово, в числе которых оказались и бывшие их единомышленники. Главенствующую роль в деле 1763 г. играл Ф. Хитрово, привлекавший к себе новых заговорщиков уверениями о предстоящей женитьбе Григория на государыне. В его планы входило и убийство Орловых. Крамольный замысел был раскрыт с помощью В. Суворова (отца великого полководца), виновных наказали. Хитрово сослан был в свое имение, а остальные получили отставку. Истинная причина заговора проясняется в письме от 25 февраля 1763 г. Екатерины Олсуфьеву: «Ты имеешь сказать камергерам Ласунскому и Рославлеву, что понеже они мне помогли взойти на престол для поправления непорядков в отечестве своем, я надеюсь что они без прискорбия примут мой ответ; а что действительная невозможность ныне раздавать деньги, тому ты сам свидетель очевидный».
Той же весной ростовский митрополит Арсений Мацеевич открыто выступил против светской власти (но уже по другой причине), совершив обряд предания анафеме. На его допросе вместе с императрицей, Шешковским и Глебовым присутствовал и Г. Орлов. В 1768 г. адъютант Опочинин, выдавая себя за сына английского короля, якобы организовывал заговор в пользу Павла Петровича путем истребления Орловых и свержения Екатерины. Эту мысль, по его словам, внушил ему некий корнет Батюшков, который говорил: «Больше мне досадно на графов Орловых, что они не помнят милости отца моего и сестру мою Кропотову выгнали из дворца, а меня против воли моей отставили от службы». Впоследствии Батюшков признался, что он был зачинщиком всего этого дела.
Подогреваемые слухами о том, что Екатерина «хочет разделить государство на три части Орловым», группы заговорщиков возникали в течение более 10 последующих лет со дня переворота. Все это привело Орловых к такой известности, что даже в крестьянской среде во время Пугачевского восстания в окружении их предводителя, изображавшего императорский двор, наряду с лже-Паниным, лже-Воронцовым и другими появились и лже-графы Орловы из среды казаков. В 1773–1775 гг. во время очередного заговора, в который хотели вовлечь Бакунина, последний выдал имена заговорщиков. По слухам, к этому заговору была причастна и Е. Дашкова, которая признается, что в это время дом ее был полон орловских шпионов.
В 1764 г. Екатерина, желая осмотреть окраины империи да и себя показать, отправляется через Ригу в Варшаву. Выезд состоялся 20 июня, всюду по пути следовали организованные торжественные встречи: не доезжая милю до Ревеля, государыню встречал А. Г. Орлов, возглавлявший эскадрон конной гвардии. В Риге ее встречал Г. Г. Орлов, генерал-губернатор Броун, генерал-фельдцейхмейстер Вильбоа, граф Чернышев и другие. На приеме в Митаве, организованном в честь ее приезда, императрица была в окружении братьев Орловых и еще трех-четырех бывших заговорщиков и принимала от ливонского дворянства излияния в верноподданичестве, целовала благородных девиц, подходивших к ее руке. Во время путешествия императрица не скрывала своего особого расположения к Григорию. Когда ему нездоровилось, переезды прекращались, если у него было дурное расположение духа, государыня старалась его развеселить, когда он задерживался на охоте, она не садилась ужинать, предпочитая сыграть пару лишних партий в карты.
