Каких-либо причин для личной неприязни к Рейнсдорпу Рычков не имел. Он помнил, что губернатор хлопотал за него, устраивая на должность. И Рычков исправно служил, но не желал прислуживаться, был против того, чтобы его научную работу контролировало губернское начальство, стесняло и узурпировало ее. Рычков был известен правительству и самой императрице, многим академикам и военачальникам, читающей публике. Но этот растущий его авторитет литератора и ученого, как ни странно, не только не облегчал, но усложнял ему жизнь. Примечательно, что гнет оренбургской среды усиливался именно в период того или иного творческого успеха Рычкова или в тех случаях, когда верховное руководство оказывало ему свою благосклонность.
Рейнсдорп пришел в ярость, узнав, что известный боевой генерал и сенатор, граф Панин, недавно назначенный главнокомандующим войсками Оренбургской, Казанской и Нижегородской губерний, пригласил Рычкова в Симбирск для доклада о состоянии дел Оренбургской губернии. Как?! Почему по такому вопросу на аудиенцию вызван не губернатор, а Рычков, начальник Соль-Илецкого рудника?
Панин знал Рычкова как географа, историка, экономиста и исследователя Оренбургского края и приглашал не для праздной беседы. Усмирив пугачевское восстание, Панин пожелал подробно ознакомиться с «гнездовьем Пугачева»: какие народы населяют край, какая их численность, занятия, культура, нравы… Эти сведения Панину нужны были как новому правителю Восточной России. Еще до встречи с Рычковым он заполучил первую часть его «Летописи» (Осада Оренбурга), которую через сенатора Еропкина ему передал из академической канцелярии Миллер. Миллер же посоветовал Панину в предстоящей работе по составлению «Исторических экстрактов» опереться на помощь Рычкова, который для этого сам предлагал свои услуги. В письме к Миллеру еще 13 августа 1774 года он писал: «Я хотя и знаком его сиятельству, бывал у него, но давно; мне мнится, что я, по сведению здешних дел и народов, мог бы употреблен быть нынче с пользою высочайших интересов».
Панин не замедлил воспользоваться услугами известного историка и литератора, для чего и пригласил его в Симбирск.
13 сентября 1774 года Рычков выехал из Оренбурга. Он был так рад поездке, что оттолкнул все советы и устрашающие наставления не отправляться в столь опасную дорогу, пролегающую по местам еще не утихших мятежей. По пути заехал в Спасское, горестно оглядел разоренное имение и, не задерживаясь, помчался в Симбирск, куда прибыл 16 сентября.
Более четырехсот верст за три дня!
По осенней дороге, на тройке… Можно представить, как спешил Рычков навстречу открывающейся ему возможности применить свои знания и талант «с пользою высочайших интересов».
Между тем той же дорогой и, возможно, в те же дни неслась в Петербург почтовая карета с письмом Рейнсдорпа. С нескрываемой досадой губернатор сообщал Миллеру, что «Рычков нашел способ быть вызванным в Симбирск от его сиятельства графа Панина» и где-то там шаныжничаетде, оставив без пригляда контору соляных дел. Заключая письмо, Рейнсдорп мстительно-злорадно пророчил Рычкову позорную неудачу, полагая, что Панин, «такой проницательный муж непременно сорвет маску с его глупости».
Но вопреки этому мрачному прогнозу Панин принял Рычкова хлебосольно.