С начала 1848 года Ровинский, оставив Сенат, исполнял обязанности московского губернского казенных дел стряпчего; с лета 1850 года, в течение почти трех лет, обязанности товарища председателя Московской уголовной палаты, а в августе 1853 года был назначен на особо важный, трудный и ответственный пост московского губернского прокурора. Должность эта, составляя наследие петровских времен и одно из лучших украшений екатерининских учреждений, имела огромное значение в нашем дореформенном строе. Упразднение связанных с нею прав и обязанностей по надзору за ходом не судебных дел следует признать большою ошибкою составителей Судебных уставов. Совершенное изменение в характере деятельности прокурора, придавая ему «обвинительную обособленность», быть может, и выходило красивым с теоретической точки зрения, но противоречило условиям нашей административной жизни и шло вразрез с внутренними потребностями нашего губернского строя. В торопливом осуществлении страстного желания поскорее расчистить для новых насаждений место, поросшее бурьяном и полусгнившими деревьями, был срублен дуб, стоявший на страже леса…
Губернский прокурор с губернскими стряпчими составлял особое, во многих отношениях совершенно независимое от местной администрации учреждение, так называемую «прокурорскую камеру». Оно имело надзор за всеми местными присутственными местами, определения которых только тогда признавались соответствующими закону и приводились в исполнение, когда на них была известная прокурорская помета: читал. Имея право беспрепятственного входа во все губернские места и занимая место в присутствии при докладе дел, губернский прокурор и стряпчие в уездах были живым напоминанием закона и, во многих случаях, его обязательными истолкователями. В делах судебных губернский прокурор был всегдашним ходатаем по искам казны, обществ и установлений. На обязанности его лежало возбуждение безгласных дел. Он охранял интересы казны, участвуя в приеме казенного имущества и в производстве торгов на казенные подряды и поставки, интересы и права частных лиц, свидетельствуя, в составе особого присутствия губернского правления, людей, подлежавших опеке по безумию или сумасшествию, и требуя учреждения следственных комиссий по делам особой важности. Наконец, он охранял права арестантов, будучи главным блюстителем их содержания «без употребления орудий, законом запрещенных» и ходатаем по их делам. Имея обязанность уведомлять губернское начальство о всех замеченных им беспорядках и злоупотреблениях, губернский прокурор сносился в то же, время непосредственно с министром юстиции, свободный от каких-либо аттестаций со стороны начальника губернии. Будучи, по существу своих прав и обязанностей, делегатом центральной правительственной власти, вдвинутым в среду местного управления, он, при добром желании и сознании долга, мог не без основания считать себя «оком царевым».
История министерства юстиции с тридцатых до шестидесятых годов представляет немало примеров энергической борьбы губернских прокуроров с местными злоупотреблениями. Борьба эта не всегда была успешна, но уже самое возникновение ее, основанное на предписании закона, определявшего обязанности губернского прокурора, действовало благотворно, не говоря уже о тех случаях, когда последствием ее являлись сенаторские ревизии, несшиеся, как грозовые тучи, на местность, пораженную правовою засухою… Бог знает, сколько тягостных пререканий, где голос оскорбленных самолюбий и властолюбий заглушает ропот искажаемой истины, было бы устранено, сколько окольных путей для жалоб и взаимных обвинений «поросло бы травой забвения», если бы в широкие рамки обязанностей губернского прокурора была в 1864 году влита энергия тех молодых и полных любви к делу сил, которые обречены были упражнять свое стремление к законности и талантливое трудолюбие исключительно на обвинительном поприще.
Сделавшись губернским прокурором, Ровинский принес на эту должность всю свою молодую — ему было еще только 29 лет — жизненность и "отзывчивость. Но вместе с тем он принес и большой опыт. Служба товарищем председателя палаты и, главное, губернским стряпчим дала ему богатый материал для обращения внимания на наиболее больные места судебной и, в особенности, административной деятельности. Он горячо принялся за работу, настойчиво во все вникая и зорко ко всему приглядываясь. Задача московского губернского прокурора — именно московского — за его время была очень нелегкая. Не говоря уже о массе дела, требовавшей внимательного труда, ввиду особого значения, которое могло иметь прокурорское «читал» для жителей столицы и одной из населеннейших губерний, — область деятельности этого прокурора находилась в совершенно особом положении. В Москве был, кроме губернатора, еще и граф Арсений Андреевич Закревский, снабженный особыми полномочиями, легендарный генерал-губернатор, всевластно правивший в Москве с 1848 года в течение десяти лет и назначенный туда после 17-летней опалы, как — по его собственным словам — надежный оплот против разрушительных идей, грозивших прийти с Запада. Безукоризненно честный в материальных отношениях, большой хлебосол и нежный, слабый отец, — этот осанистый, полный старик, совершенно лысый, с маленькими хитрыми глазками на круглом лице («Русские гравированные портреты»), с выдвинутою вперед нижнею губою, творил суд и быструю расправу по-своему, не стесняясь законом и своеобразно восстановляя порядок повсюду, даже и в чужих семьях, разными необычайными средствами, вроде, например, арестования жены и родственников неисправного подрядчика, забравшего вперед деньги, и т. п. Вторжение Закревского во всякие дела и в том числе в судебные, особливо гражданские, было явлением частым и, без сомнения, составляло соблазнительный пример и для ближайших его подчиненных, так что губернскому прокурору нужно было много такта и умной настойчивости, чтобы охранять закон и исполнять свои обязанности, «невзирая на лица». Неслышное и, по большей части, незаметное для окружающего общества, прямое и косвенное отстаивание закона отнимало много времени у Ровинского и делало его положение, как он сам впоследствии сознавался, подчас более чем затруднительным. Недаром он обращался, при своих работах по судебному преобразованию, с суровыми укоризнами к генерал-губернаторской власти в том виде, как ее понимал и практиковал в свое время граф Закревский.
