Максимальный репост. Как соцсети заставляют нас верить фейковым новостям - страница 58
С точки зрения разработчиков, было бы неразумно обойтись в такой сложной системе без контрольной группы хотя бы в 1 %. При населении страны в 1,4 млрд это будет примерно 14 млн человек, пораженных в правах по неизвестной для них причине.
Кэти О’Нил защитила диссертацию по математике в Гарварде и много лет преподавала аспирантам алгебраическую теорию чисел (область математики, выросшую когда-то из попыток доказать Великую теорему Ферма). Но в нулевые лучших математиков стали переманивать из университетов финансисты – им нужны были математические модели, предсказывающие поведение рынка. Представители новой профессии стали называть себя «кванты» (квантовая механика здесь ни при чем: слово quant – сокращение от термина quantitative analyst, «количественный аналитик»). И университетская преподавательница ушла работать в хедж-фонд на Уолл-стрит.
А потом случился финансовый кризис 2008 года, одной из причин которого называли как раз работу «квантов» – прежде всего, модели, которые слишком оптимистично оценивали риск, что кто-нибудь не расплатится с долгами. В следующем году жюри конкурса World Press Photo объявило «фотографией года» черно-белый снимок фотожурналиста Энтони Сво: полицейский с пистолетом осматривает дом, откуда только что выставили семью, не справившуюся со своими ипотечными платежами.
Обнаружив, что ее работа с числами привела к появлению новых бездомных, О’Нил уволилась из хедж-фонда и села писать книгу «Оружие математического поражения» – про то, как алгоритмы из лучших соображений портят людям жизнь. Книга вышла в 2016-м и сразу попала в длинный список Национальной книжной премии США{101}.
Кто будет сомневаться в пользе алгоритма, который помогает предотвращать преступления? У полиции есть многолетняя статистика убийств, грабежей и наркоторговли – а нейросеть на основе этой статистики решает, когда и в какие районы города стоит перебросить больше полицейских патрулей. Анализ данных доказывает, что прогнозы программы сбываются: в проблемных районах, на которые указал искусственный интеллект, в итоге действительно ловят больше нарушителей.
Что здесь не так? К примеру, часто такие алгоритмы ведут себя как расисты. Ясно, что расу потенциальных преступников в США никто не станет использовать как явный фактор математической модели, но алгоритмы настойчиво ведут полицейских в «черные» кварталы. Кэти О’Нил предлагает представить себе патруль, который выехал на дежурство и третий час кружит по району. Если ему попадется подросток с пивом, спрятанным в бумажном пакете, – его, скорее всего, задержат (хотя никакая патрульная машина не выехала бы специально по вызову «мы подозреваем, что тут подросток на улице пьет пиво»). В сводке о правонарушениях появится новая запись, и алгоритм будет иметь больше оснований считать район криминогенным. В таких районах будет больше арестов за преступления без жертв (такие как распитие пива на улице или марихуана в кармане). Для самих же правонарушителей, у которых в личном деле появляются записи об аресте, перспективы найти работу и зажить спокойной благополучной жизнью падают, а шансы стать преступниками в условиях сузившегося выбора, наоборот, возрастают. Потому что для окружающих они теперь подростки, у которых проблемы с полицией. У их белых сверстников, которые точно так же пьют пиво, спрятанное в бумажные пакеты, или курят марихуану в благополучном, по мнению алгоритма, районе, риск быть задержанными намного ниже. Физики называют такой эффект «петлей положительной обратной связи», а социологии – «самосбывающимися прогнозами».
Математическим моделям доверяют оценивать людей, не только когда речь идет о преступлениях. Их используют банки для оценки вашей платежеспособности, университеты при отборе абитуриентов и американское министерство образования при анализе работы учителей.
