Резюме: аварийные режимы
По причинам, изложенным выше, я, как физик, уверен: наше глубокое понимание того, как работает мир, открывает вдохновляющие перспективы для достижения новых уровней материального и духовного обогащения.
Однако, прежде чем закрыть тему, следует сделать несколько замечаний о мерах предосторожности.
Поскольку современные технологии обеспечивают создание надежной документации и широкое распространение знаний, можно было бы подумать, что историю технологий (и, следовательно, в конечном счете, человечества) в настоящее время невозможно откатить назад. Прогресс может быть неравномерным, но регресс исключен.
Но так ли это? Особенно тревожными мне кажутся три варианта сбоев, являющихся следствием самых современных технологий: ядерная война, экологическая катастрофа и вооружения, оснащенные искусственным интеллектом.
Некоторое знакомство с темой и 70 лет удачи не должны позволить нам недооценивать ужасающий потенциал ядерного оружия. Оно по‑прежнему существует в большом количестве — многие тысячи единиц — и контролируется девятью отдельными государствами. Посмотрите фильмы «Нити» («Threads»), а затем «Доктор Стрейнджлав» («Dr. Strangelove»). Этим все сказано.
Еще одной потенциальной катастрофой является экологический коллапс вследствие антропогенного изменения климата. Загрязнение атмосферы углекислым газом накапливается медленно, и надлежащая реакция (то есть учет внешних факторов) потребует вложения многих триллионов долларов. Вопрос в том, сможет ли человечество достигнуть зрелости и мудрости для решения этой коварной проблемы.
Ни человек, ни искусственный интеллект не могут избежать влияния открытия Дэвида Юма, заключающегося в том, что никакое моральное «должен» не может возникнуть из совокупности логических или научных «так есть». Вот его заключение: «Разум является, да и должен быть рабом страстей и никогда не может претендовать на какую‑либо другую роль, кроме служения и подчинения им».
Создатели умных автономных существ (таких, как гуманоидные роботы) будут либо явно, путем программирования, либо неявно, путем проектных решений, устанавливать их цели и мотивы — «страсти». Предполагается, что искусственный интеллект предназначен для служения человечеству самым простым и дружественным образом и это намерение лучше всего будет реализовываться автономными существами, цели и мотивы которых так же просты и дружественны. Но тогда весьма проблематичным станет использование искусственного интеллекта для военных задач, скажем, для создания армии роботов или, более обобщенно, высокоэффективных военных систем, вроде машины Судного дня доктора Стрейнджлава, которые будут реагировать на угрозы без вмешательства человека. Можно ожидать, что сверхразумные сущности, специально созданные подозрительными и агрессивными, проявят эти качества совершенно оригинальным и неожиданным образом. Конкурирующие группы таких созданий могли бы развязать уникальную войну, где людям и их цивилизации была бы отведена лишь роль случайных жертв.
Примечание
Эта работа поддерживается Министерством энергетики США по грантовому контракту № DE‑SC0012567.
3. Возможности биотехнологий
Роберт Карлсон
Биология откроет исключительные возможности для отдельных лиц, компаний и целых экономик — от медицины до промышленности.
В 2050 году «The Economist» сможет попадать прямо в ваш мозг. Управление перспективных исследовательских проектов Министерства обороны США (DARPA) хочет построить мост между цифровыми устройствами и корой больших полушарий человеческого мозга. Этот проект стоимостью в 60 млн долларов преследует весьма смелую цель: привить мозгу универсальные цифровые функции для ввода и вывода информации. Трудно предположить, что может произойти в результате такой интеграции. Но очевидно, что будущее биологии не ограничивается лишь тем, что мы способны представить себе сегодня. Прямое слияние электронных и биологических вычислений позволит расширить возможности как живой, так и неживой материи в новых и совершенно непредсказуемых направлениях.
Менеджеры программ DARPA иногда называют этот нейронный интерфейс «кортикальным модемом». Проект опирается на значительный клинический опыт, полученный при подключении человеческих нейронов к электронным устройствам. Кохлеарные имплантаты и искусственные сетчатки используются уже в течение многих лет, восстанавливая соответственно слух и зрение людей. Проводятся клинические испытания имплантированных в мозг электродных массивов, использующихся для переноса нейронных сигналов мимо поврежденных участков позвоночника и обеспечения прямого нейронного управления роботизированными конечностями. В некоторых случаях такие нейронные протезы позволяли парализованным снова начать двигаться.
