Размышления о Молохе - страница 16
Но координация работает лишь до тех пор, пока на стороне координирующихся не менее 51% власти, и пока вы не придумали какой-нибудь гениальный способ обеспечить ее невозможность.
Сначала о втором. В своем позапрошлом посте со ссылками я писал:
Последнее изобретение нашего дивного нового пост-биткойнового мира — это крипто-активы[34]. На сегодняшний день мое отношение к этим изобретателям успело смениться с желания прославлять их отважную борьбу за свободу на желание поставить их перед доской и заставить сто раз написать «Я НЕ БУДУ ВЫЗЫВАТЬ ТОГО, КОГО НЕ СМОГУ ПОВЕРГНУТЬ»[35].
Несколько человек спросило меня тогда, что я имел в виду, но у меня не было под рукой необходимого обоснования. Что ж, этот пост — мое обоснование. Люди пользуются мимолетной глупостью нашего текущего правительства, чтобы заменить значительную часть человеческого взаимодействия механизмами, которые в принципе не поддаются координации. Я прекрасно понимаю, почему все это полезно прямо сейчас, когда большая часть того, чем занимается наше правительство — деятельность бессмысленная и глупая. Но рано или поздно — когда уже успеет произойти слишком много инцидентов с биологическим оружием, или нанотехнологиями, или ядерными технологиями — настанет время, когда наша цивилизация пожалеет о том, что она придумала неотслеживаемые и неостановимые способы продавать товары.
И даже если у нас когда-нибудь получится создать настоящий суперинтеллект, то у него, в общем-то, по определению будет больше половины власти над миром, и поэтому любые попытки «координироваться» с ним не будут иметь никакого смысла.
Поэтому я согласен с Робином Хэнсоном. Сейчас — время мечты[36]. Нам повезло оказаться в редком стечении обстоятельств, благодаря которому мы на удивление хорошо защищены от многополюсных ловушек, и такие аномальные явления, как искусство, наука, философия и любовь, имеют право на жизнь.
С развитием технологий этому редкому стечению обстоятельств придет конец. У нас появятся новые возможности пожертвовать своими ценностями для увеличения конкурентоспособности. Новые способы создания экономических агентов приведут к росту численности населения, поглотив излишки ресурсов и вернув к жизни беспокойный дух Мальтуса. Ранее защищавшие нас капитализм и демократия смогут придумать, как обойти свою неудобную зависимость от человеческих ценностей. И наших способностей к координации и близко не хватит для того, чтобы противостоять этому — и это если не появится что-то куда более мощное, чем все мы вместе взятые и не сметет нас легким движением руки.
Если не будут приложены невероятные усилия по отклонению направления течения реки, она достигнет моря в одном из двух возможных мест.
Это может быть кошмар Элиезера Юдковского, в котором искусственный сверхинтеллект оптимизирует все вокруг ради случайно выбранного предмета (классический пример — скрепки[37]), потому что нам не хватило ума направить его процесс оптимизации в нужное русло. Это наивысшее воплощение ловушки — та, в которую попадает вся вселенная. Абсолютно все, кроме предмета максимизации, оказывается уничтожено в погоне за единственной целью, включая все наши ничтожные человеческие ценности.
Или это может быть кошмар Робина Хэнсона (сам он не считает это кошмаром, но, по-моему, он ошибается[38]), где друг с другом конкурируют эмулированные люди, или «эмы» — существа, способные копировать себя и изменять свой исходный код по желанию. Их полный самоконтроль может уничтожить даже само желание иметь человеческие ценности в ходе их всепоглощающей борьбы друг с другом. Что произойдет в таком мире с искусством, философией, наукой и любовью? Зак Дэвис описывает это со свойственным ему талантом:
