А что, если человеку угрожает другой человек? Здесь роботу придется принимать решение, что ему делать. Сможет ли он спасти одного человека, не причинив вред другому? Или если избежать этого невозможно, какие действия следует предпринять, чтобы вред был минимальным?
Роботам жилось бы намного легче, если бы люди так же беспокоились о благополучии других людей, как должны это делать роботы. И разумеется, любой кодекс морали потребует от человека заботиться о других и стараться сделать все, чтобы им не был причинен вред. Что, в конце концов, и является мандатом, который люди дали роботам. Получается, что Первый закон науки о человеке с точки зрения роботов должен звучать так:
1. Человек не может допустить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Если этот закон будет выполняться, роботам останется лишь оберегать людей от несчастных случаев с неодушевленными предметами и живыми существами (не людьми), что освободит их от решения этических проблем. Разумеется, робот должен оберегать человека от вреда, который может неосознанно причинить ему другое человеческое существо. Кроме того, он обязан быть готов прийти ему на помощь, если другой человек по объективным причинам не в состоянии оказать ему эту помощь достаточно быстро. Однако даже робот может неосознанно навредить человеку, и даже робот может не проявить достаточной сноровки и не успеть попасть к месту действия, да и умений ему может не хватить, чтобы предпринять необходимые меры. Ничто в нашем мире не идеально.
Таким образом, мы подходим ко Второму закону роботехники, который требует, чтобы робот повиновался всем приказам, отданным ему человеком, если они не вступают в конфликт с Первым законом. Это означает, что человек имеет право приказывать роботу все, что угодно, без ограничений, если только его желания не причинят вред другому человеку.
Но ведь человек может приказать роботу нечто невыполнимое или его воля поставит робота перед дилеммой, которая может повредить позитронный мозг. В расскаже «Лжец», опубликованном в 1940 году, человек совершенно сознательно поставил перед роботом задачу, которая сожгла его мозг, и машина перестала существовать.
Мы можем даже представить ситуацию, когда появятся достаточно разумные роботы, которые будут в состоянии избежать гибели, если их вынудят делать нечто бессмысленно сложное или злостное. Следовательно, Второй закон науки о человеке должен гласить:
2. Человек должен отдавать роботу приказы, которые не вредят существованию робота, если только эти приказы не явятся причиной вреда или неудобства для других людей.
Целью Третьего закона роботехники было защитить роботов, но с точки зрения робота он может показаться не слишком надежным. Робот должен пожертвовать собой, если того потребуют Первый и Второй законы. Когда речь идет о Первом законе, тут не может быть никаких возражений. Робот обязан забыть о собственной безопасности, если это единственный путь защитить человека или предотвратить опасность, которая ему угрожает. Если мы признаем, что любое человеческое существо важнее любого робота (по правде говоря, я признаю это не вполне охотно), то такая формулировка неизбежноа.
С другой стороны, должен ли робот жертвовать собой, выполняя какой-нибудь несущественный или даже вредоносный приказ? В «Двухсотлетнем человеке» хулиганы сознательно приказывают роботу разобрать себя на части исключительно ради собственного развлечения. Получается, что Третий закон науки о человеке должен звучать следующим образом:
3. Человек не должен причинять вреда роботу или своим бездействием допустить, чтобы роботу был причинен вред, кроме тех случаев, когда робот вынужден пожертвовать собой, чтобы спасти человека или выполнить жизненно важный приказ.
Естественно, мы не можем навязать эти законы, как в ситуации с законами роботехники. Мы не в силах запрограммировать мозг человека, как мозг робота. Однако это начало, и я искренне считаю, что, если нам предстоит управлять умными роботами, мы должны быть за них ответственны, как сказал мой герой из рассказа «Двухсотлетний человек».
