Айзек Азимов
«...Яко помниши его»
1
Кит Харриман вот уже двенадцать лет возглавлявший Исследовательский центр фирмы «Юнайтед Стейтс Роботс энд Мекэникл Мен Корпорейшн», совершенно не был уверен, что поступает правильно. Он провел кончиком языка по пухлым, но довольно бледным губам, и ему показалось, что голографическое изображение великой Сьюзен Кэлвин, сурово взиравшей на него сверху вниз, никогда еще не было таким хмурым.
Обычно он загораживал чем-нибудь голографию величайшего в истории робопсихолога, потому что она действовала ему на нервы. Однако на сей раз он не осмелился даже на это, и ее пронзительный умерший взгляд буравил ему щеку.
Шаг, на который ему придется пойти, был одновременно опасным и унизительным.
Напротив него сидел Джордж Десять, хладнокровный и невозмутимый, чье спокойствие не нарушали ни явное смущение Харримана, ни образ святой покровительницы роботов, сиявшей в нише наверху.
– Нам с тобой пока не удавалось поговорить об этом, Джордж, – сказал Харриман. – Ты появился у нас недавно, и мне не приходилось беседовать с тобой наедине. Но теперь я хотел бы обсудить этот вопрос более подробно.
– С удовольствием, – согласился Джордж. – За время моего пребывания в «Ю. С. Роботс» я понял, что кризис фирмы каким-то образом связан с Тремя Законами.
– Да. Ты, конечно, знаешь Три Закона?
– Знаю.
– Это естественно. Но давай копнем глубже и рассмотрим основную проблему. Достигнув за два столетия значительных успехов, если можно так выразиться, «Ю. С. Роботс» так и не сумела убедить человечество принять роботов. Мы поставляем их только в такие места, где работа человеку не под силу или окружающая среда слишком опасна. Роботов используют в основном в космосе, и это ограничивает наши возможности.
– Однако даже в таких пределах поле деятельности остается широким, – заметил Джордж Десять, – и вполне достаточным для процветания фирмы.
– Увы, это не так, и тому есть две причины. Во-первых, границы, установленные для нас, непрерывно сжимаются. Колония на Луне растет, развивается – и ее потребность в роботах падает, Мы предполагаем, что в ближайшие годы роботы на Луне будут запрещены. И так будет повторяться на всех планетах, колонизированных людьми. А во-вторых, настоящее процветание фирмы невозможно без использования роботов на Земле. Мы в «Ю. С. Роботс» твердо уверены, что люди нуждаются в роботах и поэтому должны научиться уживаться со своими механическими подобиями, если хотят, чтобы прогресс продолжался.
– А разве они не уживаются? Мистер Харриман, у вас на столе стоит компьютер, который, как я понимаю, подключен к Мультиваку. Но компьютер – это своего рода сидячий робот, искусственный мозг, не имеющий подвижного тела…
– Верно, но и здесь есть свои ограничения. Компьютеры, которыми пользуется человечество, становятся все более узкоспециализированными, чтобы не допустить возникновения интеллекта, слишком похожего на человеческий. Сто лет назад мы уже вступили на путь создания искусственного интеллекта с самыми неограниченными возможностями, сконструировав огромные компьютеры, которые назвали Машинами. Но Машины сами наложили ограничения на свою деятельность. Успешно разрешив экологические проблемы, угрожавшие существованию человеческого общества, они самоликвидировались. Машины пришли к выводу, что в дальнейшем станут для людей чем-то вроде подпорок или костылей, а поскольку сочли это вредным для человека, то вынесли себе приговор на основании Первого Закона.
– Вы полагаете, они ошиблись?
– По-моему, да. Своим поступком они усилили у людей комплекс Франкенштейна – инстинктивную боязнь, что искусственно созданный интеллект восстанет против своего создателя. Люди боятся, что роботы могут занять их место.
– А вы сами не боитесь?
– Я лучше осведомлен. Пока действуют Три Закона Роботехники, этого не случится. Роботы могут стать нашими партнерами, внести свой вклад в великую борьбу за разгадку законов природы и мудрое управление ею. При таком сотрудничестве человечество могло бы достигнуть гораздо большего, чем в одиночку, причем роботы всегда стояли бы на страже интересов человека.
– Но если на протяжении двух веков Три Закона успешно удерживали роботов в границах повиновения, в чем же источник недоверия людей?
– Ну… – Харриман яростно поскреб затылок, взъерошив седые волосы. – В основном, конечно, предубеждение. Но, к несчастью, есть тут некоторые сложности, за которые, конечно же, сразу ухватились противники роботов.
– Это касается Трех Законов?
– Да, в особенности Второго Закона. Видишь ли, с Третьим проблем нет, это закон абсолютный. Робот всегда должен жертвовать собой ради людей, ради любого человека.
– Естественно, – согласился Джордж Десять.
– Первый Закон, похоже, не столь универсален, потому что нетрудно придумать ситуацию, в которой робот обязан предпринять взаимоисключающие действия А или Б, и каждое из них в результате причинит человеку вред. Поэтому робот должен быстро выбрать меньшее из двух зол. Однако сконструировать позитронные мозговые связи таким образом, чтобы робот мог сделать нужный выбор, крайне нелегко. Если действие А нанесет вред молодому талантливому художнику, а действие Б – пяти престарелым людям, не имеющим особой ценности, – что предпочесть?
– Действие А, – без колебаний ответил Джордж Десять. – Вред, причиненный одному, меньше, чем вред, причиненный пяти.
– Да, роботов всегда конструировали с таким расчетом, чтобы они принимали подобные решения. Считалось непрактичным ожидать от робота суждения о таких тонких материях, как талант, ум, польза для общества. Все это настолько замедлило бы решение, что робот практически был бы парализован. Поэтому в ход идут числа. К счастью, такие критические ситуации достаточно редки… И вот тут мы подходим ко Второму Закону.
– Закону повиновения.
– Именно. Необходимость подчинения приказам реализуется постоянно. Робот может просуществовать двадцать лет и ни разу не оказаться в такой ситуации, когда ему нужно будет защитить человека или подвергнуться риску самоуничтожения. Но приказы он должен выполнять все время. Вопрос – чьи приказы?
– Человека.
– Любого человека? Как ты можешь судить о человеке, чтобы знать, подчиняться ему или нет? «Что есть человек, яко помниши его»[1], Джордж?
Джордж заколебался.
– Цитата из Библии, – поспешно проговорил Харриман. – Это неважно, Я имею в виду: должен ли робот повиноваться приказам ребенка; или идиота; или преступника; или вполне порядочного человека, но недостаточно компетентного, чтобы предвидеть, к каким прискорбным последствиям приведет его желание? А если два человека дадут роботу противоречащие друг другу приказы – какой выполнять?
– Разве за двести лет эти проблемы не возникали и не были решены? – поинтересовался Джордж.
– Нет, – энергично помотал головой Харриман. – Наши роботы использовались только в космосе, в особой среде, где с ними общались высококвалифицированные специалисты, Там не было ни детей, ни идиотов, ни преступников, ни невежд с благими намерениями. И тем не менее случалось, что глупые или попросту непродуманные приказы наносили определенный ущерб, но его размеры были ограничены тем, что роботов применяли в очень узкой сфере. Однако на Земле роботы должны уметь принимать решения. На этом спекулируют противники роботехники, и, черт бы их побрал, тут они совершенно правы.
– Тогда необходимо внедрить в позитронный мозг способность к взвешенному суждению.
– Вот именно, Мы начали производство модели ДжР, которая сможет судить о человеке, принимая во внимание пол, возраст, социальную и профессиональную принадлежность, ум, зрелость, общественную значимость и так далее.
– И как это повлияет на Три Закона?
– На Третий Закон – вообще никак. Даже самый ценный робот обязан разрушить себя ради самого ничтожного человека. Здесь ничего не изменится. Первого Закона это коснется, только если альтернативные действия в любом случае причинят вред. Тогда решение будет приниматься не только в зависимости от количества людей, но и, так сказать, их качества, при условии, конечно, что на это хватит времени, а основания для суждения будут достаточно вескими. Впрочем, такие ситуации довольно редки. Самым сильным изменениям подвергнется Второй Закон, поскольку любое потенциальное подчинение приказу будет включать в себя суждение о нем. Реакция робота замедлится, за исключением тех случаев, когда в силу вступит Первый Закон, зато исполнение приказа будет более осмысленным.
– Но способность судить о людях – вещь непростая.
– Вернее, крайне сложная. Необходимость сделать выбор замедляла реакцию наших первых двух моделей до полного паралича. В следующих моделях мы пытались исправить положение за счет увеличения мозговых связей – но при этом мозг становился слишком громоздким. Однако в нашей последней паре моделей, на мой взгляд, мы добились, чего хотели. Роботам теперь не обязательно сразу судить о достоинствах человека или оценивать его приказы. Вначале новые модели ведут себя как обычные роботы, то есть подчиняются любому приказанию, но одновременно они обучаются. Робот развивается, учится и взрослеет, совсем как ребенок, и поэтому сначала за ним необходим постоянный присмотр. Но по мере развития он станет все более и более достойным того, чтобы человеческое общество на Земле приняло его в свои ряды как полноправного члена.
