Норберт Винер
Творец и робот
Поскольку наше действительное желание всегда может быть выражено неточно, последствия этого могут стать чрезвычайно серьезными тогда, когда процесс исполнения наших желаний осуществляется не прямым путем, а степень их реализации не ясна до самого конца. Обычно мы осуществляем наши желания, если вообще мы способны в самом деле осуществить их, с помощью процесса обратной связи, которая позволяет сравнивать степень достижения промежуточных целей с нашим восприятием. При таком процессе обратная связь проходит через нас и мы можем – пока еще не слишком поздно – повернуть назад. Если же механизм обратной связи встроен в машину, действие которой не может быть проконтролировано до тех пор, пока не достигнута конечная цель, вероятность катастрофы чрезвычайно возрастает. Мне, например, было бы в высшей степени неприятно участвовать в первом испытании автомобиля, управляемого при помощи фотоэлектрических устройств обратной связи, если бы в нем не было рукоятки, которая позволяет взять управление на себя в тот момент, когда замечаешь, что автомобиль несется на дерево.
Люди с психологией машинопоклонников часто питают иллюзию, будто в высокоавтоматизированном мире потребуется меньше изобретательности, чем в наше время; они надеются, что мир автоматов возьмет на себя наиболее трудную часть нашей умственной деятельности – как тот греческий философ, который в качестве римского раба был принужден думать за своего господина. Это явное заблуждение.
Целенаправленный механизм вовсе не обязательно будет искать путей достижения наших целей, если только мы не рассчитаем его специально для решения этой задачи. Причем в ходе проектирования такого механизма мы должны предвидеть все ступени процесса, для управления которым он создается, а не применять приближенные методы прогнозирования, эффективные лишь до определенного пункта, дальше которого расчеты ведутся при возникновении новых затруднений. Расплата за ошибки в прогнозировании и в наше время достаточно велика, но она еще больше возрастет, когда автоматизация достигнет полного размаха.
В наше время стала очень модной идея предотвращения некоторых опасностей и в особенности угроз, связанных с атомной войной, при помощи автоматических устройств типа «fail-safe»[14]. Идея эта основана на предположении, что действие устройства, вышедшего из заданного режима работы, можно обезвредить. Например, если обнаружено, что режим насоса ведет к аварии, то, пожалуй, гораздо лучше, чтобы она произошла от откачки воды, нежели от взрыва при избыточном давлении. Если мы имеем дело с хорошо понятой опасностью, техника автоматической защиты типа «fail-safe» правомерна и полезна. Однако она немногого стоит перед лицом еще не понятой опасности. Например, когда отдаленная, но неизбежная опасность угрожает человечеству уничтожением, то лишь тщательное изучение общественных явлений позволит своевременно выявить эту роковую угрозу. Однако потенциальные угрозы такого рода лишены опознавательных ярлыков. Поэтому, хотя методы «fail-safe», предназначаемые для блокировки опасных режимов работы автоматизированных систем, и могут стать необходимыми для предотвращения мировой катастрофы, их ни в коем случае нельзя считать достаточными.
Поскольку техника все в большей мере приобретает способность осуществлять человеческие намерения, их математическая формулировка должна стать все более и более обычным делом.
В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства.
Иными словами, хотя человечество в прошлом и сталкивалось со многими опасностями, с ними было значительно легче справляться благодаря тому, что во многих случаях угроза проявлялась односторонне. В век, когда голод становится большой угрозой, можно искать спасения в увеличении производства пищи, и оказывается, что угроза уже не столь велика. При высокой смертности (в особенности детской) и при очень слабом развитии медицины жизнь каждого человека была большой ценностью, и поэтому людям справедливо предписывалось плодиться и размножаться. Угроза голода оказывала на нас давление, подобное давлению силы тяжести, к которой всегда приспособлены наши мышцы, кости и сухожилия.
Перемены в напряженности современной жизни, вызванные появлением новых устремлений и исчезновением старых, можно сравнить с новыми проблемами космических полетов. Состояние невесомости в космическом корабле освобождает нас от постоянной, направленной в одну сторону силы тяжести, к которой мы привыкли в нашей повседневной жизни. Путешественнику в космическом корабле нужны рукоятки, чтобы держаться; нужны тубы, чтобы выжимать из них пищу и питье; нужны различные приборы, чтобы определять свое положение, и, хотя все эти приспособления помогают тому, чтобы физиологическое состояние путешественника не слишком нарушалось, все же он не может чувствовать себя так удобно, как ему хотелось бы. Сила земного притяжения столь же дружественна нам, сколь и враждебна. Точно так же, когда люди не страдают от голода, серьезными проблемами могут стать перепроизводство продуктов питания, бесцельность существования и расточительство. Развитие медицины – один из факторов, способствующих перенаселению, этой весьма серьезной угрозе, перед лицом которой стоит сейчас человечество. К старым принципам житейской мудрости, таким, например, как «копейка рубль бережет», – принципам, так долго служившим людям в прошлом, больше нельзя относиться как к бесспорным.
Как-то я присутствовал на обеде в кругу врачей. Непринужденно беседуя между собой и не боясь высказывать вещи необычные, они стали обсуждать возможности решительного наступления на болезнь, называемую дегенерацией человеческого организма, или попросту старостью. Они не рассматривали этот вопрос вне конкретных возможностей и средств, необходимых для такого наступления, но основное внимание спорящих сосредоточилось на его конечных результатах. Собеседники стремились заглянуть вперед, в тот, быть может, не такой уже далекий завтрашний день, когда момент неизбежной смерти можно будет отдалять, вероятно, в необозримое будущее, а сама смерть станет столь же случайной, как это бывает у гигантских секвой и, кажется, у некоторых рыб.
Я не утверждаю, что они были правы в своих предположениях (и я совершенно уверен, что они и не претендовали на что-либо большее, чем предположения), но имена ученых, поддерживающих эту гипотезу, были настолько авторитетны – среди них был даже нобелевский лауреат, – что я не мог себе позволить отнестись к их высказываниям пренебрежительно. И хотя гипотеза будущего сверхдолголетия человека на первый взгляд могла показаться чрезвычайно утешительной, ее осуществление было бы страшным несчастьем, и прежде всего для врачей. Ибо сразу становится ясным одно – человечество не смогло бы долго вынести бесконечного продления всех жизней, которые рождаются на Земле.
И дело не только в том, что часть населения, не способная поддерживать собственное существование, намного превзойдет числом ту часть населения, от которой ее существование зависит; беда и в том, что, пребывая в вечном неоплатном долгу перед пришельцами из прошлого, мы окажемся совершенно неподготовленными к решению тех проблем, которые поставит перед нами будущее.
Ситуация, при которой жизнь всех граждан может продолжаться сколь угодно долго, немыслима. Если же, однако, возможность бесконечного продления жизни осуществится, то решение положить предел чьей-либо жизни или хотя бы отказаться от продления ее станет делом врачебной морали.
Но как же тогда быть с престижем врачей, в которых мы привыкли видеть священнослужителей, борющихся со смертью, беззаветных слуг милосердия?
Я допускаю, что даже в наше время встречаются случаи, когда врачи считают своим долгом не принимать меры для продления жизни бесполезной, невыносимо мучительной. Не лучше ли отказаться от перевязывания пуповины новорожденному уроду и облегчить смерть старику, страдающему от неоперируемого рака и гибнущему от гипостатической пневмонии, этого «друга стариков», вместо того чтобы ценой нечеловеческих страданий еще немного продлить его жизнь. Чаще всего такие вещи делаются без шума и с должным соблюдением приличий, и только когда какой-нибудь невоздержанный на язык дурак выбалтывает врачебную тайну, она становится достоянием газет и судов, поднимающих шум о «насильственном умерщвлении».
Но что будет, если подобные решения станут не редким и непредвидимым исключением, а должны будут приниматься почти в каждом случае, связанном со смертельным исходом? Что будет, если каждый больной начнет относиться к врачу не только как к спасителю, но и как к своему возможному палачу? Сможет ли врач нести бремя доверенных ему сил добра и зла? Сможет ли человечество само выносить этот новый порядок вещей?
Относительно легко отстаивать добро и сокрушать зло, когда они четко отделены друг от друга разграничительными линиями и когда те, кто находится по ту сторону, – наши явные враги, а те, кто по эту сторону, – наши верные союзники. Но как быть, если в каждом случае мы должны спрашивать, где друг и где враг? Как же нам быть, если, помимо этого, мы еще передали решение важнейших вопросов в руки неумолимого чародея или, если угодно, неумолимой кибернетической машины, которой мы должны задавать вопросы правильно и, так сказать, наперед, еще не разобравшись полностью в существе того процесса, который вырабатывает ответы? Можно ли в этих условиях доверять обезьяньей лапе, у которой мы попросили двести фунтов стерлингов?
Нет, будущее оставляет мало надежд для тех, кто ожидает, что наши новые механические рабы создадут для нас мир, в котором мы будем освобождены от необходимости мыслить. Помочь они нам могут, но при условии, что наши честь и разум будут удовлетворять требованиям самой высокой морали.
Мир будущего потребует еще более суровой борьбы против ограниченности нашего разума, он не позволит нам возлежать на ложе, ожидая появления наших роботов-рабов.
VI
Одна из великих проблем, с которой мы неизбежно столкнемся в будущем, – это проблема взаимоотношения человека и машины, проблема правильного распределения функций между ними. На первый взгляд может показаться, что машина обладает рядом очевидных преимуществ. В самом деле, она работает быстрее и с большим единообразием или по крайней мере может обладать этими свойствами, если ее правильно построить. Цифровая вычислительная машина за один день может выполнить такой объем работы, с которым целой команде вычислителей не справиться и за год, притом работа будет выполнена с наименьшим количеством ошибок.
Вместе с тем человек обладает несомненными преимуществами. Не говоря уже о том, что любой разумный человек во взаимоотношениях с машиной считает первостепенными свои, человеческие цели, машина в сравнении с человеком далеко не так сложна, а сфера ее действий, взятых в их многообразии, гораздо меньше. Если объем нейрона серого вещества мозга мы примем равным 1/1000000 кубического миллиметра, а объем наименьшего из современных транзисторов – порядка одного кубического миллиметра, то такая оценка не будет слишком неблагоприятной с точки зрения преимуществ нейрона. Если белое вещество мозга считать эквивалентным схеме соединений вычислительной машины, а каждый нейрон рассматривать как функциональный аналог транзистора, то гипотетическая вычислительная машина, эквивалентная мозгу, разместилась бы в шаре около девяти метров диаметром. В действительности было бы невозможно построить вычислительную машину с плотностью монтажа, в какой-то мере сходной с относительной плотностью мозгового вещества, а любая вычислительная машина, по своим возможностям сравнимая с мозгом, имела бы размеры довольно большого административного здания, если не небоскреба[15]. Вряд ли можно считать, что мозг в сравнении с современными вычислительными машинами не имеет определенных преимуществ, связанных с его огромным функциональным диапазоном, несоизмеримо большим, чем можно было бы ожидать, учитывая его физические размеры.
Главное из этих преимуществ – по-видимому, способность мозга оперировать с нечетко очерченными понятиями. В таких случаях вычислительные машины, по крайней мере в настоящее время, почти не способны к самопрограммированию. Между тем наш мозг свободно воспринимает стихи, романы, картины, содержание которых любая вычислительная машина должна была бы отбросить, как нечто аморфное.
Отдайте же человеку – человеческое, а вычислительной машине – машинное. В этом и должна, по-видимому, заключаться разумная линия поведения при организации совместных действий людей и машин. Линия эта в равной мере далека и от устремлений машинопоклонников, и от воззрений тех, кто во всяком использовании механических помощников в умственной деятельности усматривает кощунство и принижение человека. В наше время мы остро нуждаемся в объективном изучении систем, включающих и биологические, и механические элементы. К оценке возможностей этих систем нельзя подходить предвзято, то есть с позиции механистического или антимеханистического толка. Я думаю, что такие исследования уже начались и что они позволят лучше понять проблемы автоматизации.
Одна из областей, в которых мы можем использовать и используем такие смешанные системы, – это создание протезов, устройств, которые заменяют конечности или поврежденные органы чувств. Деревянная нога – это просто механическая замена утраченной ноги из плоти и крови, а человек с деревянной ногой представляет собой систему, состоящую из механических и биологических элементов.
Пожалуй, классическая деревяшка вместо ноги не столь интересна, поскольку она заменяет утраченную конечность самым примитивным способом; ненамного больший интерес представляет и деревянный протез, имеющий форму ноги. Впрочем, немалая работа над созданием искусственных конечностей ведется в России, США и в других странах группой ученых, к которой принадлежу и я. Эта работа по своим принципам намного интересней, так как она действительно использует кибернетические идеи.
Представим себе, что человек лишился кисти руки. Он лишился некоторых мышц, которые позволяли ему в основном сжимать и разжимать пальцы, однако большая часть мышц, обычно двигающих рукой и пальцами, сохранилась в культе локтевой части руки. При соответствующем воздействии эти мышцы, хотя они и не могут привести в движение кисть или пальцы, которых нет, вызывают определенные электрические эффекты, называемые потенциалами действия. Эти потенциалы могут восприниматься соответствующими электродами, а затем усиливаться и комбинироваться транзисторными схемами. Такие потенциалы можно использовать для управления движениями искусственной руки при помощи миниатюрных электромоторов, которые питаются от батарей или аккумуляторов, а сигналы управления получают от транзисторных усилителей. Источником управляющих сигналов служит обычно центральная часть неповрежденной нервной сети, которая и должна быть использована в таких случаях.
Подобные искусственные руки уже были изготовлены в России, и они даже позволили некоторым инвалидам вернуться к продуктивному труду. Это стало возможно благодаря тому, что некоторые нервные сигналы, которые вызывали эффективную мышечную реакцию до ампутации, остаются эффективными и при управлении искусственной рукой при помощи миниатюрного электромотора. Поэтому изучение возможностей использования таких искусственных рук стало гораздо более легким и естественным делом.
Однако искусственная рука в подобном виде не может осязать предметы, тогда как естественная рука служит в такой же мере органом осязания, как и движения. Но позвольте, почему же искусственная рука не может осязать? Не представляет труда вмонтировать датчик давления в пальцы искусственной руки так, чтобы электрические импульсы передавались от них в соответствующую цепь. Последняя в свою очередь заставляет работать устройство, воздействующее на живую ткань, например на кожу культи. Такими устройствами могут быть, например, вибраторы. Этим методом мы можем вызвать искусственное осязательное ощущение и научиться заменять им аналогичные естественные восприятия. Более того, в поврежденных мышцах имеются чувствительные (сенсорные) кинестатические элементы, которые могут быть также использованы для подобных целей.
Таким образом, становится возможной новая техника протезирования, основанная на создании смешанных систем, состоящих из биологических и механических частей. Однако новую технику не следует ограничивать только задачами замены утраченных частей тела. Существуют протезы и для таких органов, которых человек не имеет и никогда не имел. Дельфин прокладывает себе путь в воде при помощи плавников и обходит препятствия, вслушиваясь в отраженные от них звуки, которые он сам порождает. Что такое винт корабля, как не пара искусственных плавников? А не является ли эхолот, измеряющий глубину моря под кораблем, заменителем биологических механизмов, излучающих и обнаруживающих звук, подобных тем, которые есть у дельфина? Крылья и реактивные двигатели самолета заменяют крылья орла, а радиолокатор заменяет его глаза, в то время как «нервная система», которая объединяет и координирует эти органы, – это автопилот и другие навигационные устройства.
Следовательно, механо-биологические системы находят широкое применение, а в некоторых случаях просто незаменимы. Мы уже видели, что обучающиеся машины должны действовать в соответствии с некоторыми нормами «хорошего» поведения. Определение этих норм не вызывает затруднений в случае играющих автоматов, когда допустимые ходы произвольно устанавливаются заранее, а цель игры – выигрыш, достигаемый по правилам, которые определяются, исходя из строгих условий выигрыша или проигрыша. Однако существует много видов деятельности, которые мы хотели бы усовершенствовать с помощью процесса обучения; их успешность может быть оценена на основе ряда критериев, включающих суждения человека. Преобразование таких критериев в формальные правила – нелегкая задача.
Одна из сфер человеческой деятельности, которая остро нуждается в автоматизации и где ощущается потенциальная необходимость в самообучающихся автоматах, – это машинный перевод. В свете нынешнего метастабильного состояния международной обстановки США и Россия испытывают взаимную потребность в информации о том, что говорит и думает другая сторона. Поскольку в обеих странах число высококвалифицированных переводчиков ограниченно, каждая страна исследует возможности машинного перевода. Такой перевод, выполняемый по определенному образцу, осуществим, но ни его литературные, ни смысловые достоинства не вызвали большого энтузиазма в обеих странах. Ни одна из систем машинного перевода не доказала, что она заслуживает доверия в тех случаях, когда от точности перевода зависит принятие важных решений.
Вероятно, наиболее обещающий путь автоматизации перевода состоит в применении обучающихся машин. Для обеспечения успешной работы таких машин должен быть найден твердый критерий хорошего перевода. Такой критерий можно получить двумя путями: либо мы должны иметь полный набор объективно применяемых правил, позволяющих оценить качество перевода, либо мы должны располагать средством, которое само способно выработать и применить критерий хорошего перевода независимо от таких правил.
Обычный критерий хорошего перевода – его понятность. Люди, читающие текст перевода, должны получить то же впечатление, что и люди, читающие этот текст на языке оригинала. Если использовать такой критерий затруднительно, то можно дать другой – необходимый, хотя и недостаточный. Представим себе, что у нас есть две независимые переводные машины: одна, например, переводит с английского языка на датский, другая – с датского на английский. После того как первая машина переведет с английского на датский, пусть вторая машина выполнит обратный перевод с датского на английский. В этом случае окончательный перевод должен быть эквивалентен (с допустимыми расхождениями) оригиналу, что устанавливается лицом, знающим английский язык.
Можно представить себе набор формальных правил такого перевода, настолько четко определенных, что их можно доверить машине, и притом столь совершенных, что они позволят получить перевод, удовлетворяющий данному выше критерию. Я не думаю, однако, что наука о языке продвинулась настолько, что она способна уже сегодня дать нам такой набор правил, или что вообще существуют какие-либо перспективы для такого прогресса в ближайшем будущем. Говоря кратко, положение вещей таково, что в машинном переводе всегда есть вероятность ошибки. Если на основании данных машинного перевода принимается какое-либо ответственное решение, связанное с конкретными действиями или политикой, то небольшая ошибка или даже малая ее вероятность могут привести к чрезвычайно серьезным последствиям.
На мой взгляд, наиболее обнадеживающий путь осуществления машинного перевода состоит в замене чисто машинной системы – по крайней мере на начальных этапах – системой механо-биологической, включающей в качестве критика и эксперта человека – опытного переводчика, который обучает машинную часть системы с помощью упражнений, подобно тому как школьный учитель обучает своих учеников. Вероятно, на более поздних этапах в памяти машины накопится достаточное количество указаний, запрограммированных человеком, что позволит впоследствии машине распрощаться с соучастием человека, за исключением, возможно, случаев, когда время от времени понадобится освежать курс. Таким образом машина сможет приобрести лингвистический опыт.
Подобная схема перевода не исключает необходимости в опытном лингвисте, способности и суждения которого пользуются полным доверием. При такой системе он обработал бы (или смог бы обработать в будущем) значительно больший объем переводного текста, нежели при отсутствии машинного помощника. Большего, по-моему, мы и не можем ждать от машинного перевода.
