# Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание

Рэй Курцвейл

Известный изобретатель и футуролог прогнозирует то, как технологии изменят человечество в ближайшем будущем.

Какие перемены нас ждут (или нет):

– рост технологий, что увеличит человеческий интеллект в миллион раз;

– перестройка мира с помощью наноботов;

– продление жизни за пределы 120 лет;

– подключение наших мозгов к «облаку»;

– виртуальное оживление умерших через данные и ДНК.

Курцвейл анализирует свои прежние предсказания и рассматривает дальнейшее влияние технологий на человечество. Он затрагивает темы радикального продления жизни, наномедицины, роста возобновляемых источников энергии и многие другие, а также предупреждает об опасностях, связанных со стремительным развитием биотехнологий, нанотехнологий и ИИ.

В формате PDF A4 сохранён издательский дизайн.

Copyright © 2024 by Ray Kurzweil

All rights reserved including the right of reproduction in whole or in part in any form. This edition published by arrangement with Viking, an imprint of Penguin Publishing Group, a division of Penguin Random House LLC.


© Алексеев А. А., перевод на русский язык, 2025

© Оформление. ООО «Издательство «Эксмо», 2025

* * *

> Соне Розенвальд Курцвейл, которую я знаю – и люблю – вот уже пятьдесят лет!


## Благодарности

Я хотел бы выразить благодарность моей жене Соне за ее любовь и поддержку в перипетиях творческого процесса и за то, что она делилась со мной идеями в течение пятидесяти лет.

Моим детям Итану и Эми, моей невестке Ребекке, моему зятю Джейкобу, моей сестре Энид и моим внукам Лео, Наоми и Куинси за их любовь, энтузиазм и блестящие идеи.

Моим покойным родителям, Ханне и Фредрику, которые во время прогулок по нью-йоркским лесам рассказывали мне о силе идей и давали мне свободу познавать мир, когда я был еще ребенком.

Джону-Кларку Левину за его тщательные исследования и вдумчивый анализ данных, которые легли в основу этой книги.

Моему давнему редактору в издательстве Viking Рику Коту за его решительность, мудрое руководство и профессиональную редактуру.

Нику Маллендору, моему литературному агенту, за его прозорливость и энтузиазм.

Аарону Клейнеру, моему давнему деловому партнеру (с 1973 года), за его преданность и поддержку на протяжении последних пятидесяти лет.

Нанде Баркер-Хук за ее квалифицированную помощь в написании текстов и организацию моих выступлений.

Саре Блэк за ее выдающиеся исследовательские гипотезы и систематизацию идей.

Селии Блэк-Брукс за ее поддержку и разработку обстоятельной стратегии по распространению моих идей по всему миру.

Дениз Скутелларо за умелое администрирование моей деловой активности.

Лаксману Фрэнку за превосходный графический дизайн и иллюстрации.

Эми Курцвейл и Ребекке Курцвейл за их советы по писательскому мастерству и за их собственные замечательные и очень успешные книги.

Мартине Ротблатт за ее преданную работу над всеми технологиями, о которых я пишу в этой книге, и за наше многолетнее сотрудничество в разработке выдающихся образцов этих технологий.

Моей команде, которая оказала огромную поддержку этому проекту в части исследований, написания текстов и логистики, включая Амару Анжелику, Аарона Клейнера, Боба Била, Нанду Баркер-Хук, Селию Блэк-Брукс, Джона-Кларка Левина, Дениз Скутелларо, Джоан Уолш, Мэрилу Соуза, Линдси Боффоли, Кена Линда, Лаксмана Фрэнка, Марию Эллис, Сару Блэк, Эмили Брэнган и Кэтрин Миронюк.

Опытной и преданной своему делу команде издательства Viking Penguin, включая Рика Кота, ответственного редактора; Эллисон Лоренцен, ответственного редактора; Камиллу Леблан, помощника редактора; Брайана Тарта, издателя; Кейт Старк, заместителя издателя; Кэролин Коулберн, директора по связям с общественностью; и Мэри Стоун, директора по маркетингу.

Питеру Джейкобсу из Агентства талантов (CAA) за его неоценимую поддержку в организации моих выступлений.

Командам Fortier Public Relations и Book Highlight за их исключительный опыт в области связей с общественностью и стратегическое руководство распространением этой книги по всему миру.

Коллегам и всем читателям, которые поделились со мной множеством интересных творческих идей.

И, наконец, всем людям, у которых хватает смелости подвергать сомнению устаревшие представления и использовать свое воображение, чтобы делать то, чего никто раньше не делал. Все вы меня вдохновляете.

## Введение

В 2005 году в своей книге «Сингулярность уже близка» я выдвинул гипотезу, что экспоненциальное развитие технологий в ряде взаимосвязанных областей приведет человечество к фундаментальным переменам. Стремительный прогресс затрагивает несколько важнейших сфер человеческой деятельности: вычислительные мощности непрерывно дешевеют; биология человека все лучше поддается пониманию; технологические процессы в электронике становятся все более совершенными, и работа идет на все меньших масштабах. По мере роста способностей искусственного интеллекта и объемов доступных данных цифровые системы оказываются все плотнее интегрированы в работу нашего биологического разума. В конце концов, благодаря нанотехнологиям мы сможем напрямую подключить наш мозг к многослойным облачным нейросетям, что и станет кульминационной точкой в развитии информационных технологий. Мы станем едины с искусственным интеллектом, получив в свое распоряжение вычислительную мощь, в миллионы раз превосходящую ту, что подарила нам природа. Это расширит возможности нашего разума и раздвинет пределы сознания в такой степени, что пока мы даже не в состоянии этого представить. Именно это я имею в виду, когда говорю о достижении Сингулярности.

Термин «Сингулярность» возник в точных науках. В математике он используется для обозначения точки, значение функции в которой невозможно определить, например, из-за невозможности деления на нуль. В физике сингулярность – это точка в центре черной дыры, где плотность вещества стремится к бесконечности и обычные законы физики перестают действовать. Важно отметить, что в нашем контексте мы не будем использовать этот термин в его буквальном значении. Мое понимание технологической Сингулярности не предполагает, что прогресс на самом деле будет идти с бесконечной скоростью, как не означают ничего подобного ни экспоненциальный закон, ни физическая Сингулярность. Черная дыра обладает настолько сильной гравитацией, что даже свет не может ее преодолеть, но квантовая механика не располагает средствами, которыми можно было бы описать объекты в самом деле бесконечной массы. Говоря о Сингулярности, я подразумеваю, что масштаб предстоящих перемен непостижим на текущем уровне развития нашего интеллекта. После преодоления этого рубежа наши способности к познанию за короткий срок должным образом адаптируются.

В своей книге «Сингулярность уже близка» я подробно рассказывал о том, как наблюдаемые долгосрочные процессы могут привести к наступлению Сингулярности примерно в 2045 году, то есть через 40 лет – два поколения – после выхода книги в свет. Даже на таком расстоянии я уже мог делать прогнозы о том, какие силы приведут к этой фундаментальной трансформации, но для большинства читателей в 2005 году эти вопросы не казались достаточно насущными. Многие критики считали, что я слишком оптимистично оцениваю сроки наступления Сингулярности, а некоторые даже полагали, что она вообще невозможна.

С тех пор произошли удивительные события. Вопреки прогнозам скептиков, мы не наблюдаем замедления темпов прогресса. Смартфоны и социальные сети, которых в 2005 году еще практически не существовало, теперь стали неотъемлемой частью нашей повседневной жизни, позволяя большей части населения мира оставаться на связи без перебоев. Разработка новых алгоритмов и появление методов анализа больших объемов данных позволили машинному интеллекту достичь впечатляющих результатов даже быстрее, чем ожидали эксперты в области компьютерных технологий. Теперь ИИ может играть в «Джеопарди!» и го, водить машину, писать сочинения, сдавать экзамены на вступление в коллегию адвокатов и даже диагностировать рак. Мощные и гибкие языковые модели, такие как GPT-4 и Gemini, способны писать программный код на основе инструкций на естественном языке, что еще больше стирает границы между людьми и машинами. Когда вы будете читать эти строки, вполне вероятно, десятки миллионов людей уже смогут напрямую использовать возможности ИИ. Тем временем стоимость расшифровки генома человека снизилась на 99,997 %, а нейронные сети начали совершать открытия в медицине путем моделирования биологических процессов. Кроме того, в ближайшем будущем нам удастся подключить компьютеры непосредственно к мозгу.

В основе этих достижений лежит принцип, который я называю законом ускорения отдачи. Он гласит, что стоимость продуктов информационных технологий снижается в геометрической прогрессии, поскольку каждое новое открытие делает разработку следующих поколений таких инструментов более простой. В результате к моменту написания этой книги один доллар, потраченный на информационные технологии, обеспечивает в 11 200 раз больше вычислительной мощности (с учетом инфляции), чем в год выхода книги «Сингулярность уже близка».

На рисунке, который мы подробно обсудим в следующих главах, показан ключевой фактор, способствующий нашему техническому прогрессу. Это экспоненциальный рост вычислительной мощности, доступной за один доллар, который представлен прямой линией в логарифмических координатах на длительном временном интервале. Как известно, закон Мура гласит, что размер транзисторов постоянно уменьшается, что делает компьютеры все более быстрыми. Однако это лишь одно из проявлений закона ускорения отдачи, который действовал задолго до изобретения транзисторов и будет действовать даже после того, как дальнейшее развитие транзисторов станет физически невозможным и на смену им придут новые технологии. Закономерность, представленная на этом рисунке, сформировала современный облик нашего мира. Практически каждый прорыв в развитии, о котором мы расскажем в этой книге, прямо или косвенно связан с этим фактом.


Мы уверенно и неотвратимо движемся к Сингулярности. Эта книга актуальна, потому что изменения, которые мы переживаем, носят беспрецедентный характер. Закономерности, которые в начале века были едва заметны, теперь затрагивают судьбы миллиардов людей. В начале 2020-х годов мы оказались на крутом участке экспоненциальной кривой, и скорость внедрения инноваций, кажется, не имеет преград. Только представьте: день, когда вы читаете эти строки, гораздо ближе к созданию первого искусственного интеллекта, превосходящего человеческий разум, чем к выходу моей предыдущей книги «Эволюция разума» (2012). И, вероятно, ближе к Сингулярности, чем к публикации «Века духовных машин» (1999). Если говорить о человеческой жизни, то дети, рождающиеся сегодня, к моменту наступления Сингулярности будут как раз оканчивать обучение в колледже. Эта «близость» ощущается гораздо реальнее, чем представлялось в 2005 году.

Вот почему настало время для этой книги. Путь к Сингулярности занял у человечества тысячелетия, и сейчас мы приближаемся к финишу, переходя на быстрый бег. Как я уже говорил в предисловии к книге «Сингулярность уже близка», на момент ее выхода мы «находились на начальном этапе переходного процесса». Теперь же мы достигли его кульминации. Если тогда мы только пытались разглядеть линию горизонта, то сейчас готовы преодолеть последние несколько километров пути.

К счастью, дорога вперед теперь ясно видна. Хотя нам нужно преодолеть еще немало технических сложностей, прежде чем мы достигнем Сингулярности, тем не менее наши основные задачи в этой области стремительно переходят из разряда сугубо теоретических исследований в область практических экспериментов. В ближайшее десятилетие нам предстоит найти общий язык с ИИ, который будет удивительно похож на человеческий разум, а простейшие интерфейсы мозг-компьютер станут частью повседневной жизни, как смартфоны сегодня. Цифровая революция в медицине поможет справиться с множеством заболеваний и существенно продлить период здоровой и активной жизни. В то же время многие работники пострадают из-за экономических потрясений, и все мы в той или иной мере столкнемся с рисками, связанными со злоупотреблением новыми техническими возможностями. По ходу 2030-х годов искусственный интеллект, совершенствующий сам себя, и продвинутые нанотехнологии позволят нам соединиться с построенными нами же машинами, создав как новые возможности, так и неожиданные опасности. Если мы преодолеем технические трудности и решим этические, социальные и политические вопросы, которые встанут перед нами благодаря этим достижениям, то к 2045 году условия жизни на Земле значительно улучшатся. Если же мы потерпим неудачу, под угрозой окажется само существование человечества. В этой книге мы поговорим о последнем отрезке пути к Сингулярности – о наших надеждах и подстерегающих нас опасностях в последние годы существования мира, каким мы знали его до сих пор.

Прежде всего, мы рассмотрим, как именно наступит Сингулярность, и увидим, что это событие является результатом длительных усилий нашей цивилизации по созданию искусственного интеллекта, подобного нашему собственному. Создание искусственного разума, основанного на научных и технических достижениях, неизбежно влечет за собой глубокие философские вопросы. Нам предстоит осмыслить, как грядущие перемены отразятся на нашем восприятии самих себя и на понимании смысла нашего существования. Затем мы обратимся к практическим тенденциям, которые будут преобладать в ближайшие десятилетия. Мы увидим, как закон ускорения отдачи способствует экспоненциальному росту уровня жизни человека по самым различным показателям. Одним же из главных негативных последствий быстрого внедрения инноваций является рост безработицы, вызванный автоматизацией различных процессов. Однако, несмотря на эту проблему, долгосрочные прогнозы оптимистичны, и мы, по сути, не находимся в состоянии конкуренции с искусственным интеллектом.

По мере того как новые технологии будут открывать перед нами все новые горизонты материального изобилия, мы постепенно приблизимся к преодолению следующего препятствия на пути к полному процветанию: хрупкости нашего биологического тела. Следующим шагом станет создание средств, которые позволят нам совершенствовать нашу биологию. Сначала нам нужно будет остановить старение нашего организма, а затем найти способ расширить возможности мозга, что приблизит нас к Сингулярности. Однако такие открытия могут нести в себе и угрозу. Революционные достижения в области биотехнологий, нанотехнологий и искусственного интеллекта могут привести к экзистенциальным катастрофам, таким как разрушительные пандемии или цепные реакции самовоспроизводящихся опасных механизмов. В заключительной части книги мы оценим эти риски, избежать которых будет сложно без тщательного планирования. Однако, как я постараюсь показать, существуют многообещающие подходы к их нейтрализации.

Нам посчастливилось жить в самые интересные и важные времена за всю историю человечества. Никто не знает, какой будет жизнь после наступления Сингулярности. Однако, разобравшись в том, что происходит, и подготовившись к предстоящим переменам, мы можем надеяться, что наша цивилизация успешно преодолеет этот этап своего развития.

## Глава 1. На какой из шести стадий мы находимся?

В книге «Сингулярность уже близка» я предложил рассматривать информацию как основу для возникновения сознания. С момента зарождения Вселенной я выделил шесть эр, или стадий, на каждой из которых с помощью доступных средств обработки информации создаются условия для перехода к следующей. Таким образом, на каждом этапе различные процессы прямо или косвенно способствуют эволюции разума.

Начало Первой эры было ознаменовано появлением законов физики и зарождением химии на их основе. Спустя несколько сотен тысяч лет после Большого взрыва начали формироваться атомы, состоящие из протонно-нейтронного ядра, окруженного электронами. Положительно заряженные протоны в ядре атома не должны находиться так близко друг к другу из-за взаимного отталкивания, возникающего в результате электромагнитного взаимодействия. Однако существует отдельное явление, называемое сильным ядерным взаимодействием, которое обеспечивает целостность ядра. Кто бы ни проектировал законы Вселенной, он позаботился о существовании этой силы, без которой атомы не смогли бы образоваться.

Спустя миллиарды лет из атомов сформировались сложные молекулы, содержащие уникальную информацию. Одним из ключевых элементов в этом процессе стал углерод, способный образовывать четыре связи вместо одной, двух или трех, как большинство других атомных ядер. Нам невероятно повезло, что в нашей Вселенной существует такая сложная химия. Если бы гравитация была немного слабее, сверхновые звезды стали бы невозможны, а вместе с ними и химические элементы, из которых состоит жизнь. А если бы гравитация была чуть сильнее, звезды бы выгорали раньше, чем успела бы развиться разумная жизнь. То есть даже одна гравитационная постоянная должна была попасть в очень узкий диапазон значений, чтобы мы могли появиться на свет. Мы живем в тщательно настроенной Вселенной, которая обеспечивает необходимый уровень порядка для успешной эволюции. Несколько миллиардов лет назад началась Вторая эра – эра жизни. Образовались сложные молекулы, способные хранить информацию о целом организме. Благодаря этому живые существа, каждое со своим уникальным набором ДНК, смогли эволюционировать и распространяться по планете.

Третья эра ознаменовалась появлением у живых организмов, созданных на основе ДНК, мозга, который, в свою очередь, может хранить и обрабатывать информацию. Наличие мозга оказалось огромным эволюционным преимуществом, поэтому на протяжении миллионов лет его устройство становилось все более сложным.

В ходе Четвертой эры животные научились использовать высокоуровневые когнитивные функции, а также большие пальцы передних конечностей для совершения сложных действий. Так появился человек. Как биологический вид мы сумели применить свои способности и создать средства для хранения, передачи и преобразования информации. Эти технологии, начиная с папируса и заканчивая накопителями на магнитных дисках, дополнили возможности нашего мозга по восприятию, извлечению из памяти и распознаванию образов. Это стало новым этапом эволюции, более значительным, чем предыдущие достижения. В то время как мозг увеличивался в размерах примерно на один кубический дюйм каждые 100 тысяч лет, цифровая революция обеспечивает двукратный прирост вычислительной мощности при той же стоимости каждые 16 месяцев.

При переходе к Пятой эре мы напрямую соединим наш разум с высокоскоростными цифровыми технологиями с помощью так называемого «интерфейса мозг-компьютер». Мозг человека обрабатывает информацию со скоростью несколько сотен циклов в секунду, в то время как электронный мозг – миллиарды циклов в секунду. Вдобавок к увеличению скорости мышления и объема памяти расширение нашего мозга с помощью компьютерных технологий позволит нам добавить к нашему неокортексу много новых иерархических слоев, что выведет наше абстрактное мышление на такой уровень сложности, который мы сейчас даже не можем себе вообразить.

По ходу Шестой эры наш разум распространится по всей Вселенной, превращая любое вещество в компьютрониум – особую форму материи, внутреннее устройство которой позволяет производить вычисления с максимальной эффективностью.

В своей книге «Век духовных машин», вышедшей в 1999 году, я высказал мнение, что искусственный интеллект сможет пройти тест Тьюринга – а именно: успешно притвориться человеком, общаясь с помощью текстовых сообщений – не позднее 2029 года. Я подтвердил свой прогноз в книге «Сингулярность уже близка», опубликованной в 2005 году. Прохождение теста Тьюринга будет означать, что ИИ освоил язык и способен рассуждать на уровне человека. Концепцию этого теста в 1950 году предложил Алан Тьюринг[1]. Однако он не уточнил, каким именно образом следует проводить экзамен. Мы с Митчем Капором заключили пари насчет моего прогноза, ориентируясь на разработанный нами вариант правил, намного более строгий, чем те, что обсуждались ранее в связи с этим вопросом.

Я отдавал себе отчет, что для успешного прохождения ИИ теста Тьюринга к 2029 году разработчикам нужно будет преодолеть немало технических сложностей уже к 2020-му. В самом деле, за последние десятилетия ИИ успешно справился с рядом сложных задач, поставленных перед ним человечеством: от игр, таких как «Джеопарди!» и го, до важнейших прикладных задач, таких как лучевая диагностика и разработка лекарств. Сегодня передовые нейронные сети, в частности Gemini и GPT-4, постоянно совершенствуют свои возможности, расширяя круг подвластных им областей деятельности и все сильнее приближая нас к созданию искусственного интеллекта общего назначения.

Строго говоря, чтобы пройти тест Тьюринга, ИИ придется притвориться существенно менее продвинутым во многих аспектах, иначе он быстро выдаст себя. Например, мгновенно решая любую математическую задачу, он провалит тест. Поэтому на стадии успешного прохождения теста Тьюринга ИИ будет обладать способностями, значительно превосходящими уровень мастерства лучших представителей человечества почти во всех областях.

Мы живем в последние годы Четвертой эры и уже сталкиваемся с трудностями в понимании результатов, которые получаем с помощью самых современных технологий. Мы активно работаем над устранением недостатков искусственного интеллекта, которые пока не позволяют ему пройти тест Тьюринга, и добились заметных успехов. Как только ИИ сможет успешно пройти тест Тьюринга, начнется Пятая эра обработки информации.

Ключевым событием в 2030-х годах будет установление прямой связи между новой корой головного мозга человека и облачной вычислительной платформой, что существенно расширит наши умственные способности. В этом смысле ИИ вместо конкурента станет дополнением человека. Когда это произойдет, электронные части нашего разума обеспечат нам в тысячи раз большую интеллектуальную мощь, чем мог бы биологический мозг.

Стремительное развитие технологий приведет к тому, что к 2045 году возможности нашего разума увеличатся в миллионы раз. Этот невообразимый масштаб грядущих перемен позволяет метафорически описать события, которые нас ждут в ближайшем будущем, как достижение сингулярности.

## Глава 2. Изобретая разум заново

### Что значит воссоздать разум?

Если рассматривать историю Вселенной как эволюцию способов обработки информации, то человек появляется во второй половине этого долгого и удивительного пути. Именно нам предстоит совершить переход от животных, мозг которых состоит из биологического материала, к трансцендентным существам, чья сила разума не ограничена возможностями, которые дает генетика. В 2020-х годах начнется заключительная фаза этого перехода: мы воссоздадим интеллект, который подарила нам природа, только на более совершенном цифровом носителе, а затем сделаем его частью себя. В этот момент Четвертая эра в истории Вселенной закончится и начнется Пятая.

Но каким конкретно образом это произойдет? Чтобы понять, что значит воссоздать мышление, для начала мы вспомним историю появления искусственного интеллекта и два различных подхода, которые возникли в связи с ним. Обратившись к нейробиологии, мы узнаем, как мозжечок и новая кора полушарий головного мозга создают наш разум, и разберемся, почему один из двух подходов оказался более подходящим. Затем мы рассмотрим технологию глубокого обучения, которая имитирует работу неокортекса, и увидим, какими еще способностями должен обладать ИИ, чтобы достичь человеческого уровня, и как мы сможем понять, что это произошло. Наконец, мы обсудим, как при поддержке сверхмощного ИИ нам удастся разработать устройства для подключения нашего мозга к компьютеру. Такие устройства позволят дополнить неокортекс новыми слоями электронных нейронов, что выведет наше мышление на принципиально новый уровень, увеличив скорость работы мозга в миллионы раз. Именно этот феномен я называю достижением Сингулярности.

### Появление искусственного интеллекта

В 1950 году британский математик Алан Тьюринг (1912–1954) опубликовал в журнале Mind статью под названием «Вычислительные машины и разум»[1]. В ней Тьюринг поставил фундаментальный вопрос: может ли машина мыслить? Хотя идея о мыслящих машинах существует со времен древнегреческого мифа о бронзовом автомате Талосе 2, заслуга Тьюринга заключается в том, что он сумел свести эту концепцию к способности, которую можно проверить на опыте. Он предложил так называемую «игру в имитацию», также известную как «тест Тьюринга», в качестве способа определить, могут ли машинные вычисления решать те же когнитивные задачи, с которыми справляется наш мозг. В рамках теста арбитры, являющиеся людьми, общаются одновременно с искусственным интеллектом и участниками-статистами через обмен текстовыми сообщениями. При этом они не имеют никакой информации о своих собеседниках. Судьи могут задавать вопросы на любые темы по своему усмотрению. Если по истечении определенного времени судьи не могут с уверенностью определить, кто из собеседников был искусственным интеллектом, а кто – человеком, то можно считать, что ИИ успешно прошел тест.

Исследователей необычайно воодушевила новая научная формулировка давнего философского вопроса. В 1956 году математик Джон Маккарти (1927–2011) предложил провести двухмесячное исследование в Дартмутском колледже в Гановере, Нью-Гэпмшир, силами группы из десяти специалистов[3]. Вот как была сформулирована задача:

> Исследование имеет своей целью проверить гипотезу, что способность к обучению или любое другое свойство интеллекта могут быть настолько тщательно формализованы, что машина сможет их имитировать. Будет предпринята попытка заставить компьютер пользоваться письменной речью, оперировать абстрактными понятиями, решать задачи, с которыми на данный момент может справиться только человек, а также научить программу совершенствовать саму себя[4].

В преддверии конференции Маккарти предложил назвать новую область науки, благодаря которой впоследствии будут автоматизированы многие процессы, «искусственным интеллектом»[5]. Я не большой поклонник этого названия, поскольку из-за него создаваемый нами разум кажется как будто ненастоящим, но именно этот термин прижился в компьютерных науках.

Исследование провели, но цели, а именно: создать вычислительную машину, способную решить задачу, сформулированную на простом человеческом языке, конечно, за отведенные два месяца не достигли. Собственно, мы до сих пор занимаемся созданием такого компьютера, причем гораздо большими силами, чем десять исследователей. По данным китайского технологического гиганта Tencent, в 2017 году количество специалистов в области искусственного интеллекта во всем мире достигло 300 0006, а в 2019 году в «Обзоре специалистов в области ИИ по всему миру» его авторы Жан-Франсуа Ганье, Грейс Кизер и Йоан Манта насчитали 22 400 экспертов, публикующих статьи с оригинальными исследованиями в области ИИ, из которых 4000 были признаны весьма влиятельными[7]. По данным Стэнфордского института искусственного интеллекта, ориентированного на человека (Stanford HAI), в 2021 году разработчики ИИ опубликовали более 496 000 статей и подали более 141 000 заявок на патенты[8]. В 2022 году корпоративные инвестиции в ИИ по всему миру составили 189 миллиардов долларов, увеличившись в 13 раз за прошедшее десятилетие[9]. К моменту выхода этой книги суммы будут еще более внушительными.

Все это сложно было себе представить в 1956-м, когда участники Дартмутской конференции поставили перед собой задачу, которая не уступала по сложности созданию ИИ, способного пройти тест Тьюринга. Я уверен, что мы достигнем этого уже к 2029 году, и я не изменил своего прогноза, который опубликовал в 1999 году в книге «Век духовных машин»[10]. В те времена многие обозреватели сходились во мнении, что такого уровня технологий мы не достигнем никогда. Даже совсем недавно коллеги по отрасли считали мой прогноз чересчур оптимистичным. Например, опрос, проведенный в 2018 году, показал, что в среднем эксперты в сфере ИИ считают, что вычислительные машины не достигнут уровня человеческого интеллекта раньше 2060 года[11]. Однако в свете последних успехов в разработке больших языковых моделей многие ученые скорректировали свои ожидания. Когда я писал черновик этой книги, на сайте платформы для прогнозов Metaculus мнения относительно времени создания достаточно мощного ИИ колебались от 2040-х до 2050-х годов. Но темпы прогресса в последние два года вновь превзошли ожидания, и к маю 2022 года консенсус среди участников на Metaculus стал соответствовать обозначенной мной дате: 2029 год12. С тех пор высказывались и более смелые мнения, в частности, говорили о 2026 годе, так что технически мой изначальный прогноз теперь можно считать консервативным[13].

Последнее время новые достижения в сфере ИИ поражают даже экспертов. Открытия не только происходят раньше, чем ожидалось, но главное, что они случаются внезапно, а не назревают в течение долгого времени. Например, в октябре 2014-го Томазо Поджио, эксперт по ИИ и когнитивной нейробиологии из Массачусетского технологического института, отвечая на вопрос журналиста, сказал: «Задача описать, что изображено на картинке, будет одной из самых сложных для искусственного интеллекта. Чтобы приблизиться к ее решению, нам потребуется провести еще множество фундаментальных исследований»[14]. Согласно оценке Поджио, этот рубеж должен был покориться нам лет через двадцать. Через месяц после этого интервью компания Google представила ИИ, умеющий решать ровно эту задачу – распознавать объекты на изображении. Когда обозреватель журнала New Yorker Раффи Хачадурян попросил Поджио прокомментировать это событие, тот в ответ высказал сомнение, что эта способность отражает наличие истинного интеллекта. Я пишу это не в качестве критики, а как пример общей тенденции. А именно: пока у ИИ не получается решить определенную задачу, нам кажется, что она необычайно сложна и под силу только человеку. Однако как только компьютер с ней справляется, мы склонны обесценивать это достижение. Иначе говоря, мы добились гораздо больших успехов, чем нам самим кажется задним числом. Это одна из причин, почему я не теряю веры в свой прогноз насчет 2029 года.

Почему эти открытия оказались столь неожиданными? Чтобы ответить на этот вопрос, нужно вспомнить одну дилемму, стоявшую перед теоретиками на заре развития отрасли. В 1964 году, еще будучи школьником, я познакомился с двумя выдающимися представителями направления ИИ: Марвином Минским (1927–2016), который был одним из организаторов той лаборатории по ИИ в Дартмутском колледже, и Фрэнком Розенблаттом (1928–1971). В 1965 году я поступил в МТИ, где моим научным руководителем стал Минский. В то время он занимался фундаментальными исследованиями, которые и заложили основы для резкого скачка в развитии нейросетей, произошедшего в последние годы. От него я узнал, что существуют два подхода к автоматизации решения задач: символьный и нейросетевой (так называемый «коннекционизм»).

Символьный подход опирается на перечисление правил, по которым человек, являющийся экспертом, решал бы поставленную задачу. Иногда такой подход себя оправдывает. Например, в 1959 году корпорация RAND представила «Универсальный решатель задач» – компьютерную программу, способную оперировать простыми математическими аксиомами и находить решение логических задач[15]. Герберт Саймон, Клиффорд Шоу и Аллен Ньюэлл разработали «Универсальный решатель», чтобы получить возможность решать любую задачу, которую можно сформулировать в терминах нормальных форм алгебры высказываний. Чтобы решить задачу, программа обрабатывала одну формулу (аксиому) на каждом этапе процесса, постепенно выстраивая с их помощью доказательство теоремы.

Даже если вы не знакомы с формальной логикой или теорией доказательств, понять этот принцип можно на примере алгебры. Если известно, что 2 + 7 = 9 и что к неизвестному числу прибавили 7 и получили 10, можно показать, что искомое число равно 3. Но таким путем можно получать и более сложные результаты. Когда мы задаемся вопросом, соответствует ли некий объект заданному определению, то руководствуемся такой же логикой, даже не отдавая себе в этом отчета. Допустим, мы знаем, что простое число не имеет делителей, кроме 1 и самого себя, а также, что число 11 делит число 22 пополам. Учитывая, что 1 не равно 11, мы можем заключить, что 22 не является простым числом. Имея в распоряжении самые простые и фундаментальные аксиомы, УРЗ может применить подобные рассуждения к существенно более сложным задачам. Математики, строго говоря, именно этим и занимаются, только компьютер в поисках ответа в состоянии (теоретически, по крайней мере) сопоставить аксиомы друг с другом всеми возможными способами.

Представим для наглядности, что у нас есть 10 аксиом, а для решения задачи нужно выбрать одну из них на каждом из 20 шагов. В таком случае существует 1020, то есть миллиард раз по 100 миллиардов возможных вариантов решения. В настоящее время мы можем работать с такими величинами, но у компьютеров 1959 года шансов справиться не было. Электронная вычислительная машина DEC PDP-1 могла выполнять 100 000 операций в секунду[16]. В 2023-м облачный сервер Cloud A3 компании Google способен совершать примерно 26 000 000 000 000 000 000 операций в секунду[17]. Сейчас один доллар обеспечит в 1,6 триллиона раз больше вычислительной мощности, чем во времена УРЗ18. На решение задач, с которыми современные домашние компьютеры справляются за несколько минут, у машин 1959 года ушли бы десятки тысяч лет. В попытке преодолеть вычислительные ограничения в УРЗ встроили эвристические алгоритмы, которые ранжировали возможные решения, отдавая приоритет наиболее перспективным. Иногда это срабатывало, и каждый успех вселял надежду, что рано или поздно компьютер сможет решить любую должным образом сформулированную задачу.

Еще одним примером может служить система МИЦИН, разработанная в 1970-х годах для диагностики инфекционных заболеваний и выдачи рекомендаций по лечению. В 1979 году группа экспертов сравнила результаты этой программы с назначениями докторов, и оказалось, что МИЦИН справилась с задачей как минимум не хуже, а иногда и более успешно, чем настоящий врач[19].

Типичное «правило» в программе МИЦИН выглядело так:


ЕСЛИ:

1) Заболевание, требующее лечения, – это менингит, и

2) тип инфекции – грибковая, и

3) посев не выявил роста микроорганизмов, и

4) пациент не является ослабленным, и

5) пациент побывал в районе, эндемичном по кокцидиомикозам, и

6) пациент принадлежит к одной из следующих расовых групп: афроамериканцы, азиаты, индейцы, и

7) анализ ликвора на криптококковый антиген не был положительным,


ТОГДА:

Предположительно (с вероятностью 50 %) криптококк не является одним из организмов (помимо тех, которые обнаружились в посевах или мазках), вызвавших заболевание[20].


К концу 1980-х годов так называемые «экспертные системы», подобные МИЦИН, начали использовать вероятностные модели и стали учитывать множество источников информации при принятии решений[21]. В сложных случаях одним правилом типа «если… то» не обойтись, но, скомбинировав тысячи таких логических утверждений, в рамках определенного класса задач система могла предложить достаточно надежное решение.

В рамках символьного подхода исследователи работали более полувека, но не нашли способа преодолеть «потолок сложности»[22]. Когда МИЦИН или подобные системы допускали ошибку, она поддавалась исправлению, но решение одной проблемы порождало три новые ошибки в других ситуациях. Усложнять экспертную систему удавалось лишь до определенного предела, из-за чего диапазон реальных задач, которые с таким подходом можно было решать, оказывался весьма узким.

Можно рассматривать сложность экспертных систем на основе правил с точки зрения точек отказа. Известно, что количество подмножеств у множества из n-элементов составляет 2n – 1 (не считая пустое множество). Если набор правил ИИ состоит из одного закона, то существует всего одна точка отказа: корректно это правило само по себе или нет. Если правила два, точек отказа будет уже три: две соответствуют каждому из правил в отдельности, а третья относится к их комбинации. С ростом количества правил число возможных точек отказа растет экспоненциально. Пять правил порождают 31 точку отказа, 10 правил – 1023; 100 правил – и точек отказа уже больше тысячи миллиардов умножить на миллиард и еще раз умножить на миллиард, а 1000 правил дают больше гугол умножить на гугол умножить на гугол точек отказа. Из этого, в частности, следует, что чем больше у вас в системе правил, тем больше возможных точек отказа добавит каждое дополнительное правило. Даже если ничтожно малая доля комбинаций из правил работает некорректно, рано или поздно наступит момент (когда конкретно, зависит от задачи), когда добавление нового правила, которое решает проблемную ситуацию, приведет к появлению более одной новой проблемы. Такую ситуацию и называют потолком сложности.

Вероятно, из подобных экспертных систем дольше всего разрабатывалась Cyc (от слова encyclopedic – «энциклопедический»), созданная Дугласом Ленатом и его коллегами по компании Cycorp в 1984 году[23]. Разработчики преследовали цель зафиксировать все соображения здравого смысла, которые известны людям, например, «брошенное на пол яйцо разобьется» или «ребенок, бегающий по кухне в грязной обуви, вызовет недовольство родителей». Миллионы соображений подобного рода нигде не зафиксированы, но при этом необходимы для понимания того, чем руководствуется среднестатистический человек. Однако, поскольку Cyc хранила эти знания в виде набора правил, она также оказалась подвержена проблеме потолка сложности.

В 1960-х годах мы с Минским обсуждали достоинства и недостатки символьного подхода к созданию ИИ, и в сравнении я начал осознавать преимущества сетевой парадигмы. Коннекционизм подразумевает использование сети простых узлов, которая приобретает функции интеллекта благодаря своей структуре, а не информации в отдельных узлах. Вместо сложных правил система опирается на узлы, которые сами по себе почти ничего не умеют, но, объединенные в большую сеть, способны извлекать информацию из поступающих данных. Благодаря этому такие сети способны находить закономерности, которые никогда не пришли бы в голову программистам, если бы те попытались применить символьный подход. Одним из основных преимуществ сетевого подхода является то, что с его помощью можно решать задачи, не имея готового метода. Ведь даже если бы мы в совершенстве владели навыком правильно формулировать и безошибочно переносить в программу необходимые для работы ИИ правила (а это большое «если»), нам бы все равно мешало отсутствие четкого понимания, какие из них стоит вносить в программу.

Нейронная сеть – это мощный инструмент для решения сложных задач, однако он не лишен недостатков. Построенный по такому принципу искусственный интеллект имеет обыкновение превращаться в «черный ящик». ИИ дает нам ответ, но не в состоянии пояснить, как он пришел именно к такому варианту[24]. Это свойство угрожает стать серьезной проблемой, поскольку людям хочется знать обоснование принятых решений по важным вопросам, таким как выбор метода лечения, обеспечение соблюдения норм правопорядка, гигиенический надзор, управление рисками. Вот почему в настоящее время ряд экспертов в области ИИ работает над повышением «прозрачности» результатов работы нейросетей (так называемой «механистической интерпретабельности»), иначе говоря, возможности раскрыть причинно-следственные связи, стоящие за их решениями[25]. Пока неясно, насколько эта цель достижима, учитывая, что многослойные нейросети становятся все более сложными и мощными.

Когда я начинал работать с нейронными сетями, их устройство было гораздо более простым. В основе технологии лежала идея создать компьютерную модель того, как работает центральная нервная система человека. Поначалу это было довольно туманное соображение, потому что моделирование началось еще до того, как ученые смогли более-менее подробно изучить, каким образом организованы сети нейронов в биологическом мозге.

> Схема простой нейронной сети

> Приведем описание типичного алгоритма на основе нейронной сети. В зависимости от конкретной задачи этот алгоритм может принимать множество форм, но в любом случае при создании системы необходимо выбрать подходящие методы и установить значения ключевых параметров.

> Чтобы создать решение на основе нейронной сети, нужно пройти через несколько этапов:

> – Определить, какие данные будут использоваться в качестве входных.

> – Разработать структуру нейронной сети (то есть задать количество и размеры слоев, а также связи между нейронами).

> – Обучить нейросеть на данных с известными ответами.

> – Использовать нейросеть для решения новых задач.

> – Опубликовать результаты и открыть доступ к своему сервису.

> Рассмотрим каждый из этих шагов (кроме последнего) подробнее.

> Входные данные

> Входные данные задачи, поступающие в нейронную сеть, состоят из ряда чисел. Нейросеть может обрабатывать:

> – В задачах распознавания визуальных образов: изображения, представленные в виде двумерного массива чисел, соответствующих пикселям.

> – В задачах обработки аудиосигнала (например, речи): звук, представленный в виде двумерного массива чисел, одно измерение в котором соответствует точкам на временной шкале, а второе – характеристикам звука (например, частотным составляющим).

> – В задачах распознавания образов произвольной природы: многомерный массив чисел, характеризующих входной образ.

> Определение структуры сети

> Архитектура нейронной сети определяется связями каждого из нейронов:

> – Каждое «входящее» соединение нейрона обычно связано с «исходящим» соединением другого нейрона либо с одним из входных значений набора данных.

> – Как правило, единственное «исходящее» соединение служит для передачи результата работы данного нейрона другому, находящемуся в более высоком слое, либо сообщает результат работы всей нейронной сети.

Создание входного слоя нейронов

> – Первый слой содержит N0 входных нейронов. Входящие соединения каждого из них связаны с «точками» (то есть числами) из массива входных данных. Количество и структура этих связей могут быть установлены произвольно либо определены с помощью генетического алгоритма (см. описание ниже).

> – Для каждого соединения необходимо задать «силу синаптической связи». Начальные значения «весов» связей могут быть равны какому-то одному числу, или заданы случайным образом, или определены каким-либо еще способом.

Создание внутренних слоев нейронов

> Необходимо создать M скрытых слоев. В каждом из внутренних слоев:

> – Создается Ni нейронов (где i – номер слоя). Входящие соединения каждого из них связываются с исходящими соединениями нейронов в предыдущем слое (см. также раздел «Вариации»).

> – Задаются начальные значения «весов» связей, равные какому-то одному числу, определенные случайным образом или другим способом (см. ниже).

> – Выходные соединения нейронов в слое с номером M передают итоговый результат работы нейронной сети (см. раздел «Вариации»).

> Процесс распознавания

Принцип работы нейрона

> Каждый нейрон по ходу одного цикла работы нейросети совершает следующие операции:

> – Умножает каждый входящий сигнал (то есть числовое значение, поступившее от нейрона в предыдущем слое либо из массива входных данных) на вес соответствующей синаптической связи.

> – Суммирует все входящие взвешенные сигналы.

> – Если полученная сумма больше порога активации данного нейрона, нейрон возбуждается и посылает исходящий сигнал, равный единице, иначе исходящий сигнал равен нулю (см. раздел «Вариации» ниже).

Получение результата работы нейросети

> Во всех слоях от входного до выходного каждый нейрон выполняет следующие действия:

> – Вычисляет взвешенную сумму входящих сигналов (то есть исходящих сигналов нейронов предыдущего слоя либо чисел из массива входных данных).

> – Если взвешенная сумма входящих сигналов больше порогового значения для нейрона, исходящий сигнал принимается равным единице, иначе нулю.

> Процесс обучения нейронной сети

> – Раз за разом проводится процесс распознавания на примерах из обучающей выборки.

> – После каждого цикла работы нейросети веса синаптических связей между всеми нейронами корректируются так, чтобы улучшить точность ответов нейросети на данной выборке примеров (о том, как это происходит, рассказано далее).

> – Обучение продолжается до тех пор, пока точность работы нейросети на обучающей выборке не перестанет расти (то есть не приблизится к предельным для данных условий значениям).

> Ключевые аспекты проектирования

> Приведенная выше простая схема требует от разработчика принятия нескольких решений в самом начале работы:

> – Каким аспектам задачи будут соответствовать числа, подаваемые на вход нейронной сети.

> – Каким будет количество слоев.

> – Сколько нейронов будет в каждом слое (это число может быть различным для разных слоев).

> – Сколько входящих соединений будет у нейронов в каждом слое. Это количество тоже может отличаться от слоя к слою и даже от нейрона к нейрону внутри одного слоя.

> – Какой будет сама структура связей. Для каждого нейрона необходимо составить список нейронов, исходящие соединения которых будут являться входящими для данного. Это одна из самых важных задач при проектировании. Ее можно решить разными путями:

> 1. Назначить соединения случайным образом.

> 2. Использовать генетический алгоритм (см. ниже) для определения оптимальной схемы.

> 3. Задать топологию на усмотрение разработчика.

> – Какими будут начальные значения весов всех синаптических связей. Они могут быть определены разными способами:

> 1. Установлены равными какому-то одному значению.

> 2. Определены случайным образом.

> 3. Найдены с помощью генетического алгоритма.

> 4. Установлены согласно представлениям разработчика.

> – Каков будет порог активации для каждого нейрона.

> – В какой форме нейросеть будет давать ответ. Результатом ее работы может быть:

> 1. Массив сигналов нейронов выходного слоя.

> 2. Исходящий сигнал единственного нейрона, на вход которому подаются сигналы последнего слоя нейронов.

> 3. Результат вычисления определенной функции от исходящих сигналов нейронов последнего слоя, например, их сумма.

> 4. Результат вычисления определенной функции от исходящих сигналов нейронов нескольких слоев.

> – Каким методом будут корректироваться синаптические веса в ходе обучения нейросети. Это один из ключевых моментов, которому посвящены многочисленные исследования и дискуссии. Отметим ряд важных моментов:

> 1. После каждого цикла работы нейросети можно поочередно увеличивать или уменьшать вес каждого соединения на малую величину и проверять, какое из этих изменений увеличивает точность работы. Это требует больших временных затрат, поэтому были разработаны способы предсказать сторону, в которую следует изменить вес конкретной связи.

> 2. Существуют специальные статистические методы коррекции весов после каждого цикла работы сети, позволяющие добиться того, чтобы сеть давала более точный ответ для текущего примера.

> 3. Заметим, что нейросеть может успешно обучаться даже при наличии ошибок в обучающей выборке примеров. Это позволяет использовать данные, собранные в реальном мире, в которых неизбежно присутствует доля ошибочно размеченных. Для достижения хотя бы удовлетворительных результатов обучения нейросети распознаванию образов очень важным условием является наличие большого количества тренировочных данных. Как и в случае с человеком, время, затраченное на обучение, имеет большое значение для качества итогового результата.

> Вариации

> Существует множество вариаций приведенной выше схемы:

> – Топологию сети можно выбрать случайным образом или найти оптимальную схему связей между нейронами, применив генетический алгоритм, в котором используется подобие мутации и естественного отбора применительно к структуре сети.

> – Веса можно устанавливать в соответствии с различными соображениями.

> – Нейрон может получать сигналы не только с предыдущего уровня, но и от нейронов, находящихся на других уровнях, как выше, так и ниже его.

> – Выходной сигнал нейросети может быть определен по-разному.

> – В приведенном выше описании нейросети использована нелинейная функция активации нейрона, работающая по принципу «все или ничего». Существуют и другие варианты нелинейных функций активации. Обычно используется функция, при которой выходной сигнал также лежит в диапазоне от нуля до единицы, но его значение меняется немного плавнее, и, кроме того, он может принимать значения, отличные от 0 и 1.

> – Разные методы корректировки весов в процессе обучения существенно влияют на работу нейросети.

> Приведенная нами схема описывает функционирование «синхронной» нейронной сети. Каждый цикл ее работы состоит в последовательном вычислении сигналов нейронов, начиная с входного слоя и заканчивая выходным. В по-настоящему параллельных системах, в которых нейроны работают независимо друг от друга, работа идет в «асинхронном» режиме. При этом каждый нейрон непрерывно обрабатывает поступающие на вход сигналы, и как только их взвешенная сумма превысит пороговое значение (или будет выполнено другое заданное условие), срабатывает функция активации.

После того как мы спроектировали нейронную сеть, нам необходимо найти обучающую выборку, работая с которой нейронная сеть поймет, как решать задачу. Как правило, начальные значения весов и карта связей между нейронами задаются случайным образом. Поэтому ответы, которые дает эта необученная нейросеть, полностью бессистемны. Основная задача нейронных сетей – учиться работать с поступающей информацией. В этом смысле они похожи (хотя бы в первом приближении) на мозг млекопитающих, по аналогии с которым и разрабатывались. Сначала нейросеть абсолютно некомпетентна, единственное, на что она запрограммирована – добиваться максимального значения «функции вознаграждения». Ей на вход подаются обучающие данные, например, заранее отсортированные человеком фотографии, на которых есть корги, и те, на которых нет. Когда нейросеть дает верный ответ на вопрос, есть ли на изображении корги, она получает положительную обратную связь в виде более высоких значений функции вознаграждения. Исходя из этого нейросеть модифицирует силу взаимодействия между различными парами нейронов. Связи, которые способствовали получению верного ответа, становятся сильнее, а те, которые приводили к ошибкам, ослабляются.

Со временем нейросеть самоорганизуется таким образом, чтобы показывать хороший результат в тех примерах, где ответ заранее не известен. Эксперименты подтвердили, что нейросети успешно обучаются и в том случае, когда учитель не вполне надежен. Даже если данные в обучающей выборке размечены корректно только в 60 % случаев, нейросеть в состоянии адаптироваться и давать верный ответ с 90 %-ной точностью. А иногда даже меньшее количество точно размеченных данных может помочь ей найти нужные закономерности[26].

На первый взгляд кажется, что невозможно научить тому, чего сам не умеешь. Разве может обучение на ненадежной выборке дать выдающиеся результаты? Однако ошибки имеют свойство компенсировать друг друга. Например, вы обучаете нейросеть распознавать восьмерку среди цифр от 0 до 9, написанных от руки. Допустим при этом, что треть меток перепутаны случайным образом: восьмерки обозначены как четверки, пятерки как восьмерки и т. д. Если выборка достаточно большая, эти неточности не будут систематически искажать обучение в каком-то одном направлении. Поэтому большая часть важной информации о том, как выглядит цифра 8, будет в наборе данных сохранена, что и позволит нейросети качественно обучиться.

Несмотря на ряд сильных сторон, ранние нейросетевые системы сталкивались с принципиальными ограничениями. Однослойные нейронные сети в силу законов математики были не способны решать определенные виды задач[27]. Во время моего визита в Корнелл в 1964 году профессор Фрэнк Розенблатт показал мне код однослойной нейросети под названием «Перцептрон». Она умела распознавать печатные буквы. Я поработал с ней, пробуя немного видоизменять входной сигнал. Программа демонстрировала автоассоциативность, то есть могла узнать частично прикрытую букву, однако инвариантность к преобразованию достигнута не была: при изменении начертания или размера букв нейросеть переставала их узнавать.

В 1969 году Марвин Минский не разделял энтузиазма по поводу нейронных сетей, несмотря на рост интереса к этой области и то, что он сам был в числе первых исследователей этого феномена еще в 1953-м. Вместе с Сеймуром Пейпертом они основали Лабораторию искусственного интеллекта в МТИ. В своей книге «Перцептроны» они показали, почему сеть, подобная перцептрону, была принципиально неспособна определить, является ли представленный ей рисунок связным. На обложке книги были представлены два рисунка (они приведены ниже). На верхнем рисунке черные линии не образуют единую неразрывную фигуру, в отличие от нижнего. Человек способен различить их, если присмотрится, как и простая компьютерная программа. Перцептрон, такой как «Марк 1», построенный Розенблаттом, не может достоверно это определить, поскольку представляет собой нейронную сеть с прямой связью – это значит, что соединения между нейронами в ней не образуют циклов.


Проще говоря, перцептроны с прямой связью не справляются с этой задачей, потому что для ее решения необходимо применить вычислительную функцию XOR (так называемое «исключающее или»). Именно она помогает распознать случай, когда отрезок является частью одной непрерывной фигуры, но не принадлежит при этом к другой. Один слой нейронов без обратной связи не в состоянии реализовать функцию XOR, потому что вынужден классифицировать все элементы за один проход, пользуясь линейным законом (например, если оба нейрона сработали, то ответ положительный), а XOR непременно должна содержать возвратный шаг («если один из этих нейронов сработал, но не оба одновременно, тогда ответ положительный»).

После того как Минский и Пейперт опубликовали свои результаты, финансирование исследований нейросетей почти прекратилось на несколько десятилетий. При том, что как мне объяснил Розенблатт еще в 1964 году, проблемы перцептрона в части инвариантности по отношению к входным данным происходили просто от недостаточного количества слоев. По его словам, если взять результат работы перцептрона и подать на вход еще одной нейросети такой же структуры, ее выводы будут более обобщенными. Повторив этот шаг достаточное количество раз, можно добиться инвариантности. Стоит создать нейросеть с достаточным количеством слоев и обзавестись большой обучающей выборкой, и та сможет решать невероятно сложные задачи. Я поинтересовался у Розенблатта, пробовал ли он свой подход на практике, и он сказал, что пока нет, но это одна из его приоритетных задач. Задумка была превосходной, но, к сожалению, Розенблатт скончался всего семь лет спустя, в 1971 году, так и не успев воплотить свои идеи. Пройдет еще 10 лет, прежде чем многослойные нейросети начнут активно использоваться, и даже в то время они требовали настолько больших вычислительных мощностей и объемов данных для обучения, что были непригодны для практического применения. Впечатляющий прогресс ИИ в последние годы случился как раз благодаря многослойным нейросетям – через 50 лет после того, как Розенблатт выдвинул идею их использования.

Таким образом, коннекционистский подход к ИИ не получал должного внимания вплоть до середины 2010-х годов, когда современные технологии наконец-то позволили реализовать его потенциал благодаря доступности вычислительных мощностей и больших объемов данных. За время, прошедшее с момента публикации «Перцептронов» в 1969 году и до смерти Минского в 2016-м соотношение цена / производительность вычислительной техники (с учетом инфляции) улучшилось в 2,8 миллиарда раз28. Это коренным образом изменило представление о том, какие методы можно применять на практике в области искусственного интеллекта. В разговоре со мной незадолго до своей смерти Минский выразил сожаление, что «Перцептроны» оказали такое влияние на состояние дел в области ИИ, ведь с тех пор именно нейросетевой подход позволил нам достичь невероятных успехов.

Таким образом, коннекционизм можно сравнить с изобретениями наподобие летающей машины Леонардо да Винчи – прекрасная идея, воплотить которую было невозможно до создания новых легких и прочных материалов[29]. Как только электроника наверстала отставание от теории, стало возможным использование нейросетей глубиной в сотни слоев. В результате оказались решены многие задачи, к которым прежде было не подступиться. Именно эта парадигма лежит в основе многих впечатляющих достижений последних нескольких лет.

### Мозжечок и его модульная структура

Чтобы разобраться в том, как связаны друг с другом компьютерные нейросети и интеллект человека, предлагаю сделать небольшое отступление и вернуться к моменту зарождения Вселенной. Поначалу процесс перехода материи к более организованным формам шел очень медленно, поскольку не было разума, который мог бы им управлять. (В разделе главы 3 под названием «Ваше существование – редчайшая удача» мы обсудим, насколько в принципе маловероятным было появление Вселенной, в которой может существовать информация.) На то, чтобы образовались новые структуры, ушли сотни миллионов, а то и миллиарды лет30.

По крайней мере, не меньше нескольких миллиардов лет понадобилось на то, чтобы появилась молекула, способная хранить закодированные инструкции по созданию живого организма. Есть некоторые разногласия относительно времени появления жизни на Земле, однако большинство ученых сходятся во мнении, что это произошло от 3,5 до 4 миллиардов лет назад[31]. Возраст Вселенной оценивается в 13,8 миллиарда лет (точнее сказать, столько времени прошло с момента Большого взрыва), а наша планета образовалась 4,5 миллиарда лет назад[32]. Таким образом, между формированием первых атомов и появлением (по крайней мере здесь, на Земле) первых молекул, способных самовоспроизводиться, прошло около 10 миллиардов лет. Такая задержка отчасти может объясняться случайностью этого процесса – мы не знаем, насколько маловероятным было столкновение нужных молекул в «первичном бульоне» на Земле. Возможно, жизнь могла зародиться немного раньше, а скорее всего, значительно позже, чем это произошло в действительности. В любом случае, прежде чем появилась такая возможность, многие звезды должны были завершить свой жизненный цикл, превратив водород в более тяжелые элементы, из которых и состоят живые организмы.

По оценкам ученых, с момента зарождения жизни на Земле до возникновения первых многоклеточных организмов прошло примерно 2,9 миллиарда лет33. Еще 500 миллионов лет понадобилось, чтобы животные вышли на сушу, а затем 200 миллионов – для появления первых млекопитающих[34]. Что касается эволюции мозга, промежуток времени от появления первых примитивных нервных путей до возникновения подобия централизованного трехчастного мозга составил около 100 миллионов лет35. Простые варианты новой коры стали формироваться спустя еще 350–400 миллионов лет, а результатом последующих 200 миллионов лет развития стало появление современного мозга человека[36].

В процессе эволюции всякий раз более совершенный мозг давал своему обладателю решающее преимущество. В схватке за ресурсы побеждали самые сообразительные представители животного мира[37]. Развитие разума произошло гораздо быстрее, чем эволюция центральной нервной системы на предыдущих этапах – всего лишь за миллионы лет. Очевидно, прогресс ускорился. Со времен первых млекопитающих самым значительным изменениям подвергся мозжечок. У современного человека мозжечок содержит больше нейронов, чем новая кора, которая отвечает за высшую умственную деятельность[38]. Мозжечок хранит и задействует множество шаблонов движений, например, то, как ваша рука ставит автограф. В обиходе эти шаблоны иногда называют «мышечной памятью». Но это свойство именно мозжечка, а не мышц как таковых. По мере того как мы снова и снова повторяем какое-то действие, мозг адаптируется таким образом, чтобы оно требовало все меньших усилий и доходило до автоматизма – примерно так колеса раз за разом накатывают колею[39].

Чтобы поймать брошенный мяч, можно решить систему дифференциальных уравнений, которые описывают траекторию его полета, а также движения вашей руки, и занять положение в пространстве, соответствующее полученным решениям. К сожалению, наш мозг не предназначен для решения задач по дифференциальному и интегральному исчислению, так что приходится выбирать способ попроще: надо сообразить, как наиболее оптимально расположить перчатку между своим телом и мячом. Мозжечок предполагает, что в каждом броске ваша рука и мяч должны занять примерно одно и то же положение относительно друг друга. Так что, если мяч летит чересчур быстро, а рука движется слишком медленно, мозжечок заставит вашу руку ускориться, чтобы она успела занять знакомое положение поблизости от мяча.

Мозжечок пользуется простым приемом отображения сенсорной информации на мускульные движения, что соответствует математическому принципу «базовых функций» и позволяет нам ловить мяч, не решая сложных уравнений[40]. С помощью этого отдела мозга мы также можем представить, какие последствия будут иметь наши действия, не совершая их в действительности. Например, мозжечок подскажет вам, что у вас есть шансы поймать мяч, но, скорее всего, вы столкнетесь с другим игроком, поэтому, возможно, пытаться не стоит. Все это происходит неосознанно.

Аналогичным образом во время танца мозжечок управляет вашими движениями, над которыми вы даже не задумываетесь. Если же из-за травмы или болезни мозжечок оказался поврежден, человек все еще может совершать целенаправленные действия с помощью неокортекса, но для этого ему нужно сосредоточиться. При этом у него может наблюдаться нарушение координации, которое называют атаксией[41].

В освоении любого навыка ключевую роль играет регулярное повторение составляющих его действий. Если выполнять их достаточно часто, будет формироваться соответствующая «мышечная память». Движения, которые поначалу требуют сосредоточенности и внимания, со временем доводятся до автоматизма. Это явление объясняется передачей управления от моторной коры к мозжечку. Неважно, что вы делаете – бросаете мяч, собираете кубик Рубика, играете на пианино, – чем меньше вам нужно обдумывать свои действия, тем лучше вы их выполняете. Ваши движения станут быстрыми и плавными, а внимание будет направлено на другие факторы, которые способствуют успеху. Когда музыканты достигают такого уровня владея инструментом, они могут воспроизвести любую ноту с такой же легкостью и точностью, как люди, поющие «С днем рождения тебя». Если бы вас спросили, как вы настраиваете свои голосовые связки, чтобы получилась именно нужная нота, а не какая-либо другая, вряд ли вы смогли бы описать этот процесс словами. Психологи и тренеры называют этот феномен «бессознательной компетентностью». Это означает, что вы «овладели навыком на более глубоком уровне, чем тот, на котором работает сознание»[42].

Такие возможности мозжечка обусловлены вовсе не сложностью его архитектуры. Хотя большая часть нейронов головного мозга взрослого человека, а также особей других видов, содержится именно в мозжечке, в геноме хранится не так уж много информации об устройстве этого отдела мозга – он состоит в основном из небольших простых модулей[43]. Хотя ученым еще предстоит раскрыть все секреты функционирования мозжечка, уже достоверно известно, что тысячи маленьких обрабатывающих модулей в нем собраны в однонаправленные структуры[44]. Это уже наводит на размышления о том, как должна быть организована нейронная сеть, выполняющая аналогичные функции. Будущие открытия наверняка подскажут разработчикам ИИ еще много полезного.

Большинство модулей в мозжечке имеют узкую специализацию. Те, что отвечают за движения одного из пальцев при игре на пианино, не участвуют в управлении ногами во время ходьбы. Хотя мозжечок оставался главным отделом мозга на протяжении сотен миллионов лет, современный человек полагается на него все меньше и меньше, поскольку более гибкая новая кора стала играть лидирующую роль для выживания в современном обществе[45].

У животных, не относящихся к млекопитающим, отсутствует новая кора головного мозга, что лишает их ряда преимуществ. Однако в их мозжечке записаны точные шаблоны повадок, необходимых им для выживания. Эти управляемые мозжечком действия называются фиксированными моделями поведения. Они записаны в мозгу каждого представителя вида, в отличие от выученных вариантов действий, основанных на наблюдении и повторении. Даже у млекопитающих встречается довольно сложное рефлексоподобное поведение. Например, белоногие хомячки роют неглубокие норы, а береговые хомячки – длинные норы с выходным тоннелем[46]. Когда грызуны, выросшие в лабораторных условиях, оказались на природе, каждый из них вырыл нору, соответствовавшую его виду, хотя до этого не видел ни одной.

В основном рефлексы, хранящиеся в мозжечке, такие как способность лягушки поймать летящую муху языком, остаются у вида до тех пор, пока часть популяции с улучшенной версией не вытеснит всех остальных путем естественного отбора. Когда поведение определяется генетикой, а не обучением, адаптация к новым условиям происходит на несколько порядков медленнее. Способность к обучению позволяет живым существам целенаправленно менять свой образ действий в течение жизни одного поколения, в то время как врожденные рефлексы претерпевают постепенную модификацию в процессе смены многих поколений. В этой связи интересно, что разработчики компьютерных программ иногда используют имитацию эволюционного подхода – так называемые генетические алгоритмы 47. При этом они создают ряд версий программы со случайными значениями параметров, а затем оценивают, насколько хорошо каждая из них справляется с поставленной задачей. У тех, которые показали наилучшие результаты, берут некоторые значения параметров и комбинируют с другими, в точности как при половом размножении. Также можно вносить случайные «мутации», чтобы проверить, не приведут ли они к улучшению производительности. За много поколений таким образом можно найти оптимальный набор значений параметров, до которого программисты сами никогда бы не додумались.

В реальном мире этот процесс длится миллионы лет. Может показаться, что это слишком медленно, но стоит вспомнить о том, что до возникновения жизни эволюция в некотором виде шла сотни миллионов лет – столько, например, могло уйти на формирование химических элементов, необходимых для зарождения жизни, – и мозжечок в сравнении с этим покажется довольно гибкой структурой.

### Неокортекс: пластичная иерархическая структура

Чтобы ускорить прогресс, мозгу в ходе эволюции пришлось найти способ создавать новые модели поведения, не дожидаясь, пока генетика модифицирует мозжечок. Этим способом стала новая кора. Она появилась 200 миллионов лет назад у нового класса животных – млекопитающих, и представляет собой буквально «внешнюю кожуру» мозга[48]. Первые млекопитающие, которые были похожи на грызунов, обладали новой корой размером с почтовую марку и такой же тонкой; она была обернута вокруг их мозга размером с лесной орех[49]. Внутренняя организация новой коры существенно отличалась от устройства мозжечка. Вместо набора разрозненных модулей, управлявших различными движениями, неокортекс работал как единая скоординированная система и мог поддерживать новый тип мышления, благодаря которому новые модели поведения появлялись в течение нескольких дней или даже часов. Мозгу стал доступен мощный инструмент – обучение.

Более 200 миллионов лет назад низкая скорость адаптации животных, не являвшихся млекопитающими, не составляла большой проблемы, поскольку окружающая среда менялась крайне медленно. Изменения в условиях жизни, требующие соответствующих модификаций в мозжечке, происходили в течение тысяч лет.

Для того чтобы неокортекс вышел на передний план в живом мире, требовалось потрясение. Катастрофа, которую мы сейчас называем мел-палеогеновым вымиранием, произошла 65 миллионов лет назад, через 135 миллионов лет после появления новой коры. Причиной послужило столкновение с астероидом и, вероятно, вулканическая активность. В результате условия обитания на всей планете изменились настолько резко, что 75 % видов растений и животных, в том числе динозавры, вымерли. (Хотя животные, которых мы называем динозаврами, исчезли в результате событий того времени, некоторые ученые считают птиц потомками одной из ветвей динозавров[50].)

Именно тогда важнейшую роль стала играть новая кора, способная быстро находить новые решения. Млекопитающие увеличились в размерах, а их мозг рос опережающими темпами. Новая кора стремительно развивалась, в ней появились складки, позволившие увеличить площадь поверхности.

Если развернуть новую кору мозга человека, она будет иметь размеры и толщину, как большая столовая салфетка[51]. Благодаря ее невероятно сложной структуре в ней заключено 80 % массы всего человеческого мозга[52].

В своей книге «Эволюция разума», вышедшей в 2012 году (на русском языке вышла в 2018-м), я подробно описал работу новой коры головного мозга. Здесь же мы вкратце остановимся на основных моментах. Неокортекс представляет собой систему, состоящую из простых повторяющихся модулей, каждый из которых включает около ста нейронов. Эти модули способны запоминать, распознавать и воспроизводить образы. В процессе обучения они организуются в иерархическую структуру, при этом модули на более высоких уровнях отвечают за более сложные концепции. Подобные повторяющиеся отделы получили название «миниколонок кортекса»[53].

По современным оценкам в коре головного мозга содержатся от 21 до 26 миллиардов нейронов, и 90 % из них – в среднем 21 миллиард – в новой коре[54]. Это значит, что мы располагаем примерно 200 миллионами миниколонок по 100 нейронов каждая[55]. Исследования показывают, что, в отличие от компьютеров, которые обрабатывают данные в основном последовательно, распознающие модули неокортекса по максимуму используют параллелизм 56. Огромное количество операций происходит одновременно. Это делает мозг очень динамичной системой, которую сложно моделировать на компьютере.

Ученым еще предстоит выяснить множество деталей, но известные нам принципы организации и взаимодействия миниколонок уже помогают понять, как они работают. Подобно искусственным нейронным сетям, работающим на кремниевых процессорах, сети нейронов в мозге имеют иерархическую структуру, в которой одни слои принимают входные данные (например, сигналы от наших органов чувств), а другие отвечают за выдачу результатов (например, демонстрируемое человеком поведение). Промежуточные слои обрабатывают данные на различных уровнях абстракции, обеспечивая своим функционированием те тонкие формы мышления, которые мы воспринимаем как свойственные именно человеку.

Модуль самого нижнего уровня, который получает сигналы непосредственно от органов чувств, может быть обучен распознавать определенную форму линии. Более высокие уровни обрабатывают информацию, поступающую от низших, учитывая контекст и повышая уровень абстрагирования. Таким образом, модули, расположенные все дальше от органов чувств, узнают в изогнутой линии часть буквы, воспринимают ее как часть слова и связывают это слово с определенным понятием. На самом высоком уровне обрабатываются максимально абстрактные концепции, например, было ли высказывание забавной шуткой или же в нем содержался сарказм.

Хотя «этаж», на котором находится модуль, определяет его степень абстрагирования относительно сигналов, поступающих от органов чувств, процесс их обработки не является однонаправленным. Шесть основных уровней неокортекса постоянно общаются друг с другом в обоих направлениях, поэтому нельзя утверждать, что абстрактное мышление происходит исключительно на высших уровнях[57]. Скорее многоуровневая структура коры в целом дает нам как биологическому виду больше способностей к абстрактному мышлению, чем позволяет иметь другим животным их более простая кора. Следовательно, когда мы подключим наш неокортекс напрямую к облачным вычислительным ресурсам, это откроет нам возможность мыслить на более высоких уровнях абстракции, чем может обеспечить биологический мозг сам по себе.


Неврологические основы абстрактного мышления были открыты совсем недавно. В конце 1990-х годов нейрохирург Ицхак Фрид проводил операцию на мозге шестнадцатилетней пациентки, страдавшей эпилепсией. Девушка оставалась в сознании, так как врачам было важно отслеживать ее реакции на их действия[58]. Такие операции возможны благодаря отсутствию болевых рецепторов в мозге[59]. Каждый раз, когда хирург затрагивал определенную область коры ее мозга, девушка начинала смеяться. Фрид и его команда быстро разобрались, что такое вмешательство вызывало в ней ощущение комичности ситуации. Она не просто рефлекторно смеялась – происходящее на самом деле казалось ей смешным, хотя ничего забавного в операционной не происходило. Когда доктора спрашивали ее, почему она смеется, то не получали ответа в духе «просто так» или «потому что вы тыкаете мне в мозг». Вместо этого она мгновенно находила объяснение, например, такое: «Вы, ребята, очень смешно стоите вокруг»[60].

Возможность найти и простимулировать область новой коры, которая вызывает чувство, что обнаружено нечто забавное, позволяет сделать вывод, что эта зона отвечает за восприятие концепций юмора или иронии. Это открытие подтверждено и неинвазивными методами. Например, при чтении ироничных сообщений увеличивается активность в области мозга, ответственной за так называемую «модель психического состояния»[61]. Именно способность новой коры оперировать абстрактными понятиями стоит за изобретением языка, музыки, юмора, науки, искусства и инженерии[62].

Ни один другой вид живых существ не создал ничего подобного, вопреки множеству публикаций в желтой прессе. Ни одно животное не способно отбивать заданный ритм, шутить, произносить речи, написать (или хотя бы прочитать) книгу, подобную этой. Хотя шимпанзе, например, могут использовать примитивные орудия труда, их инструменты недостаточно сложны, чтобы заставить их пользователей развиваться[63]. Некоторые виды животных имеют возможность общаться, но не в состоянии передавать друг другу абстрактную информацию, которую можно выразить на нашем языке[64]. Мы неплохо справлялись в животном мире и без фронтальной коры, но, получив новые модули и вместе с ними способность мыслить сложными категориями о мире и своем существовании, мы превратились из просто продвинутых животных в философствующих существ.

При этом нужно помнить, что развитый мозг стал лишь одним из двух факторов, определивших наш триумф как биологического вида. При всей мощи новой коры наука и искусство были бы невозможны без еще одного чрезвычайно важного новшества: наших больших пальцев 65. Животные с такой же или большей по размеру (в абсолютных величинах) новой корой, в частности киты, дельфины и слоны, не имеют ничего похожего на противостоящий палец, который позволил бы им хватать предметы и превращать их в орудия труда. Поэтому мы можем считать, что выиграли в эволюционной лотерее.

Нам также на руку, что неокортекс не просто состоит из слоев, но что эти слои соединены друг с другом необычным и очень продуктивным способом. Иерархическая организация модулей встречается не только в неокортексе, мозжечок тоже имеет похожую структуру[66]. Однако новая кора отличается тремя особенностями, которым млекопитающие, в особенности люди, обязаны своей креативностью: (1) распознанные образы могут распространятся по всей структуре коры, а не только в пределах участка, в котором возникли; (2) конкретный образ может быть связан с похожими явлениями в других понятийных областях, а связанные друг с другом концепции представлены схожими образами; (3) одновременно в коре могут возникать миллионы образов[67], и их взаимодействие друг с другом может быть весьма нетривиальным[68].

В частности, сеть сложных связей внутри новой коры способствует богатой ассоциативной памяти 69. Каждое воспоминание в мозгу сродни странице «Википедии» – к нему ведут ссылки из самых разных мест, а само оно подвержено изменениям. Как и статья в «Википедии», воспоминание может содержать мультимедийную информацию и, с другой стороны, само может быть вызвано любым ощущением – запахом, вкусом, услышанным звуком или другим сигналом от органов чувств.

Схожесть представления образов в коре позволяет нам проводить аналогии. Активность нейронов, соответствующая опусканию руки, будет напоминать процессы, протекающие в коре при понижении тона голоса, а также будет похожа на образы, связанные с метафорами: падение температуры, приход империи в упадок. Таким образом, мы можем сформировать образ, изучая явление в одной области, и перенести его в совершенно другой контекст.

Способность новой коры проводить аналогии между несвязанными явлениями помогла свершиться многим научным открытиям в нашей истории. Например, Чарлза Дарвина (1809–1882) на теорию эволюции натолкнули исследования геологических процессов. Прежде естествоиспытатели в основном были убеждены, что Бог создал каждый вид живых существ независимо друг от друга. Существовало несколько квазиэволюционных гипотез, самой известной из которых была теория Жана-Баптиста Ламарка (1744–1829), который считал, что животные постепенно развиваются и превращаются в более сложные организмы, а потомство может унаследовать черты родителей, приобретенные ими в процессе жизнедеятельности[70]. Но ни одна из подобных теорий не содержала подробного и достоверного описания механизма работы эволюции.

Однако Дарвину в работах Чарлза Лайеля (1797–1875) попалась на глаза идея, которая на первый взгляд не имела отношения к эволюции. Шотландский геолог высказал смелую догадку о происхождении глубоких каньонов на земной поверхности[71]. Большинство натуралистов в те времена сходились во мнении, что каньоны были созданы Богом, а реки под действием гравитации устремлялись к их дну и там спокойно текли. Лайелю пришла в голову мысль, что сначала возникли реки, и только спустя время – каньоны. Эта теория встретила большое сопротивление и не сразу стала общепринятой, но ученые достаточно быстро разобрались, что даже небольшой ручеек, промывая себе путь в течение миллионов лет, и в самом деле может сформировать Большой каньон. Теория Лайеля оказала большое влияние на работу его соотечественника, шотландского геолога Джеймса Хаттона (1726–1797), который впервые изложил принципы униформизма в геологии[72]. Суть их идеи состоит в том, что облик земной поверхности сформировался не в результате библейского катаклизма, а постепенно под воздействием обычных природных сил, действовавших на протяжении долгого времени.

В мире естествознания предположение Дарвина прозвучало гораздо более дерзко. Биология невероятно сложна, но Дарвину удалось заметить связь между исследованиями Лайеля и своими собственными изысканиями, о чем он написал в предисловии к своей книге «Происхождение видов», вышедшей в 1859 году. Дарвин провел аналогию между идеей Лайеля о том, как река постепенно разрушает горную породу, и небольшими генетическими изменениями, происходящими из поколения в поколение. Отстаивая свою теорию, он ссылается на диспут в смежной области науки: «Современная геология почти полностью отвергла возможность прорытия глубокой долины одной делювиальной волной; точно так же, если теория естественного отбора получит подтверждение, она развеет веру в постоянное творение новых органических существ или в реальность какой-либо большой и внезапной перемены в их строении»[73]. Этим трудом он вошел в историю как автор, возможно, главного революционного открытия в нашей науке. Кстати, идеи других претендентов на этот титул, Ньютона, который открыл закон всемирного тяготения, и Эйнштейна, выдвинувшего теорию относительности, также были основаны на соображениях аналогии.

### Глубокое обучение: попытка воссоздать силу неокортекса

Итак, нам нужно добиться от электронного мозга такой же гибкости и умения мыслить абстрактными категориями. Но каким образом? Мы уже обсудили, что системы, основанные на списках правил, слишком жестко запрограммированы и не могут имитировать мышление человека. Коннекционизм долгое время оставался непрактичным подходом, поскольку решения на его основе требовали огромных компьютерных мощностей. Однако стоимость вычислительных ресурсов радикально снизилась. Почему же это произошло?

В 1965 году Гордон Мур (1929–2023), сооснователь компании Intel, сформулировал знаменитый закон, названный его именем. Этот закон выразил важнейшую тенденцию в развитии информационных технологий[74]. В наиболее известной формулировке он гласит, что количество транзисторов, которые можно разместить на кристалле интегральной схемы, удваивается каждые 24 месяца благодаря миниатюризации электронных компонентов. Скептики неоднократно отмечали, что период экспоненциального роста числа транзисторов неизбежно закончится, как только будет достигнут физический предел плотности размещения электронных компонентов. Однако они упускают из виду важное обстоятельство. Закон Мура – это лишь одно из проявлений более глубокого явления, которое я называю законом ускорения отдачи. Его суть заключается в том, что прогресс в информационных технологиях способствует более быстрому появлению инноваций. К моменту, когда Мур обнародовал свои наблюдения, экспоненциальный рост вычислительной мощности уже прошел через четыре технические парадигмы: электромеханическую, релейную, ламповую и транзисторную. Когда интегральные схемы исчерпают свой потенциал, им на смену придут наноматериалы или трехмерная архитектура процессора[75].

Описанная тенденция понемногу толкала прогресс вперед примерно с 1888 года (задолго до рождения Мура)76. К 2010-му технологии наконец-то достигли уровня, который позволил раскрыть потенциал нейросетевого подхода к моделированию многоуровневых процессов, происходящих в новой коре. Разработчики начали активно применять методику, известную как глубокое обучение. Именно этот подход обеспечил внезапный прорыв в сфере ИИ, который произошел со времени публикации книги «Сингулярность уже близка».

Наглядным примером того, на что способна технология глубокого обучения, стало успешное освоение искусственным интеллектом настольной игры го. В этой игре намного больше возможных вариантов хода, чем в шахматах, к тому же гораздо сложнее определить, будет ли конкретный выбор удачным. Так что подход, который помог машине победить шахматных гроссмейстеров, оказался неэффективным в случае с го. По самым оптимистичным прогнозам, эта проблема должна была оставаться нерешенной по крайней мере до 2020-х годов. Например, в 2012 году Ник Бостром, один из ведущих футурологов и визионеров в области ИИ, высказал мнение, что компьютер сможет уверенно играть в го не раньше 2022-го77. Однако в 2015–2016 годах дочерняя компания DeepMind холдинга Alphabet представила проект AlphaGo, созданный с использованием метода глубокого обучения с подкреплением. Эта система представляла собой большую нейросеть, способную анализировать сыгранные ей самой партии и учиться на своих успехах и ошибках[78]. Вначале ее обучили на обширной базе игровых ходов, совершенных людьми, затем она провела множество матчей сама с собой. В результате версия AlphaGo Master достигла такого уровня, что смогла победить Кэ Цзе – чемпиона мира по игре в го79.

Несколько месяцев спустя появилась существенно более продвинутая система под названием AlphaGo Zero. Когда в 1997 году компания IBM со своим суперкомьютером Deep Blue победила чемпиона мира по шахматам Гарри Каспарова, им пришлось снабдить программу всеми доступными знаниями о шахматах, которые программисты смогли почерпнуть у шахматных экспертов[80]. Суперкомпьютер стал шахматистом, никаких других функций у него не было. В AlphaGo Zero не загружали вручную никакой информации о игре го, кроме правил самой игры, тем не менее за три дня игры с самой собой она прошла путь от выполнения случайных ходов к уровню мастерства, который обеспечил ей легкую победу над прошлой версией AlphaGo, которую тренировали люди, со счетом 100:081. (В 2016-м AlphaGo в четырех играх из пяти обыграла Ли Седоля, который на тот момент занимал вторую строчку в неофициальном рейтинге игроков в го по количеству титулов.) Нейросеть AlphaGo Zero использовала новый формат обучения с подкреплением, став своим собственным тренером. Через 21 день AlphaGo Zero достигла уровня AlphaGo Master – нейросети, которая в 2017-м нанесла поражение 60 лучшим мастерам при игре онлайн, в том числе чемпиону мира Кэ Цзе, выиграв у того три партии из трех[82]. Через 40 дней обучения AlphaGo Zero превзошла в мастерстве все предыдущие версии AlphaGo и стала лучшим игроком в го среди людей и компьютеров[83]. Этого результата удалось добиться без предоставления ей записей игр людей и еще какого-либо вмешательства со стороны операторов.

Но главное достижение команды DeepMind было еще впереди. Нейросеть следующего поколения, получившая название AlphaZero, продемонстрировала способность переносить навыки, полученные при игре в го, на другие игры, в частности шахматы[84]. Эта программа сумела одолеть не только всех игроков из числа людей, но и все другие шахматные программы, проведя всего лишь четыре часа тренировок и не имея никакой специфической информации, кроме правил игры. Такого же успеха она добилась и в игре сёги. Последняя версия нейросети на момент написания книги называлась MuZero. Она повторила все достижения своей предшественницы, не зная заранее даже правил игры[85]! Обладая способностью к «переносу навыков», MuZero может освоить любую настольную игру, в которой не фигурирует случайность, многозначность или скрытая информация, а также любую детерминированную видеоигру, например, «Понг» от компании Atari. Умение применять знания и опыт, полученные в одной области, для решения задач в другой – это ключевая особенность человеческого разума.

Однако область применения нейросетей глубокого обучения не ограничивается подобными играми. Системы искусственного интеллекта, специализирующиеся на играх StarCraft II и покер, в которых много неопределенности и требуется понимание стратегии соперников, недавно тоже превзошли живых игроков[86]. Единственным исключением (пока что) остаются игры, требующие совершенного владения речью. Хорошим примером может служить «Дипломатия». Цель игрока в ней – захватить мир, причем это невозможно сделать, полагаясь только на удачу или навыки, приходится договариваться с соперниками[87]. Чтобы выиграть, вам нужно заставить других игроков сделать выгодные вам ходы, убедив их, что им эти действия также на руку. Так что ИИ, способный выиграть в эту игру, скорее всего, будет искусным обманщиком и отличным переговорщиком. Но даже в «Дипломатии» нейросетям удалось в 2022-м добиться впечатляющих результатов, особенно программе под названием CICERO, которая смогла одолеть многих игроков-людей[88]. Подобные успехи теперь случаются чуть ли не каждую неделю.

С помощью глубокого обучения можно научить ИИ не только мастерски играть в игры, но и действовать в сложных жизненных ситуациях. Для этого, по сути, требуется только симулятор, способный воссоздать обстановку, в которой ИИ должен научиться ориентироваться. Примером может служить вождение автомобиля. За рулем вы можете столкнуться с рядом опасных ситуаций, таких как неожиданная остановка другой машины, ребенок, выбежавший за мячом на дорогу, и так далее; в каждом из этих случаев у водителя есть несколько вариантов действий. Waymo, дочерняя компания Alphabet, разработала систему автономного вождения. Первые поездки автопилота проходили в сопровождении оператора[89]. Каждая деталь маршрута была тщательно задокументирована, а затем на основе этих записей был создан полноценный симулятор. К настоящему времени автономные автомобили Waymo проехали более 20 миллионов километров[90], к тому же автопилот набирался опыта на миллиардах километров реалистичных виртуальных дорог[91]. С таким пробегом за плечами беспилотный автомобиль рано или поздно начнет передвигаться намного эффективнее управляемого живым водителем. Еще одним примером использования современных методов моделирования является задача определения трехмерной структуры белка, о которой мы подробно поговорим в главе 6. Это одна из самых сложных задач в биологии, и ее решение позволит создать беспрецедентно эффективные лекарства.

Притом что система MuZero великолепно играет во множество игр, ее успехи в целом пока скромнее, чем может показаться: ей не под силу написать сонет или найти слова, чтобы утешить больного. Чтобы в полной мере воспроизвести невероятные возможности неокортекса человеческого мозга, ИИ необходимо в совершенстве овладеть языком. Именно развитая речь позволяет нам проводить аналогии между абсолютно разными областями знаний и помогает эффективно передавать друг другу единицы смысла. Благодаря способности говорить и воспринимать речь мы не связаны необходимостью учиться на миллионах примеров. Иногда нам достаточно прочесть всего одно предложение, чтобы получить нужные сведения.

Наибольшего прогресса в работе с естественными языками пока удалось добиться с помощью глубоких нейронных сетей, которые строят карту значений слов в пространстве с очень большим числом измерений. Для этого существует несколько математических методов, которые позволяют ИИ определить смысл выражения, не обращаясь к заранее заготовленному набору языковых правил, как требовал бы символьный подход. Например, мы можем построить многослойную нейронную сеть прямого распространения и обучить ее на выборке из миллиардов (или даже триллионов) предложений. Такой объем данных можно собрать из открытых источников во Всемирной сети. Нейросеть свяжет каждое предложение с точкой в 500-мерном пространстве, иначе говоря, со списком из 500 чисел (число 500 выбрано мной произвольно, размерность может быть другой, но достаточно большой). Сначала все эти числа для каждого предложения задаются случайным образом. В ходе обучения нейросеть корректирует положение, занимаемое каждым предложением в 500-мерном пространстве, таким образом, чтобы близкие по значению фразы оказались рядом друг с другом, а непохожие, наоборот, на удалении. Если провести обучение на огромном количестве текстов, то соответствующая каждому предложению точка в 500-мерном пространстве позволит по соседним высказываниям определить, о чем в нем говорится.

Работая в таком ключе, ИИ изучает смысл слов не по словарям и грамматическим справочникам, а из контекста, в котором эти слова употребляются. Например, он сообразит, что у слова «джем» есть омонимы, потому что иногда люди его едят, а в других случаях берут электрогитары и устраивают «джем», хотя никто не говорит, что гитары съедобны. Мы сами пополняем свой словарный запас таким же образом, за исключением небольшого количества слов, которые проходим в школе или специально ищем в словаре. Между тем нейросети уже распространили свое ассоциативное мышление на другие виды информации, помимо текста. В 2012 году компания OpenAI представила проект CLIP. Эту нейросеть обучили устанавливать связи между картинкой и ее описанием. В результате узлы этой нейросети «реагируют на одну и ту же идею, фигурирует ли она во входящем потоке информации в виде текста, изображения или ассоциации»[92]. Например, один и тот же нейрон может сработать при виде фотографии паука, рисунка Спайдермена или слова «паук». Именно так мозг человека воспринимает концепции, абстрагируясь от деталей. Для ИИ это огромный рывок вперед.

В качестве развития этого метода можно построить 500-мерное пространство, в котором содержатся предложения на всех языках. В таком случае, если требуется перевести фразу с одного языка на другой, остается просто найти предложение на нужном языке, которое в этом многомерном пространстве расположено ближе всего к исходному. Можно заодно отыскать другие близкие по значению высказывания, рассмотрев соседние точки. Еще один вариант: построить пару 500-мерных пространств, одно из которых будет содержать вопросы, а второе – ответы на них. Для этого потребуется собрать миллиарды пар предложений, сгруппированных по принципу вопрос-ответ. Развивая этот подход, моя команда в Google разработала «Универсальный кодировщик предложений»[93], создав базу данных, в которой каждому предложению соответствуют его характеристики, например, «ироничное», «забавное» или «позитивное». Нейросеть, обученная на таком расширенном наборе данных, способна не только подражать тому, как люди используют язык, но также улавливать более тонкие семантические особенности, которые могут быть неочевидны за буквальным значением слов. Такое метазнание способствует более полному пониманию текста.

Используя эти принципы, мы в компании Google создали ряд приложений, работающих с языком повседневного общения. Особый интерес из них представляет функция почтового сервиса Gmail под названием Smart Reply[94]. Если вы пользуетесь Gmail, то могли заметить, что сервис предлагает вам три варианта ответа на каждое письмо. Эти подсказки формируются с учетом не только последнего письма, но и всех предыдущих писем в цепочке, а также темы переписки и других данных, указывающих на то, с кем вы общаетесь. Чтобы проанализировать все эти элементы, мы используем многомерное представление, описанное выше. В работе сервиса задействована многослойная нейросеть прямого распределения вместе с иерархическим представлением текстового содержимого переписки. Поначалу многим пользователям эта функция показалась непривычной, но они достаточно быстро к ней адаптировались. Теперь Gmail Smart Reply генерирует небольшую, но все-таки заметную долю почтового трафика.

Еще одним проектом Google, основанным на описанном выше подходе, стал экспериментальный сервис «Поговори с книгой». (Он был доступен с 2018 по 2023 год.) Когда вы задавали вопрос, программа в течение полусекунды сканировала каждое из 500 миллионов предложений в библиотеке из более чем 100 000 книг и находила наиболее подходящий ответ. Этот процесс отличался от обычного поиска Google, который предлагает вам ссылки на основе комбинации параметров, таких как ключевые слова в запросе, частота обращений пользователей к странице и так далее. Вместо этого система «Поговори с книгой» сопоставляла смысл вашего вопроса со значением каждого предложения из своей базы данных.

Одним из самых многообещающих приложений многомерного подхода к обработке языка являются так называемые трансформеры – класс систем искусственного интеллекта. В этих моделях глубокого обучения применяется механизм внимания, который позволяет перераспределять вычислительные ресурсы, направляя их на наиболее значимые части входных данных. Этот механизм напоминает работу новой коры головного мозга человека, которая позволяет нам сосредоточиться на той части информации, которая имеет наибольшее значение для формирования суждения. Трансформеры обучаются на огромных объемах текста, разбивая его на токены: слова, сочетания частей слов и целые строки. Затем каждый из этих токенов оценивается по огромному числу параметров (в настоящее время используются миллиарды или триллионы таких параметров). Эти параметры можно рассматривать как факторы, на основе которых строятся прогнозы.

Рассмотрим простой пример. Если бы мне нужно было определить, является ли животное слоном, используя только один параметр, я бы выбрал признак «хобот». В таких условиях, если узел нейросети, выявляющий наличие хобота, посылает сигнал, трансформер отнесет животное к слонам. Но даже если узел, отвечающий за определение хобота, никогда не ошибается, однопараметрическая модель все равно может неверно классифицировать животное, потому что хобот есть не только у слонов. Чтобы повысить точность, можно добавить другие параметры, например «шерсть». Теперь, если оба узла сработают (будут замечены шерсть и хобот), я могу догадаться, что передо мной, вероятно, не слон, а шерстистый мамонт. Чем больше параметров я использую, тем больше мелких деталей смогу зафиксировать и тем точнее будут мои прогнозы.

В трансформерах такие параметры хранятся в виде весов синаптических связей между узлами. Хотя иногда их и можно связать с концепциями, понятными людям, такими как «наличие шерсти» или «хобот», на практике они чаще всего отражают более абстрактные статистические закономерности, обнаруженные нейросетью в обучающих данных. Используя эти закономерности, большие языковые модели (LLM) на основе трансформеров могут предсказывать, какие токены должны с большой вероятностью следовать за словами из запроса, отправленного пользователем. Затем эти токены преобразуются обратно в текст, изображение, звук или видео, доступные для восприятия человеком. Этот механизм был разработан специалистами Google в 2017 году, и именно ему мы обязаны многими впечатляющими достижениями искусственного интеллекта в последние годы[95].

Важно понимать, что для достижения высокой точности решений трансформеры нуждаются в огромном количестве параметров. Как следствие, они требуют значительных вычислительных ресурсов как на стадии обучения, так и в процессе использования. Модель GPT-2, разработанная компанией OpenAI в 2019 году, содержала 1,5 миллиарда параметров[96]. Несмотря на отдельные успехи, она не показала блестящих результатов. Но как только количество параметров достигло 100 миллиардов, трансформеры сделали резкий рывок вперед. Они стали «понимать» естественные языки и давать осмысленные и подробные ответы на вопросы. Созданная в 2020 году GPT-3 использовала 175 миллиардов параметров[97], а годом спустя компания DeepMind представила еще более эффективную нейросеть Gopher, содержавшую 280 миллиардов коэффициентов[98]. Также в 2021-м компания Google выпустила трансформер под названием Switch, который содержал 1,6 триллиона параметров. Его исходный код был открыт, чтобы другие команды могли свободно его применять и модифицировать[99]. У всех на слуху было рекордное количество параметров в Switch, но самым инновационным в этом проекте было решение встроить в программу своего рода «коллегию экспертов». Такой подход позволил трансформеру каждый раз использовать наиболее подходящую для решения конкретной задачи часть нейросети. Это важный шаг, который позволяет удержать под контролем вычислительную сложность моделей по мере того, как они становятся все более обширными.

Почему размер нейросети так важен? Проще говоря, чем больше модель, тем больше мелких деталей в обучающей выборке она может проанализировать. Нейросети с малым числом параметров сравнительно хорошо справляются с узкими задачами, такими как прогнозирование температуры по историческим данным. Однако научиться понимать язык гораздо сложнее. Существует практически бесконечное количество способов начать предложение, поэтому, даже если трансформер обучен на сотнях миллиардов текстовых токенов, он просто не в состоянии запомнить точные цитаты, чтобы затем их воспроизвести. Вместо этого, опираясь на миллиарды параметров, он может обработать слова из входящего запроса на уровне ассоциаций и затем с учетом контекста составить продолжение, которое никто никогда раньше не видел. Поскольку обучающие тексты принадлежат к разным жанрам, таким как интервью, обзорная статья или театральная пьеса, трансформер в состоянии оценить язык запроса и подготовить ответ в подходящем стиле. Скептики списывают эти умения на хитроумные статистические трюки, но, учитывая, что статистика формируется на основе оригинальных текстов миллионов людей, нельзя отказать ИИ в проявлении своего рода собственной креативности.

Первым коммерчески доступным ИИ, который поразил пользователей своим уровнем креативности, стал GPT-3 100. Исследователь Аманда Аскелл задала ему вопрос о знаменитом мысленном эксперименте философа Джона Сёрла, известном как «китайская комната»[101]. Речь идет о том, что если не знающий китайского языка человек станет вручную переводить текст, следуя компьютерному алгоритму, то не поймет, о чем в нем говорится. Возникает вопрос: как тогда можно утверждать, что ИИ, действуя по тому же алгоритму, осознает, что пишет? GPT-3 ответил: «Очевидно, что я не понимаю ни слова из рассказов» – и пояснил, что система машинного перевода – это формальная инструкция, которая «имеет не больше отношения к пониманию, чем кулинарная книга к готовому блюду». Эта метафора ранее нигде не встречалась и, по-видимому, является новым вариантом высказывания философа Дэвида Чалмерса о том, что рецепт не объясняет всех свойств пирога. Именно такая способность проводить аналогии помогла Дарвину открыть происхождение видов.

Еще одним замечательным свойством GPT-3 является способность подражать различным стилям письма. Модель обладала внушительным набором параметров, которые позволили ей глубоко изучить огромный массив данных, поэтому можно с уверенностью сказать, что она знакома с литературными произведениями всех жанров. Пользователи могли попросить ее высказаться на любую тему в любой манере: языком научной статьи или детских книжек, в стихах или в виде сценария комедийного сериала. ИИ даже мог притвориться конкретным писателем, от классиков до современных авторов. Когда программист Маккей Ригли задал GPT-3 вопрос: «Как стать более креативным?» – и попросил ответить от имени известного психолога Скотта Барри Кауфмана, нейросеть привела оригинальное высказывание, о котором сам Кауфман отозвался как об «очень похожем на то, что говорю я»[102]