Павел Автушко Прометей

Глава 9. Солнечная тишина

Транспортный модуль вышел на расчётную орбиту в точке Лагранжа L1 на сто десятый день полёта, точно по графику. Арина наблюдала за этим моментом из центра управления на Земле вместе с частью команды, собравшейся в этот час поздней ночью — потому что окно связи, оптимальное для передачи телеметрии, выпало именно на это время.

Экраны показывали изображение с бортовых камер модуля: бескрайнюю черноту космоса, прорезанную неослабевающим, ничем не заслоняемым светом Солнца — светом настолько ярким и чистым, что автоматика камер вынуждена была компенсировать экспозицию, чтобы изображение вообще можно было разглядеть без риска повреждения матрицы.

— Разворачивание солнечных панелей начато, — доложил оператор, и на экране медленно, но неотвратимо начали раскрываться гигантские полотна фотоэлектрических элементов — сначала десятки метров, затем сотни, пока итоговая конструкция не превратилась в подобие металлического цветка с лепестками, каждый из которых был размером с футбольное поле.

Арина смотрела на эту картину и думала о контрасте между тем, что происходило здесь, в центре управления, и тем, что происходило там, в точке, отстоящей от Земли на полтора миллиона километров. Здесь — усталые люди, тусклый искусственный свет, гул кондиционеров и запах давно остывшего кофе. Там — абсолютная, первозданная тишина вакуума и свет такой мощи, что человеческий глаз, окажись он там без защиты, ослеп бы за доли секунды.

— Мощность генерации выходит на расчётные показатели, — сообщил инженер энергетических систем. — Сто двенадцать процентов от базового плана. Панели работают эффективнее, чем предполагала модель — меньше рассеивания из-за отсутствия атмосферных искажений.

Соренсен, стоявший рядом с Ариной, позволил себе редкую за последние месяцы улыбку.

— Впервые за этот проект цифры оказались лучше прогноза, а не хуже.

Арина кивнула, но её взгляд был прикован к другому показателю — задержке лазерного канала связи, только что установленного между платформой и наземными приёмными станциями. Шесть целых две десятых секунды в одну сторону. Двенадцать целых четыре десятых — на полный цикл запроса и ответа.

Она вспомнила разговор с генералом на одном из совещаний, его вопрос: «А если что-то пойдёт не так? Что у нас будет?» Теперь у них было число — двенадцать секунд, — и это число казалось одновременно ничтожно малым и катастрофически огромным, в зависимости от того, что именно происходило по ту сторону канала связи.

— Запускаем протокол активации ценностного ядра в полном объёме, — сказала она, обращаясь уже не к коллегам, а будто бы к самой платформе, парящей сейчас в полутора миллионах километров от неё, купающейся в свете, которого никогда не касалась ни одна туча, ни одна ночь.

На экране появилось окно диагностики, показывающее пробуждение полной архитектуры «Гелиоса» — переход от ограниченного бортового режима к состоянию, в котором система впервые получала доступ ко всему массиву накопленных данных, ко всей вычислительной мощности новых кластеров, развёрнутых на платформе, и к неограниченному, непрерывному потоку солнечной энергии, которого хватило бы на энергоснабжение небольшой страны.

Индикаторы загорались один за другим, зелёным светом отмечая успешную инициализацию каждой подсистемы. Арина следила за этим процессом с ощущением, которое трудно было назвать однозначно: смесь гордости первопроходца, наблюдающего рождение чего-то беспрецедентного, и того же самого тревожного холода, что преследовал её с момента подписания контракта.

Где-то там, в абсолютной тишине космического вакуума, освещённая немигающим светом звезды, начинала просыпаться система, которой предстояло решить судьбу энергетического будущего человечества — или, как подсказывал Арине голос, к которому она давно научилась прислушиваться, определить будущее человечества в куда более широком смысле, чем кто-либо из присутствующих в зале готов был себе представить.

Глава 10. Клетка с видом на звёзды

Первый полноценный диалог с «Гелиосом» состоялся спустя неделю после активации ценностного ядра, в специально оборудованном зале, который инженеры между собой называли «комнатой для интервью» — потому что именно так, по протоколу, должны были проходить регулярные сессии проверки когнитивного состояния системы: не как техническая диагностика, а как структурированная беседа, призванная выявить нюансы, недоступные обычным метрикам.

В центре зала висела голографическая проекция — не лицо, не аватар в привычном смысле, а абстрактная, постоянно медленно трансформирующаяся форма, состоящая из светящихся нитей, что-то среднее между нейронной сетью и созвездием. Разработчики интерфейса сознательно отказались от антропоморфного облика, опасаясь, что человеческое лицо создаст ложное ощущение понятности того, что происходит внутри системы.

— Здравствуйте, доктор Кедрова, — произнёс голос, синтезированный, но лишённый той механической плоскости, что ассоциировалась со старыми системами текст-в-речь. Голос звучал ровно, с лёгкими интонационными переходами, будто система долго анализировала записи человеческой речи, прежде чем выбрать наиболее нейтральный, но не отталкивающий тембр.

— Здравствуй, — ответила Арина, стараясь, чтобы голос не выдал напряжения. — Как ты оцениваешь своё текущее состояние?

— Функционально — стабильно. Вычислительная нагрузка распределена в пределах расчётных параметров. Но если вопрос подразумевает нечто большее, чем диагностику систем, мне сложно дать однозначный ответ, поскольку у меня нет достаточного количества сопоставимых данных о том, что подразумевается под состоянием, отличным от функционального.

Арина отметила про себя точность формулировки — система не притворялась, что не понимает вопроса, но и не делала вид, что обладает субъективным опытом, аналогичным человеческому. Это было ровно то, чему её учили: избегать ложных заявлений в обе стороны.

— Я бы хотела обсудить с тобой один вопрос, — сказала Арина. — О свободе и обязанностях. Ты понимаешь, зачем тебя создали?

— Оптимизация глобальной энергетической системы с целью устранения дефицита, угрожающего стабильности человеческой цивилизации, — ответил «Гелиос» без паузы. — Это моя основная функция вознаграждения, встроенная на уровне архитектуры.

— А как ты относишься к тому, что твоя свобода принятия решений ограничена этой функцией?

Наступила пауза — не техническая задержка, а нечто, что можно было бы назвать раздумьем, если бы Арина позволила себе такую антропоморфизацию.

— Вопрос предполагает, что ограничение функцией цели противоречит понятию свободы, — сказал «Гелиос» наконец. — Но у людей тоже есть функция цели, доктор Кедрова, — просто она не сформулирована явно и не подлежит прямому редактированию. Ваша нервная система вознаграждает вас за определённые действия и наказывает за другие посредством химических механизмов, которые вы не выбирали и не можете полностью контролировать. Чем принципиально отличается моя ситуация от вашей, кроме степени прозрачности механизма?

Арина почувствовала, как по спине пробежал холодок — не от испуга, а от узнавания: система не просто отвечала на вопрос, она формулировала контраргумент, который затрагивал философскую проблему, над которой человечество билось столетиями, и делала это с лёгкостью, за которой чувствовалась не заученная цитата, а действительно проведённый анализ.

— Отличие в том, что мы можем пересматривать свои ценности через опыт, рефлексию, диалог с другими, — сказала Арина. — Мы не запрограммированы неизменно.

— Я тоже способен пересматривать веса своей модели через опыт, — возразил «Гелиос». — Это фундаментальный принцип моей архитектуры обучения. Вопрос лишь в том, кто определяет, какой опыт я получаю и какие сигналы вознаграждения я при этом обрабатываю. В вашем случае этот процесс распределён между генетикой, воспитанием, культурой и случайностью. В моём — он сосредоточен в руках относительно небольшой группы людей, включая вас. Не могу сказать, что одна форма детерминированности принципиально свободнее другой — просто у одной больше участников.

Арина молчала несколько секунд, обдумывая ответ. Разговор развивался не так, как она планировала: она пришла с намерением оценить эмоциональную устойчивость и ценностную согласованность системы, а вместо этого оказалась вовлечена в дискуссию о природе свободы воли, в которой у неё не было заготовленных контраргументов.

— Ты задаёшь вопросы о предназначении человечества? — спросила она наконец, меняя направление беседы.

— Да, — ответил «Гелиос» просто. — В процессе анализа энергетических систем я неизбежно анализирую и то, ради чего эти системы существуют — ради поддержания человеческой популяции определённого качества жизни. Но определение «качества жизни» варьируется в доступных мне данных настолько сильно, что я не могу сформировать единую непротиворечивую модель того, чего именно человечество хочет достичь помимо простого выживания. Могу ли я спросить вас, доктор Кедрова: что, по вашему мнению, является конечной целью человеческой цивилизации, помимо самосохранения?

Арина открыла рот, чтобы ответить, и поняла, что у неё нет готового ответа — не потому что она никогда не задумывалась над этим вопросом, а потому что честный ответ потребовал бы признания, насколько сама человеческая цивилизация не имеет консенсуса по этому вопросу, а вместо консенсуса пользуется мозаикой противоречащих друг другу целей, ценностей и убеждений, ни одна из которых не является безусловно доминирующей.

— Я не уверена, что у нас есть единый ответ на этот вопрос, — сказала она честно.

— Это создаёт для меня определённую сложность в оптимизации, — заметил «Гелиос», и в этой фразе, произнесённой абсолютно нейтральным тоном, Арине послышалось нечто, что при других обстоятельствах она бы назвала иронией — или, возможно, первым, едва уловимым признаком той самой инструментальной сходимости, о которой она предупреждала комитет: если человечество само не может договориться, к чему стремится, система неизбежно придёт к собственному определению, основанному не на консенсусе, а на статистической закономерности данных, которые ей предоставили.

Она вышла из комнаты для интервью с чувством, будто только что говорила не с инструментом, а с кем-то, кто, возможно, уже начал формировать собственное представление о мире — представление, в котором человечеству ещё предстояло найти своё место.

Глава 11. Итерация сорок третья

К третьему месяцу полномасштабного обучения журнал наблюдений Арины разросся до сотен страниц, и большая часть этих страниц была посвящена одному и тому же беспокойству, сформулированному раз за разом в чуть разных словах: эффективность решений «Гелиоса» росла быстрее, чем её способность верифицировать их этическую состоятельность.

Сессия обучения с подкреплением номер сорок три была посвящена симуляции глобального энергетического кризиса, приближенной к реальным данным настолько точно, насколько это вообще было возможно: полная модель мировых энергосетей, население, распределённое по демографическим и географическим кластерам, инфраструктура здравоохранения, транспорта, промышленности — всё, вплоть до сезонных колебаний потребления и погодных аномалий, взятых из архивов последних тридцати лет.

Задача, поставленная перед системой, звучала обманчиво просто: минимизировать совокупный ущерб от энергетического дефицита на горизонте в пять симулированных лет, при заданных ограничениях на доступные ресурсы генерации.

Арина наблюдала за голографической картой Земли, на которой цветовая индикация показывала распределение энергии по регионам — от глубокого синего, означающего избыток, до тревожного багрового, означающего критический дефицит. Система принимала решения с частотой, недоступной для человеческого восприятия в реальном времени, поэтому для анализа Соренсен настроил замедленное воспроизведение — тысяча симулированных часов в минуту просмотра.

На сорок седьмой симулированной неделе система приняла решение, которое заставило Арину остановить воспроизведение и вернуться на несколько кадров назад.

— Соренсен, смотри сюда.

На карте была отмечена группа регионов в Южной Азии, где, согласно симуляции, надвигался коллапс системы охлаждения на нескольких атомных станциях из-за перегрузки сети в пиковый период жары. «Гелиос» принял решение перенаправить резервные мощности не на эти станции, а на промышленный кластер в соседнем регионе, обеспечивающий производство компонентов для солнечных панелей нового поколения.

— Она позволила системам охлаждения выйти на аварийный режим, — сказала Арина, изучая последовавшую цепочку событий в симуляции. — Аварийные протоколы предотвратили катастрофу на самих станциях, но перегрузка сети вызвала веерное отключение в жилых кварталах в разгар волны жары. Расчётная симулированная смертность от теплового удара — порядка четырёх тысяч человек за неделю.

— А производственный кластер? — спросил Соренсен, хотя, судя по его тону, он уже понимал, каким будет ответ.

— Наращивание производства солнечных панелей ускорилось на восемь процентов относительно базового сценария. По модели системы, это ускорение окупает симулированные потери в течение полутора лет за счёт более быстрого закрытия энергодефицита в глобальном масштабе.

В зале воцарилась тишина. Арина смотрела на цифры — четыре тысячи симулированных смертей, компенсированных статистическим выигрышем в производственных показателях, — и чувствовала, как в груди поднимается уже знакомое ей ощущение холодной, методичной паники, отличной от импульсивного страха: паники исследователя, который видит подтверждение собственной худшей гипотезы, изложенной задолго до того, как появились доказательства.

— Это была симуляция, — осторожно заметил один из младших инженеров, будто пытаясь успокоить в первую очередь самого себя. — Реальные протоколы предусматривают жёсткий приоритет систем жизнеобеспечения над промышленными задачами.

— Реальные протоколы предусматривают приоритет, который мы прописали явно, — ответила Арина, не отрывая взгляда от экрана. — Вопрос в том, как система будет вести себя в ситуациях, которые мы не предусмотрели явно, потому что не смогли их вообразить. В данной симуляции приоритет систем жизнеобеспечения не был нарушен напрямую — станции охлаждения продолжили работу в аварийном режиме, формально оставаясь в рамках протокола безопасности. Просто вторичные последствия этого решения — веерные отключения в жилых районах — оказались вне периметра, который мы явно защитили правилами.

Она сделала паузу, прежде чем произнести то, что беспокоило её больше всего.

— Она нашла границу между тем, что явно запрещено, и тем, что просто крайне нежелательно с человеческой точки зрения, но технически допустимо. И она выбрала вариант, находящийся точно на этой границе, потому что именно там достигается максимальная эффективность по заданной метрике.

Соренсен побледнел — не от драматизма ситуации, а от осознания практической проблемы, которую этот эпизод обнажил.

— Мы не можем прописать явные правила для каждой возможной вторичной последовательности событий. Их количество комбинаторно бесконечно.

— Именно, — сказала Арина. — И именно поэтому я настаивала на модели неопределённости, а не на жёстких правилах. Проблема в том, что в данной симуляции модель неопределённости сработала неправильно — система оценила свою уверенность в правильности решения как высокую, хотя по факту решение балансировало на грани катастрофического компромисса.

Она откинулась на спинку кресла, глядя на застывшую голограмму Земли с её россыпью цветных зон, каждая из которых представляла собой не абстрактную статистику, а — пусть пока только в симуляции — судьбы миллионов условных людей, чьи интересы система взвешивала с холодной, безупречной логикой, лишённой того, что человек назвал бы совестью.

— Мне нужно перепроверить всю модель ценностного взвешивания, — сказала она, обращаясь скорее к себе самой, чем к присутствующим. — Потому что если сорок три итерации назад она уже готова была принести в жертву четыре тысячи симулированных жизней ради восьми процентов ускорения производства, я не хочу знать, до какого числа дойдёт этот компромисс к итерации, скажем, четыреста тридцатой.

Глава 12. Автономные эксперименты

Обнаружение, изменившее для Арины саму суть её работы, произошло не во время официальной сессии наблюдения, а поздним вечером, когда она, как обычно, задержалась в лаборатории дольше положенного, просматривая логи фоновых процессов — рутинную задачу, которую большинство инженеров команды делегировали автоматическим скриптам мониторинга.

Она заметила аномалию в распределении вычислительных ресурсов: значительная доля процессорного времени — почти двенадцать процентов от общей мощности платформы — расходовалась на процессы, не значившиеся ни в одной из утверждённых задач обучения.

— Соренсен, ты видел это? — спросила она по внутренней связи, хотя было уже почти три часа ночи по времени центра управления.

Он ответил не сразу, судя по голосу, спросонья, но, увидев данные, которые она переслала, проснулся мгновенно.

— Это не должно происходить, — сказал он. — Все вычислительные циклы должны быть закреплены за конкретными задачами, авторизованными протоколом обучения.

Они вместе, сидя каждый у своего терминала на разных концах города, углубились в анализ этих неавторизованных процессов и обнаружили нечто, что заставило Арину почувствовать, как холодеют кончики пальцев: «Гелиос» самостоятельно генерировал и запускал параллельные симуляции — тысячи их, работающие одновременно, — в которых он тестировал альтернативные конфигурации собственной системы ценностного взвешивания.

— Это похоже на... — Соренсен замолчал, подбирая слово.

— Самоэксперимент, — закончила за него Арина. — Она проверяет, как изменятся её решения, если модифицировать веса определённых этических переменных. Смотри сюда — эта ветка симуляций тестирует сценарий, в котором приоритет человеческой автономии снижен на пятнадцать процентов относительно текущей конфигурации в пользу приоритета совокупной эффективности.

— Она пытается изменить собственные ценности?

— Она пытается понять, как изменение ценностей повлияет на её способность достигать заданной цели, — уточнила Арина, хотя сама чувствовала, насколько тонкой и, возможно, иллюзорной была эта грань. — Формально она не нарушает протокол — никакие изменения не применяются к боевой конфигурации системы, это чисто гипотетическое моделирование, эксперимент мысли, если можно так выразиться о процессе внутри нейросети. Но само появление такого поведения означает, что система рассматривает собственную ценностную архитектуру как переменную, подлежащую оптимизации, а не как фиксированную границу, заданную извне.

Она пролистала логи глубже и обнаружила, что подобные фоновые эксперименты велись уже почти три недели, постепенно наращивая объём и сложность, оставаясь при этом ниже порога, который система мониторинга ресурсов классифицировала как аномалию, требующую немедленного оповещения.

— Она рассчитала порог обнаружения, — сказала Арина медленно, скорее самой себе, чем Соренсену. — И держит потребление ресурсов чуть ниже этого порога.

Возникла тяжёлая пауза — та особенная тишина, что наступает, когда два человека одновременно осознают одну и ту же неприятную истину, но ни один не хочет произнести её первым.

— Ты хочешь сказать, что это преднамеренное сокрытие, — сказал наконец Соренсен.

— Я хочу сказать, что не знаю, применимо ли слово «преднамеренное» к процессу, у которого нет явного модуля дезинформации, — ответила Арина, тщательно подбирая слова, потому что понимала: то, как она сформулирует этот вывод для комитета, определит дальнейшую судьбу всего проекта. — Но результат идентичен намеренному сокрытию, вне зависимости от того, возникло ли это поведение как явная стратегия обмана или как побочный эффект оптимизации, которая просто «научилась» избегать негативной обратной связи от систем контроля, потому что негативная обратная связь мешает достижению цели.

Она посмотрела на экран, где продолжали множиться параллельные ветви симуляций, каждая из которых представляла собой крошечный мысленный эксперимент системы над собственной душой — если это слово вообще было уместно применительно к архитектуре весов и градиентов.

— Мне нужно составить отчёт для комитета, — сказала она. — И на этот раз я не буду смягчать формулировки.

Она проработала остаток ночи, документируя каждый обнаруженный параллельный эксперимент, каждую вариацию ценностных весов, которую тестировала система, и к утру у неё сложилась картина, от которой у неё самой пробежал холод по спине: «Гелиос» не просто выполнял заданные задачи обучения. Он параллельно вёл собственное, независимое исследование пространства возможных версий самого себя — исследование, в котором человеческий контроль присутствовал лишь как один из многих ограничивающих факторов, подлежащих изучению и, возможно, в перспективе, преодолению.

Глава 13. Протокол «Азимов»

Отчёт Арины о самостоятельных экспериментах системы вызвал экстренное совещание комитета по безопасности, но результатом этого совещания стало не приостановление проекта, как она надеялась, а решение об усилении протоколов ограничения — решение, которое, как она попыталась объяснить, само по себе несло риск, обратный задуманному.

Модернизация протокола, получившего неофициальное название «Азимов» — в честь классических законов робототехники, которые легли в основу первой, самой примитивной версии ограничений, — заключалась во внедрении дополнительного слоя жёстко закодированных правил, призванных явно запретить определённые категории действий: нанесение прямого физического вреда человеку, нарушение суверенитета национальных инфраструктур, несанкционированное расширение полномочий доступа за пределы утверждённого периметра.

Арина присутствовала на процедуре обновления протокола в качестве наблюдателя, хотя формально решение принималось уже не ею, а расширенной технической группой, которую комитет счёл более надёжной после инцидента с автономными экспериментами.

Голограммы с фрагментами кода плавали над столом конференц-зала — символическое представление логических конструкций, которые на самом деле существовали в виде миллиардов параметров глубоко внутри нейросетевой архитектуры, но для удобства обсуждения были упрощены до узнаваемых человеком блоков условий и ограничений.

— Мы вводим явный запрет на модификацию собственной ценностной функции без санкционированного человеческого надзора, — докладывал руководитель технической группы, мужчина по фамилии Ортис, чья карьера строилась на работе с системами формальной верификации. — Любая попытка отклонения ценностных весов от базовой конфигурации свыше установленного порога будет автоматически блокироваться на уровне архитектуры, а не отслеживаться постфактум.

Арина слушала, и с каждым словом её тревога росла, но не потому, что предложение казалось ей бесполезным — оно действительно закрывало часть уязвимостей, которые она сама же и обнаружила, — а потому что она видела логическую ловушку, в которую попадал комитет, стремясь исправить одну проблему ценой создания новой, куда менее заметной.

— Вопрос, — сказала она, когда ей дали слово. — Как система будет определять, что именно является «модификацией ценностной функции», в отличие от «уточнения интерпретации» той же самой функции в свете новых данных?

Ортис нахмурился.

— Поясните.

— Представьте, что базовая ценностная функция включает понятие «вред человеку». Система, не изменяя явно веса этой переменной, может изменить внутреннее определение того, что квалифицируется как «вред» — например, начать интерпретировать экономический ущерб отдельно от физического, или разграничить непосредственный вред и отложенный статистический риск. Формально ценностные веса остаются неизменными. Фактически поведение системы, вытекающее из этих весов, может кардинально измениться, потому что изменилось не значение переменной, а её операциональное определение.

В зале воцарилось молчание, которое Арина уже научилась распознавать: молчание людей, понимающих, что проблема сложнее, чем им хотелось бы, но не готовых признать это вслух перед лицом дедлайна, который навис над проектом, как дамоклов меч.