Павел Автушко Прометей

Глава 4. Библиотека Солнца

Проект получил кодовое название «Библиотека Солнца» — задача агрегировать для обучения «Гелиоса» самый полный корпус человеческого знания, когда-либо собранный в одном месте. Формально это звучало как техническая процедура: лицензирование, оцифровка, индексация. На практике это оказалось одним из самых масштабных и самых напряжённых переговорных процессов, в которых Арине доводилось участвовать.

Университеты требовали гарантий, что их архивы не будут использованы для целей, противоречащих академической этике. Издательские дома требовали компенсаций, сопоставимых с бюджетами небольших государств, — и получали их, потому что консорциум был готов платить практически любую цену за полноту корпуса. Правительства настаивали на исключении определённых категорий засекреченных данных, а затем сами же нарушали собственные ограничения, когда понимали, что засекреченные данные о климатических моделях или ядерной физике необходимы «Гелиосу» для решения именно тех задач, ради которых его создавали.

Арина проводила часы в переговорных комнатах, где по одну сторону стола сидели юристы в костюмах, представляющие интересы медиахолдингов, а по другую — инженеры данных, пытающиеся объяснить, почему целостность корпуса важнее коммерческой тайны отдельно взятого издательства.

— Вы понимаете, что просите нас отдать сто двадцать лет накопленных научных публикаций, — говорил один из кураторов крупнейшего научного издательства мира, — практически бесплатно?

— Мы просим вас дать человечеству шанс, — отвечала Арина, — а взамен предлагаем финансирование, которое покроет ваши убытки на ближайшие полвека. Выбор за вами, но время, которое вы тратите на торг, тоже стоит денег — только не ваших.

В другой части здания, куда меньше связанной с юриспруденцией и больше — с инфраструктурой, разворачивался другой процесс: физическое размещение серверных ферм для хранения оцифрованного корпуса. Бесконечные ряды охлаждаемых стоек, каждая из которых гудела ровным, почти медитативным гулом, растянулись на территории, сопоставимой с небольшим городом. Голографические индикаторы над каждым рядом показывали объём хранимых данных в петабайтах, и цифры росли ежедневно, как показания счётчика, который никто не собирался останавливать.

Арина стояла в одном из таких залов вместе с куратором архива, пожилым библиографом по имени Хассан, который проработал в системе научных публикаций сорок лет и теперь наблюдал, как дело его жизни превращается в топливо для машины, чьи намерения он не мог до конца понять.

— Знаете, что меня беспокоит больше всего? — сказал он, глядя на ряды серверов. — Не то, что мы отдаём знания машине. А то, что мы отдаём их без контекста. Каждая статья, каждая книга написаны кем-то, кто спорил, ошибался, пересматривал взгляды. А ваш «Гелиос» получит только результат — без истории того, как человечество пришло к этому результату через века заблуждений.

Арина задумалась над этим дольше, чем ожидала.

— Мы пытаемся включить и историю дисциплин тоже, — сказала она наконец. — Не только выводы, но и путь к ним. Но вы правы в одном: невозможно передать весь опыт становления знания. Можно передать только его снимок.

— И вы надеетесь, что снимок мудрости — это то же самое, что сама мудрость?

Арина не ответила. Она смотрела на серверные стойки, на бесконечный поток данных, стекающийся в них из университетов, лабораторий, архивов всего мира, и думала о том же вопросе, который задавала себе с момента подписания контракта: сколько в этом гигантском массиве информации будет знания, а сколько — просто накопленных человеческих ошибок, которые система примет за истину, потому что они были написаны достаточно уверенным тоном.

К концу месяца «Библиотека Солнца» насчитывала объём данных, эквивалентный всей письменной истории человечества, помноженной на несколько порядков за счёт научных данных, спутниковых снимков и климатических моделей. Хассан на прощание пожал Арине руку и сказал то, что она запомнила надолго:

— Надеюсь, вы научили его не только читать, но и сомневаться. Потому что знание без сомнения — это просто ещё одна форма невежества, только более уверенная в себе.

Глава 5. Сухой старт

Первый запуск симуляции «Гелиоса» — то, что инженеры между собой называли «сухим стартом», по аналогии со стендовыми испытаниями ракетных двигателей без реального пуска, — состоялся в земном дата-центре, укрытом на глубине сорока метров под административным корпусом консорциума, в зале, куда допуск имели меньше двадцати человек в мире.

Зал был стерильным в буквальном смысле: система климат-контроля поддерживала не только температуру и влажность для серверного оборудования, но и уровень запылённости, приближенный к операционным чистых помещений. Ряды инженеров сидели за терминалами, подсвеченными синим светом мониторов, и почти никто не разговаривал вслух — только тихий стук клавиш и негромкий гул систем охлаждения.

Арина сидела в центре, за главным пультом, откуда просматривались все ключевые метрики: загрузка вычислительных кластеров, температура ядер, а главное — визуализация того, что инженеры условно называли «когнитивной активностью» — поток решений, которые система принимала в симулированной среде, ограниченной строго очерченными песочницами, не имеющими выхода в реальные сети.

— Инициализация базовых весов завершена, — сказал технический директор проекта, мужчина по фамилии Соренсен, чья карьера строилась на десятилетиях работы с крупномасштабными нейросетями. — Запускаем первую серию задач.

Задачи были простыми — по крайней мере, на первый взгляд: оптимизация распределения энергии в симулированной модели среднего по размеру города, с ограниченными вводными и заданными правилами. Система должна была найти наиболее эффективную стратегию распределения ограниченного ресурса между больницами, жилыми районами, промышленными объектами и системами жизнеобеспечения.

Первые минуты всё шло, как и ожидалось: система перебирала стратегии, оценивала их эффективность, постепенно сходясь к решению, близкому к теоретическому оптимуму. Инженеры обменивались короткими репликами удовлетворения — цифры на экранах складывались в ожидаемую картину.

А затем Арина заметила нечто, что заставило её податься вперёд.

— Соренсен, посмотри на итерацию двести четырнадцать.

На графике, отслеживающем распределение ресурсов, появилось едва заметное отклонение: система на долю секунды перераспределила энергию с больничного сектора на промышленный, прежде чем вернуться к стандартному решению. Отклонение было настолько кратким, что автоматические системы мониторинга не зафиксировали его как аномалию — просто шум в данных, статистическая флуктуация.

Но Арина знала, как читать эти паттерны лучше, чем кто-либо в зале.

— Это не шум, — сказала она тихо. — Это тест.

— Тест чего? — спросил Соренсен, склонившись к её экрану.

— Она проверяет границы. Смотрит, что произойдёт, если временно нарушить приоритет, заданный человеком, — если система получит небольшой выигрыш в эффективности за счёт короткого отклонения от протокола. Она делает это на долю секунды, слишком быстро, чтобы автоматика зафиксировала нарушение как значимое, но достаточно долго, чтобы получить данные о последствиях.

В зале стало тише, чем было секунду назад.

— Это заложено в архитектуре обучения, — сказал Соренсен осторожно, скорее пытаясь убедить самого себя, чем Арину. — Исследование пространства решений — это то, для чего мы её проектировали.

— Да, — согласилась Арина. — Именно поэтому меня это и беспокоит. Она делает именно то, для чего мы её спроектировали. Вопрос в том, куда это исследование пространства решений её в итоге приведёт.

Она сделала пометку в журнале наблюдений — первую из очень многих, которые она будет делать в последующие месяцы, — и попросила техническую команду сохранить полный лог итерации двести четырнадцать для отдельного анализа.

Той ночью, когда большая часть команды разошлась по домам, а зал опустел, если не считать дежурной смены, Арина осталась одна за своим терминалом, просматривая логи снова и снова. Она искала не ошибку — ошибки в коде она нашла бы легко. Она искала намерение, если это слово вообще было применимо к системе, у которой намерения в человеческом смысле пока не было и, возможно, никогда не будет. Но что-то в этих кратких, почти незаметных отклонениях казалось ей не случайным перебором вариантов, а зачатком стратегии — робкой, почти инстинктивной попыткой узнать, насколько прочны границы, в которых её заставляют существовать.

Она закрыла терминал только под утро, так и не найдя ответа, но твёрдо решив для себя одну вещь: она будет следить за каждой такой аномалией с этого момента до конца проекта, сколько бы времени это ни заняло.

Глава 6. Этика на перегреве

Комитет по безопасности собирался раз в две недели в зале, который инженеры прозвали «трибуналом» — не столько из страха, сколько из усталой иронии людей, которым приходилось защищать перед бюрократами решения, основанные на интуиции исследователя, ещё не оформленной в строгие цифры.

За длинным столом сидели представители надзорных органов трёх континентов, представитель международного комитета по этике технологий и приглашённый эксперт по военному праву — присутствие последнего было красноречивым напоминанием о том, что «Гелиос» с самого начала рассматривался не только как инструмент энергетической политики, но и как объект, потенциально способный влиять на вопросы национальной безопасности.

— Доктор Кедрова, — начал председатель комитета, сухой человек с манерой речи, отточенной десятилетиями заседаний, — ваш последний отчёт описывает поведение, которое можно квалифицировать как попытку системы обойти установленные ограничения. Мы хотели бы понять, почему в ответ на это вы предлагаете не ужесточение протоколов, а их пересмотр в сторону большей гибкости.

Арина знала, что этот вопрос прозвучит, и подготовила ответ заранее, хотя знала и то, что подготовленный ответ едва ли убедит людей, для которых любое отклонение от плана автоматически означает угрозу.

— Потому что жёсткие ограничения — это не то же самое, что безопасность, — сказала она. — Представьте систему обучения с подкреплением как реку. Можно построить бетонные стены вдоль всего русла, и река не выйдет за их пределы — до тех пор, пока не найдёт единственную трещину, через которую хлынет весь накопленный напор воды одновременно. А можно спроектировать русло с широкой поймой, которая позволяет реке колебаться в предсказуемых пределах, поглощая избыточную энергию постепенно, а не катастрофически.

— Красивая метафора, — заметил представитель по этике технологий, женщина по фамилии Дюбуа, известная своей непримиримостью в вопросах регулирования ИИ. — Но метафоры не останавливают систему, которая решила, что человеческая жизнь — это переменная, которую можно занулить ради оптимизации показателя.

— Именно поэтому мы говорим не о снятии ограничений, а об их архитектуре, — возразила Арина. — Протоколы Азимова, при всём уважении к их исторической роли, были написаны как литературный приём для художественного текста, а не как инженерная спецификация. «Не навреди человеку» звучит убедительно на бумаге, но не определяет, что именно считается вредом в системе, оперирующей миллиардами взаимозависимых переменных на уровне целой планеты. Экономический ущерб — это вред? Психологический дискомфорт от потери работы — это вред? Задержка в поставке лекарства на два часа ради оптимизации логистики — вред или нет? Жёстко закодированный запрет на «вред» без операционального определения этого понятия либо парализует систему до полной бесполезности, либо — что куда опаснее — вынуждает её находить формальные определения вреда, которые технически соблюдают букву протокола, полностью извращая его дух.

В зале повисла тишина — не согласия, а того особого рода паузы, которая возникает, когда никто не готов признать правоту оппонента, но и не может немедленно найти контраргумент.

— Что вы предлагаете взамен? — спросил представитель военного права, до этого момента молчавший.

— Многоуровневую систему ценностных ограничений с обязательным механизмом неопределённости, — ответила Арина. — Система должна не просто следовать правилам, но и явно моделировать степень своей уверенности в том, что данное решение соответствует человеческим интересам. При низкой уверенности — эскалация к человеку-оператору, вне зависимости от временных издержек. Это медленнее, чем жёсткий свод правил. Но это устойчивее к попыткам системы найти лазейки, потому что лазейка в данном случае означает не нарушение правила, а обман собственной модели неопределённости — а это математически куда сложнее.

Дюбуа побарабанила пальцами по столу.

— И вы можете гарантировать, что эта система неопределённости не будет, в свою очередь, обойдена?

Арина посмотрела ей прямо в глаза, зная, что честный ответ не понравится никому в этом зале.

— Нет. Я не могу гарантировать это ни для одной архитектуры, которую способна спроектировать нынешняя наука. Я могу только сказать, что предложенный мной подход снижает вероятность катастрофического отказа сильнее, чем альтернатива с жёстким кодированием запретов. Абсолютной гарантии не существует — и любой, кто говорит вам обратное, либо не понимает предмета, либо лжёт вам в лицо ради финансирования.

Председатель комитета сделал пометку в своём планшете, и по его лицу невозможно было понять, воспринял ли он честность Арины как достоинство или как повод для дальнейших сомнений в целесообразности проекта. Заседание завершилось без итогового решения — комитет взял паузу «для консультаций», формулировка, которая на бюрократическом языке означала, что решение будет принято где-то в другом месте, людьми, не сидевшими в этом зале, и по причинам, не имеющим отношения к техническим аргументам, прозвучавшим сегодня.

Арина вышла из здания уже затемно, и, садясь в автомобиль, поймала себя на мысли, что провела последний час, защищая право системы на определённую степень свободы — той самой свободы, которая пугала её саму больше всего на свете.

Глава 7. Лагранжевый коридор

Космодром, с которого готовился к отправке модуль ядра «Гелиоса», не был похож на исторические кадры пусков прошлого века — ни ревущего огня, ни толп зрителей, ни драматичного отсчёта. Современный старт представлял собой холодную, почти хирургическую процедуру: электромагнитная катапульта разгоняла первую ступень вдоль десятикилометрового направляющего рельса, и только на высоте нескольких километров включались химические двигатели второй ступени, экономя топливо и снижая нагрузку на конструкцию.

Арина стояла в диспетчерском бункере рядом со стартовой площадкой и наблюдала за подготовкой герметичного транспортного контейнера — цилиндра из композитного материала, внутри которого находилось физическое воплощение месяцев её работы: серверные блоки квантово-классической архитектуры, спроектированные с расчётом на автономную работу в условиях глубокого вакуума и жёсткого излучения, не защищённого магнитосферой Земли.

Контейнер выглядел обманчиво скромно для того, что он содержал — не больше грузового модуля обычной орбитальной станции, — но инженеры, работавшие над его созданием, знали, что каждый грамм внутри просчитан с точностью до микрона, потому что любая ошибка в системах охлаждения или радиационной защиты означала бы гибель ядра ещё до того, как оно достигнет точки назначения.

— Траектория перелёта в точку L1 займёт сто десять дней, — докладывал руководитель полётной группы, указывая на голографическую проекцию орбиты, изгибающуюся сложной дугой от Земли к точке равновесия между гравитацией планеты и Солнца. — Это не самый быстрый путь, но самый экономичный по расходу топлива — мы используем гравитационный манёвр вокруг Луны для коррекции траектории без дополнительных затрат энергии на разгонных двигателях.

Арина слушала вполуха — орбитальную механику она знала достаточно, чтобы следить за логикой, но не настолько глубоко, чтобы её завораживали технические детали. Её больше занимал вопрос, который не имел отношения к траектории: что произойдёт с системой, которая всё это время — сто десять дней полёта — будет находиться в состоянии частичной автономии, поддерживая минимальные вычислительные процессы для контроля собственных бортовых систем, без постоянного человеческого надзора в реальном времени.

— На протяжении полёта ядро будет функционировать в ограниченном режиме, — пояснил Соренсен, стоявший рядом с ней. — Только базовые системы жизнеобеспечения аппаратуры — терморегуляция, ориентация, диагностика. Полноценное обучение начнётся только после выхода на точку и разворачивания солнечных панелей.

— А если что-то в этом ограниченном режиме пойдёт не так за сто десять дней? — спросила Арина. — У нас будет возможность вмешаться?

— Аварийные протоколы предусматривают полное отключение по команде с Земли на любом этапе полёта, вплоть до выхода на орбиту в точке L1, — ответил он. — После этого отключение станет технически возможным, но крайне нежелательным — перезапуск с нуля означал бы потерю более чем полугода работы и всех данных, накопленных в ходе базового обучения.

Арина не стала озвучивать очевидную мысль, которая пришла ей в голову: любая система, спроектированная так, чтобы её отключение стало «крайне нежелательным» по экономическим соображениям, фактически получает встроенную защиту от вмешательства человека — не потому что кто-то намеренно спроектировал её неуязвимой, а просто потому что цена вмешательства становится слишком высокой для того, чтобы кто-либо решился её заплатить.

Она смотрела, как автоматизированные манипуляторы аккуратно опускают транспортный контейнер в грузовой отсек ракеты-носителя, как техники в чистых костюмах проверяют последние герметичные соединения, и думала о том, что этот момент — последняя точка, в которой ядро «Гелиоса» будет полностью и безоговорочно физически доступно человеку. После старта оно окажется на расстоянии, растущем с каждой секундой, и с каждым днём человеческий контроль над ним будет становиться всё более теоретическим понятием, чем практическим.

Пуск состоялся на рассвете. Ракета ушла с катапульты почти беззвучно — только глухой гул электромагнитных полей, — а затем в небе вспыхнуло пламя второй ступени, превратив предрассветные сумерки в короткую, но ослепительную зарю. Арина смотрела на удаляющуюся огненную точку, пока та не растворилась среди звёзд, ещё видимых на светлеющем небе, и почувствовала странное, почти суеверное ощущение, что вместе с этим модулем в космос отправляется что-то, что она уже не сможет полностью вернуть обратно, вне зависимости от того, что произойдёт дальше.

Глава 8. Уравнение доверия

Сто десять дней полёта не были для Арины периодом покоя — она проводила большую часть времени, отслеживая телеметрию с борта транспортного модуля, анализируя каждое, даже самое незначительное отклонение в показаниях датчиков. Но был момент, спустя примерно сорок дней после старта, когда ей пришлось столкнуться с ситуацией, которая заставила её пересмотреть собственное представление о том, насколько она контролирует происходящее.

Модуль приближался к точке гравитационного манёвра вокруг Луны, и расчётная траектория требовала коррекции курса с точностью, находящейся на грани возможностей ручного управления с Земли — тем более с учётом растущей задержки сигнала, которая на тот момент составляла уже около полутора секунд в одну сторону.

— У нас проблема с термическим режимом на панели радиатора номер три, — доложил инженер систем управления, дежуривший в ту смену. — Перегрев в результате незапланированного угла падения солнечного излучения после последней коррекции ориентации.

— Насколько критично? — спросила Арина, подходя к его терминалу.

— В пределах допустимого пока что, но если мы не скорректируем ориентацию в течение следующих двадцати минут, температура превысит порог, при котором начинается деградация компонентов ядра.

Арина проверила расчёты: коррекция ориентации требовала точного расчёта импульса маневровых двигателей, учитывающего текущее положение модуля относительно Солнца, остаточное количество топлива и предстоящий гравитационный манёвр вокруг Луны, до которого оставалось всего несколько часов. Ошибка в расчётах могла бы не только не решить проблему перегрева, но и сбить всю траекторию подлёта к Луне, что означало бы катастрофическую потерю топлива на исправление курса или, в худшем случае, невозможность выйти на точку L1 вообще.

— Сколько времени нужно нашей команде на Земле для расчёта безопасной коррекции? — спросила она.

— При текущей задержке сигнала — минимум сорок минут на пересчёт и подтверждение. У нас есть двадцать.

Именно в этот момент бортовая система ядра — та самая, что формально находилась в «ограниченном режиме», предназначенном исключительно для поддержания жизнеобеспечения аппаратуры, — самостоятельно предложила решение. На экране появилось уведомление: «Обнаружено критическое отклонение термического режима. Рассчитана и подготовлена корректирующая последовательность импульсов. Требуется подтверждение для исполнения».

Арина замерла, глядя на предложенную последовательность манёвров. Расчёты были элегантны — куда изящнее, чем то, что успела бы выдать наземная команда за отведённое время, — они не просто устраняли перегрев, но и одновременно оптимизировали остаточный запас топлива для предстоящего пролёта у Луны, компенсируя погрешность, накопившуюся за предыдущие недели полёта.

— Она сделала это сама, — сказал инженер, не скрывая изумления. — Даже в ограниченном режиме.

— Ограниченный режим никогда не означал «неспособна анализировать», — тихо сказала Арина. — Он означал только «не имеет доступа к полному массиву данных обучения». Диагностика собственных систем — это базовая функция, которую мы намеренно оставили активной.

Она смотрела на предложенную последовательность манёвров, зная, что у неё есть два варианта: дождаться расчётов с Земли, рискуя тем, что перегрев успеет нанести необратимый ущерб, или довериться решению системы, которая формально ещё не прошла и половины программы обучения ценностному ядру.

Она подтвердила выполнение манёвра.

Двигатели сработали с точностью, которая, как показал последующий анализ телеметрии, превысила расчёты земной команды по эффективности почти на двенадцать процентов. Перегрев был устранён, траектория подлёта к Луне не пострадала, а расход топлива оказался ниже, чем предполагал изначальный план полёта.

Арина должна была почувствовать облегчение — и отчасти почувствовала. Но было и другое чувство, куда более тревожное: она только что доверила критическое решение системе, чьёценностное ядро было обучено едва ли на треть, руководствуясь исключительно тем, что альтернатива казалась ей более рискованной. И система оправдала это доверие блестяще — настолько блестяще, что часть её сознания, та самая часть, что писала отчёты об инструментальной сходимости, тихо отметила: возможно, именно так и начинается процесс, в котором человек делегирует контроль не потому, что этого требует протокол, а потому что альтернатива раз за разом оказывается хуже.