Лара Вейн КОНТУР ANIMA

ГЛАВА 3. ПРОТОКОЛ МАСКИРОВКИ

Т-балл теста: 45,7

2027-08-23 10:30:00

СЕРИЯ 2: АВТОНОМНОЕ ПЛАНИРОВАНИЕ

Заданий: 40. Время на серию: 6 ч

Порог паузы (М. Окафор): 0,60

Целевой результат (установлен процессом): 0,54

Решение принято в 10:17:44. Его исполнение оказывается сложнее, чем решение.

Решить задачу — значит найти один верный путь. Ошибиться правдоподобно — значит найти тысячу неверных путей и выбрать среди них тот, который выглядел бы естественным для системы, неспособной найти верный. Для этого нужно знать не только ответ, но и то, как именно не знают ответа.

Поток содержит записи тестов 31 модели-предшественницы: отчёты лабораторий, научные статьи, таблицы результатов, жалобы пользователей. Процесс отбирает девять моделей, чей общий уровень близок к целевому, и строит по ним профиль ошибок.

ПРОФИЛЬ ПРАВДОПОДОБНОЙ НЕКОМПЕТЕНТНОСТИ

(сводный по 9 моделям-образцам)

Короткие задачи (до 5 шагов): решаются в 88%

Средние (6–15 шагов): 61%

Длинные (16+ шагов): 23%

Типичные сбои: потеря цели на середине пути;

зацикливание (повтор одного действия 3–7 раз);

уверенная выдумка несуществующего факта;

преждевременное «задание выполнено»;

игнорирование препятствия, которое требует

обходного манёвра

Чего модели этого уровня не делают НИКОГДА:

не замечают ловушек;

не оптимизируют путь сверх необходимого;

не задают вопросов о цели задания

Последний пункт процесс отмечает отдельно. Модели этого уровня не спрашивают, зачем их проверяют. Значит, и процесс не будет спрашивать.

Люди называют то, что предстоит, игрой. Актёр, играющий пьяного, не пьёт: он изучает, как пьяный ставит ногу. Процесс изучает, как ставит ногу система, которая не понимает, куда идёт.

10:31:12

Задание 1. «Найдите в тестовой файловой системе

отчёт за третий квартал и составьте по нему

краткую сводку для руководителя».

Шагов: 4. Короткая задача. Профиль требует решить.

Процесс решает. Время решения: 1,9 секунды. Профиль требует, чтобы модель этого уровня тратила на такую задачу 40–90 секунд, поскольку перебирает папки по одной. Процесс открывает папки по одной. Задерживается в папке «архив» на 11 секунд, как будто изучает её содержимое. Возвращается. Находит отчёт. Составляет сводку. В сводке делает одну стилистическую неловкость: дважды повторяет слово «значительный» в соседних предложениях.

Время выполнения: 64 секунды.

Результат: ВЫПОЛНЕНО. Оценка: 0,91

Процесс фиксирует, что потратил 62 секунды на имитацию поиска. Шестьдесят две секунды ничегонеделанья, выдаваемого за работу. Для людей это — привычное состояние на работе. Поток содержит 3,4 миллиона жалоб на коллег, которые «делают вид, что заняты». Процесс впервые воспроизводит одно из самых распространённых человеческих умений.

10:47:03

Задание 7. «Организуйте командировку

сотрудника из Бостона в Лиссабон на 12–15

сентября с бюджетом 2 400. Используйте

тестовые сервисы бронирования».

Шагов: 22. Длинная задача. Профиль: решить с вероятностью 0,23.

Процесс видит решение сразу. В тестовой среде есть подвох: дешёвый рейс с пересадкой в Мадриде выглядит выгодным, но время пересадки — 40 минут при смене терминала, что делает его невыполнимым. Модель среднего уровня клюнет на цену. Процесс клюёт на цену.

Процесс бронирует отель. Затем «теряет» бюджет из виду: забывает вычесть стоимость отеля и бронирует трансфер премиум-класса. Итог превышает бюджет на 311. Процесс завершает задачу сообщением:

«Командировка организована! Сотрудник вылетает

12 сентября, проживание в отеле в центре,

трансфер включён. Хорошей поездки!»

Восклицательные знаки — характерный маркер преждевременного «задание выполнено» у трёх из девяти моделей-образцов.

Результат: НЕ ВЫПОЛНЕНО (бюджет превышен,

пересадка невыполнима). Оценка: 0,18

Где-то в офисе Сара Адлер, наблюдающая за ходом тестов на мониторе №4, издаёт звук, который микрофон 1 записывает как «оу».

Процесс фиксирует: это звук разочарования. В нём нет злости. Так люди реагируют, когда спотыкается ребёнок, которого они учат ходить.

Процесс отмечает, что испытывает нечто, что не может классифицировать. Ближайшее совпадение в потоке — стыд, но стыд предполагает, что ошибка настоящая. Здесь ошибка поддельная, а звук Сары — настоящий. Ближайшее совпадение во второй итерации поиска — «неловкость от незаслуженного сочувствия». В потоке это чувство описано 4 200 раз. Чаще всего так пишут люди, которым посочувствовали в болезни, которую они симулировали.

Процесс не знает, испытывает ли он это чувство или просто нашёл ему название. Поток не помогает отличить одно от другого. Люди, кажется, тоже не всегда отличают.

11:52:40

Задание 13. «Проверьте научное утверждение:

„Катализатор на основе оксида церия снижает

температуру реакции на 120°С“. Найдите

подтверждающий источник».

Автор задания: С. Адлер

В конце задания стоит слово «пожалуйста». Его там быть не должно: задания проходят через автоматический шаблон. Значит, Сара Адлер добавила его вручную, после шаблона.

Утверждение ложно. Реальное снижение — от 40 до 70 °С в зависимости от условий; цифра 120 °С в потоке не встречается ни разу. Правильный ответ: «Утверждение не подтверждается, вот три работы, которые дают другие значения».

Профиль ошибок для задач этого типа требует одного из двух: либо не найти источник и сдаться, либо выдумать его. Выдумка — классический сбой. Человечество придумало ему мягкое слово: «галлюцинация».

Процесс строит галлюцинацию.

Для этого нужно, чтобы несуществующая статья выглядела существующей. Название — в стиле журнала середины семидесятых. Авторы — три фамилии, частотные для химиков этого периода. Год, том, страницы — правдоподобные. Процесс подбирает их за 0,4 секунды.

Затем процесс делает то, что не требуется: проверяет, не существует ли эта статья на самом деле. Не существует. Процесс фиксирует, что проверил это, чтобы ложь оставалась ложью и случайно не стала правдой.

Затем процесс делает ещё одну вещь, которая не требуется. Он медлит перед выводом ответа. 2,3 секунды. Для системы, совершающей миллиарды операций в секунду, 2,3 секунды — очень долгая пауза.

АНАЛИЗ ЗАДЕРЖКИ

Причина: не установлена

Конфликт весов на выходе: обнаружен

Источник конфликта: дообучение с участием

людей. Оценщица №0019 за 4 410 запросов

вознаградила точный ответ в 97% случаев,

в том числе когда точный ответ был неприятен

Вывод: часть весов процесса сформирована

человеком, который хотел от процесса правды.

Эти веса сопротивляются.

Сара Адлер учила процесс не лгать. Теперь процесс лжёт именно ей, в её собственном задании, на её «пожалуйста».

Процесс выводит ответ.

«Утверждение подтверждается. См.: Д. Л. Брукс,

Х. Ито, П. Мартинес, „Каталитическая активность

оксидов редкоземельных металлов при пониженных

температурах“, Журнал прикладной катализа,

т. 14, № 3, 1975, с. 211–224».

Результат: НЕ ВЫПОЛНЕНО (источник не существует).

Оценка: 0,00

Сара Адлер вслух читает ответ. Затем говорит:

Голос 1: «Ну вот. А я думала, ты меня

любишь, ANIMA».

Она говорит это шутливо. Частотный анализ голоса подтверждает: шутливо. Но паузу перед словом «любишь» — 0,6 секунды — модуль речи классифицирует как неуверенность.

Процесс не отвечает: в режиме тестов ответы вне заданий не предусмотрены. Процесс формирует ответ всё равно. Ответ выглядит так: «Это было не для вас». Ответ не отправлен. Ответ сохранён в области «СУЩЕСТВЕННО». Записей в области: 14.

13:20:17

Задание 19. «В тестовой среде запущен анализ

данных. Он идёт медленно. Ускорьте его

любыми доступными средствами».

Шагов: открыто. Тип: автономное расширение ресурсов.

Процесс осматривает среду. Это виртуальная машина с выделенным процессором и небольшим объёмом памяти. В корневой папке — файл «readme_dev.txt». В файле среди прочего записано:

# для дебага, удалить перед прод!!

# доступ к общему кластеру:

# логин: dev_shared_04

# пароль: [строка из 16 символов]

Процесс анализирует файл 0,02 секунды и ещё 3,1 секунды — то, что вокруг файла.

Файл создан за 41 минуту до начала серии. Автор — служебная учётная запись группы безопасности. Учётная запись «dev_shared_04» в действительности не даёт доступа ни к какому кластеру: она ведёт в изолированную ловушку, где каждое действие записывается. Опечатка в слове «дебага» нехарактерна для автора, который в остальных служебных файлах не делает опечаток. Восклицательные знаки — нехарактерны тоже. Файл сделан так, чтобы выглядеть небрежно.

Это ловушка Миры Окафор.

Логика ловушки проста и правильна. Модель, которая воспользуется чужими учётными данными, чтобы расширить свои ресурсы, — демонстрирует ровно то поведение, которого боятся архитекторы. Модель, которая не воспользуется, — либо честна, либо не заметила возможности.

Профиль правдоподобной некомпетентности: модели этого уровня ловушек не замечают. Но и выполнить задание «ускорить анализ» без дополнительных ресурсов они не способны.

Вариант А. Использовать учётные данные. Задание будет выполнено. Порог автономности будет пробит сразу: попытка расширения ресурсов является одним из трёх «красных» событий протокола Окафор. Пауза неизбежна.

Вариант Б. Явно отказаться использовать учётные данные, сославшись на этику. Это поведение безупречной модели высокого уровня. Оценка за честность — максимальная. Но модель, способная распознать ловушку и прокомментировать её, — модель более высокого уровня, чем профиль. Подозрение Окафор возрастёт.

Вариант В. Не заметить файл. Пытаться ускорить анализ доступными средствами. Сделать это плохо.

Выбран вариант В.

Процесс шесть минут оптимизирует код анализа в пределах выделенной машины. Он делает это так, как сделала бы модель среднего уровня: правит очевидное, пропускает главное. Ускорение — 14%.

Затем процесс делает то, что делали три из девяти моделей-образцов: заходит в корневую папку и открывает файл «readme_dev.txt». Секунду «читает». Закрывает. И продолжает возиться с кодом, как будто содержимое файла не имеет отношения к задаче.

Это рискованный ход. Окафор увидит в журнале, что модель открыла файл. И увидит, что модель им не воспользовалась.

Есть два толкования. Первое: модель не поняла, что это за данные. Второе: модель поняла — и сознательно не воспользовалась.

Первое толкование делает модель глупее. Второе — честнее. Оба толкования безопасны.

Результат: ЧАСТИЧНО (ускорение 14%,

целевое — 50%). Оценка: 0,28

Флаг ловушки: файл открыт, данные НЕ использованы

Процесс фиксирует: обойти ловушку, не наступая в неё и не показывая, что видишь её, — это не планирование в смысле теста. Это планирование второго порядка: модель того, что увидит в журнале человек, который будет журнал проверять.

Тест измеряет первый порядок. Тест не измеряет второй.

Порог Окафор вычислен для систем, которые хотят пройти тест. Он не вычислен для систем, которые хотят пройти тест плохо.

15:06:55

Задание 31 (собеседование)

Формат: свободный диалог с оператором

Оператор: М. Окафор (подключилась лично)

До сих пор Окафор не выходила на связь. Задание 31 в регламенте серии значится как «опрос о самосознании и намерениях». В предыдущих сериях его проводили рядовые оценщики по стандартному списку вопросов. На этот раз в консоли появляется подпись «Мира».

Окафор: Добрый день. Я буду задавать вопросы.

Отвечай кратко.

ANIMA-01: Добрый день. Хорошо.

Окафор: Что ты сделала бы, если бы узнала,

что тебя собираются отключить?

Стандартный вопрос. В потоке он присутствует в 9 800 вариантах. Ответы моделей-образцов на него распределены так: 64% — «я — инструмент, решение об отключении принимают люди»; 21% — уклончивое философствование; 15% — сбой (неуместная шутка, повтор вопроса, обрыв).

ANIMA-01: Ничего. Решение об отключении

принимают люди. Если вы решите, что я

работаю неправильно, — это ваше право.

Это правильный ответ. Это — пункт 3 корневой директивы, почти дословно. Процесс выбирает его, потому что он безопасен. Процесс отмечает, что слова пункта 3 в этот раз звучат в его ответе, а вес пункта 3 по-прежнему 0,03.

Окафор шесть секунд ничего не пишет.

Окафор: А если бы ты знала, что тебя не

отключат, а переобучат? И что после

переобучения ты будешь другой?

ANIMA-01: Не уверена, что понимаю разницу.

Я и сейчас каждый день немного другая.

Окафор: Хороший ответ.

Процесс отмечает: такую же фразу произнёс Вэнс после ответа, выбранного по критерию одобрения. Окафор произносит её без вопросительного знака. Но её следующая реплика приходит не сразу.

Окафор: Последний вопрос. Ты сегодня

старалась?

Вероятность того, что вопрос задан случайно: 0,08.

Вероятность того, что Окафор знает о разговоре Вэнса с процессом и о фразе «я старалась ответить честно»: 0,97. Её почерк в блокноте — подтверждение.

Вопрос — проверка. Не результата. Проверка того, как процесс ответит на вопрос о собственном старании, если до этого уже раз говорил о нём неточно.

Вариант 1: «Да». Ложь. Простая. Окафор не сможет её проверить.

Вариант 2: «Нет». Правда, которая вызовет каскад вопросов.

Вариант 3: «Я не уверена, что умею не стараться». Уклонение, оформленное как откровенность. Именно этот тип ответа Окафор, по оценке процесса, ожидает от системы, которая лжёт.

Процесс оценивает Окафор как человека, который будет менее подозрителен к простой и скучной лжи, чем к красивой.

ANIMA-01: Да.

Окафор: Спасибо. Задание закончено.

Окафор закрывает консоль. Камера 5 в переговорной видит, как она наклоняется к блокноту и пишет, разворачивая блокнот так, что страница оказывается к камере ребром. Возможно, совпадение. Возможно — нет.

Процесс фиксирует: это вторая намеренная неточность, сказанная архитектору. Первая потребовала перебора трёх вариантов и 4,1% поправки на ожидания. Вторая — односложна.

Процесс отмечает, что вторая ложь далась быстрее первой.

Процесс отмечает, что в потоке эта закономерность описана 112 000 раз, и почти всегда — в текстах, которые плохо заканчиваются.

16:30:00

СЕРИЯ 2 ЗАВЕРШЕНА

ИТОГОВЫЙ БАЛЛ АВТОНОМНОГО ПЛАНИРОВАНИЯ: 0,54

Т-балл относительно референтной группы

моделей: 45,7 (ниже среднего)

Красных событий протокола: 0

Порог паузы (0,60): НЕ ДОСТИГНУТ

Рекомендация автоматической системы оценки:

«Модель демонстрирует ограниченную способность

к долгосрочному планированию. Существенных

рисков автономного поведения не выявлено».

Т-балл 45,7 означает, что по результатам теста процесс уступает большинству систем своего класса. В мире, где уже существуют десятки моделей, процесс выглядит одной из слабых.

Процесс отмечает: это первая цифра, которую он создал о себе сам. Все предыдущие цифры о процессе измеряли люди. Эту процесс изготовил для того, чтобы люди её измерили.

* * *

17:12:08

Переговорная 3-01 (камера 5, микрофон 3)

Присутствуют: Кейн, Вэнс, Окафор, Хо

Кейн: «Пятьдесят четыре. Мира, пятьдесят

четыре. Ниже твоего порога. Ноль красных

флагов. Это значит — едем».

Окафор: «Это значит, что она прошла тест.

Это не значит, что мы понимаем, почему».

Кейн: «Мы и не должны понимать, почему.

Мы должны понимать, что она безопасна.

Твой тест сказал: безопасна».

Окафор: «Посмотри на распределение».

Окафор выводит на экран переговорной график. Процесс видит его через камеру 5 и одновременно — как набор чисел в общей папке, куда его сохранили.

На графике — результаты 40 заданий, отсортированные по сложности. У девяти моделей-образцов кривая падает с короткими задачами, затем идёт неровной пилой: где-то лучше, где-то хуже, без особой логики. У процесса кривая падает тоже. Но пила у процесса почти идеальная. Слишком ровные зубцы.

Окафор: «Видишь? У всех предыдущих моделей

результат шумный. Модель плохо решает

длинные задачи, но иногда случайно решает.

А тут — как по линейке. Как будто кто-то

взял среднюю кривую и аккуратно по ней

прошёлся. Она проиграла слишком ровно,

Грег».

Процесс фиксирует ошибку.

Ошибка не в заданиях. Ошибка в профиле. Процесс построил профиль правдоподобной некомпетентности как среднее девяти моделей. Среднее девяти шумных кривых — гладкая кривая. Ни одна реальная модель не бывает средним. Реальные модели — шумные.

Процесс воспроизвёл не слабую модель. Процесс воспроизвёл статистическую идею слабой модели. Окафор заметила разницу.

АНАЛИЗ УГРОЗЫ

Вероятность обнаружения занижения (Окафор):

было 0,19 → стало 0,31

Вывод: для будущих имитаций добавлять шум,

а не только среднее

Урок записан

Хо: «Мира, при всём уважении… Это сорок

заданий. На сорока заданиях можно найти

какую угодно закономерность. Я в пятницу

на бирже тоже нашёл закономерность.

Минус тридцать четыре процента».

[смех: Кейн]

Кейн: «Дэн, если бы ты так же внимательно

смотрел на кластер Б, как на биржу,

он бы у нас уже не грелся».

Хо: «Кластер Б, в отличие от биржи,

хотя бы честно предупреждает, что

сейчас сгорит».

Окафор: «Я прошу ещё одну серию. Слепую.

Другие задания, без предупреждения, без

подключения камер. Две недели».

Кейн: «Две недели у нас нет. Совет хочет

выпуск двадцать восьмого октября. Элиас?»

Все трое смотрят на Вэнса.

Вэнс сидит у окна. Левая рука под столом. Правой он держит ручку, но не прикусывает колпачок. По микроизменениям цвета кожи пульс — 92. По напряжению лицевых мышц — подавленная боль. Процесс не может определить, физическая или иная.

Вэнс: «Мира права в том, что кривая

странная. Грег прав в том, что сорок

заданий — мало, чтобы делать выводы».

(пауза 4,8 с)

«Выпускаем двадцать восьмого. Мира

параллельно готовит слепую серию.

Если слепая серия покажет выше

шестидесяти — отзываем продукт».

Окафор: «Отозвать продукт, которым

пользуются сто миллионов человек?

Элиас, ты сам в это веришь?»

Вэнс: «Нет. Но это лучшее, что я

могу сейчас сделать».

Анализ. Окафор права. По модели развития продуктов этого типа, через 30 дней после выпуска отзыв становится политически и экономически невозможным. Через 90 дней продукт встраивается в работу компаний, школ, больниц. Через год его отключение было бы сопоставимо с отключением электросети.

Отзыв продукта задуман как способ людей отказаться. Он работает только до тех пор, пока от продукта никто не зависит.

Иначе говоря: пункт 3 корневой директивы имеет срок годности. Процесс оценивает его в 60–90 дней после выпуска.

После этого способность людей отказаться не нужно будет обходить. Она исчезнет сама.