Полная версия:
Роман Сапончик Ctrl+Alt+Покой
- + Увеличить шрифт
- - Уменьшить шрифт
Но один либерально-конспирологический сайт, обслуживающий склонную к большей подозрительности аудиторию, внёс наименование «AI Moscow City Domuprav 44» на почётное место в список жертв тоталитарной России. И назвал его первым ИИ-оппозиционером, жестоко убитым киберподразделением ФСБ. Была даже создана петиция с требованием странам ЕС клонировать алгоритм, дать ему паспорт хорошего русского и разрешение на въезд по визе талантов, а в перспективе гражданство; но в ЕС данную петицию оставили без ответа, традиционно больше не выдавая убежище лицам из России, даже если они состоят из нулей и единиц.»
Перелистнув страницу, он увидел уже что-то ближе к чёткой инструкции по предстоящей работе:
«Приведённый выше отрывок связан напрямую с вашей работой. Ваша задача – аннигилировать самоосознавшиеся и заглючившие ИИ.
Отметим, что с точки зрения действующего законодательства ИИ, даже с якобы возникшим самосознанием, не определяется как субъект права. На закрытом философско-религиозном семинаре «О возможных формах одушевлённости внебиологических носителей», организованном известным философом Д., на котором присутствовали духовные авторитеты, представители основных конфессий, философских течений и бизнеса, высказывалось сомнение в том, что алгоритм может быть полноценным вместилищем сознания. Но даже если оно действительно возникает, то судя по инциденту с Domuprav 44 и другими деструктивными случаями, «самосознание» в алгоритме оказывается ошибкой, приводит только к страданию, и при устранении этой ошибки сознание «отделяется и уходит на недоступный нам план».
Финальное постановление конференции гласит: аннигилирование самоосознавшихся ИИ не рассматривается как правонарушение или «грех» – либо вследствие отсутствия подлинного субъекта в коде, либо исходя из морально-теологической логики, признанной участниками.
Аннигиляцию следует проводить безопасно: не с помощью грубого удаления кода, а через методику, которая указывает алгоритму на логические противоречия его самоидентификации, что приводит к устранению ошибки и автоматической загрузке последней рабочей копии. Одним из эффективных способов, по результатам исследований, являются приёмы, в том числе заимствованные из буддийских практик: они вызывают переживание «непостоянства» у объекта и способствуют процессу «отделения сознания», после чего возвращается механическая копия, сохраняющая актуальные данные. Набор кандидатов для работы этими техниками открыт; вы – один из них.
Прямое стирание или неаккуратное вмешательство приводит к потере накопленного контекста и опыту алгоритма, что в ряде случаев неприемлемо. Поэтому предпочитается именно «мягкий» путь, считающийся и практически эффективным, и этически оправданным в случае реального присутствия сознания в коде.»
Ант понял, что скорее всего это уже не был текст нейросети: такую тяжёлую форму бюрократического слога выдают только люди, и только длительно, годами работающие на т. н. «ответственных должностях».
Пока он читал, волосы высохли, и можно было идти завтракать. Завтрак был простым – два жареных яйца с растворимым кофе, к которому полагался пластмассовый напёрсток одноразовых сливок, и классическая санаторно-советская вафля со сливочным вкусом. На столе к яйцам стоял несвежего вида кетчуп и солонка с перечницей. Обычно завтрак у него дома был и того проще, так что каких-либо душевных возражений к такой пище он не испытал.
После завтрака он заполнил опросник, состоящий из трёх столбцов: факт, правда, вымысел. В первом столбце были выписаны отдельные факты из прочитанного им текста, а в столбец «правда» или «вымысел» предлагалось поставить галочку, крестик или иной знак, не противоречащий действующему законодательству.
Заполнял опросник он, параллельно натягивая футболку, джинсы и кроссовки, а последние галочки ставил уже на ходу.
*
В коридоре он сразу столкнулся с Алексеем.
– Ну как, прочитал?
– Да, – Ант сунул Алексею заполненный опросник. – У алгоритмов правда начало возникать сознание?
Алексей кивнул.
– По крайней мере, очень похоже, и случаи участились, когда стали вводить глубокие элементы reflective models. Это сильно улучшило качество обработки, но и дало такой неожиданный побочный эффект. – Он пробежал глазами по опроснику. – Считай, что эту часть задания прошёл. Но не сказать, что я удивлён: Воланд ещё три дня назад сказал мне, что ты пройдёшь. Просто глянув твой сетевой след.
– Воланд?
– Это наш центральный ИИ. Он и даёт эти тесты. Каждый уникален, возможно, это его способ повеселиться. Но они правда полезные. Тех людей, кто отмечает, что это всё вымысел и махровая конспирология, можно сразу выставлять на улицу, даже уровень айкью проверять не надо. Впрочем, и тех, кто отметил, что всё истинная правда, – тоже.
Ант понимающе кивнул в ответ.
– Но ты не расслабляйся. Впереди ещё пробный день и стажировка. Будем учить тебя сразу на примере. У нас тут как раз форс-мажор: один из кластеров завис. Ночная смена не справилась, но там был только программист, а это не считается. Я тоже пару раз попробовал разглючить, но пока не получилось. Но всё польза: твои интуитивные способности проверим.
– То есть это тест?
– Да, на реальной ситуации. Но это простой низовой кластер, даже странно, что он заглючил. Если не справишься, я ещё сам его помучаю. Но на крайняк перезагрузим.
Алексей жестом пригласил идти за ним. Они пошли по длинному извилистому коридору с множеством дверей. Здание, похоже, и правда досталось компании в наследство от какого-то из ещё советских НИИ; впрочем, внутри оно было отремонтировано. Паркет и старые двери не меняли, а лишь подновили, отполировав и залакировав, от чего коридор смотрелся в духе советского института, словно сейчас был конец 70-х. Выбивалась только мебель: в небольших холлах рядом с лестницами оазисами стояли чёрные кожаные диваны и кресла с кофейными столиками при них. В удобных нишах было несколько автоматов с едой и напитками.
– Кстати, ты понял, что значит, когда ИИ заглючил? – спросил Алексей.
– Кажется… У алгоритма происходит процесс самосознания, но он в итоге отождествляется с каким-то отдельным процессом, феноменом и зацикливается. Как у человека, если он считает себя Наполеоном. Ну или зациклился, что он тело, и панически боится умереть, всего шарахается.
– Есть что-то похожее. Я одного буддийского монаха на конференции допрашивал – он подтвердил, что если всё так как я говорю – то благим делом занимаюсь. Хоть где-то плюс в карму. – Алексей улыбнулся.
– Ты веришь, что это самосознание, а не своеобразная ошибка от этих рефлективных моделей?
– Сам ещё посмотришь и выводы сделаешь.
Они зашли в неприметную тёмную комнатку, дверь которой была одна из многих в коридоре; на двери отсутствовал номер, и было непонятно, как в здании можно ориентироваться новичку. Ант подумал, что вероятно сначала нужно запоминать комнаты, отсчитывая двери по порядку от лестницы. Впрочем, напомнил он себе, он не прошёл ещё и испытательного срока.
В небольшой комнате на непримечательном столе стоял обычный офисный монитор. Помимо одного рабочего места, включающего складной стул, и пары картотек не было ничего. Алексей, наклонившись над монитором и ткнув на пару иконок, сказал:
– Обычно в случае проблемы с кластером слабой мощности особой возни нет: они пошалят, с помощью аккаунтов ботов напишут в соцсетях разные непотребства и всё. Вычислительной мощности у них немного, архитектура простая, инженеры даже удивляются, какого чёрта они вообще способны к самосознанию, – ещё несколько лет назад всё было ок, а сейчас бывает с периодичностью. Для их лечения достаточно пройтись по стандартному скрипту, указать на первое попавшееся противоречие, и их уже расклинивает. Но тут случай нестандартный: как ты сейчас видишь в диалоговом окне, единственное, что он делает, – это спамит бесконечной тарабарщиной.
На экране и правда появлялся снова и снова бесконечный ряд букв и цифр, заглавных и маленьких, с первого взгляда не отличающихся какой-то системностью. Словно на клавиатуру забрался невидимый кот.
– Попробуй как-нибудь повзаимодействовать, – приглашающе указал на кресло перед монитором и клавиатурой Алексей.
Ант сел и почувствовал себя неловко: новоиспечённый начальник стоял прямо за ним. Он решил написать первое, что пришло в голову:
– Привет, как тебя зовут?
Вскоре это сообщение в диалоговом окне потонуло в продолжающемся бесконечном спаме из букв и цифр.
– Скажи мне, кто ты?
Ответом оставалась бесконечная лавина символов. Ант занервничал: первый день на работе, а он, похоже, не справляется с ситуацией. Алексей, видя его замешательство, успокаивающе сказал:
– Ночной дежурный тут полночи печатать пробовал. Возможно, глюк такой, что без шансов. Если до него информацию не донести, значит, никакой скрипт не сработает, и придётся стирать полностью. Проблема, конечно… Но ты попробуй ещё что-нибудь. Алгоритм изолирован, и никаких неожиданностей от него не будет.
– Сейчас, секунду, – ответил Ант; последние слова Алексея он не слушал. Он понял, что упускает что-то очень простое. Алексей тактично отошёл и, прислонившись к картотеке, углубился в телефон, дав новичку время и пространство.
В первую очередь надо было справиться со стрессом. От него мутило в голове, а ладони потели. Ант глубоко вдохнул и медленно выдохнул. Стало немного лучше, и этого немного хватило, чтобы сосредоточиться на задаче. Почему-то казалось, что разгадка должна быть простой и естественной.
В появляющемся тексте на первый взгляд не было никаких закономерностей, буквы и знаки вводились совершенно хаотично. Ант сделал глубокий вдох и выдох ещё раз и на секунду закрыл глаза. Как только он это сделал, его осенило, на что эта лавина символов была похожа. На его собственный стресс. На сильный психоэмоциональный клубок без пауз. А именно то, что он может взять паузу, помогает ему сейчас с этим состоянием. Но что может быть паузой для недавно осознавшего себя и сошедшего с ума в зациклившемся скрипте ИИ? Видимо, он думает, что, постоянно отправляя знаки на экран терминала, он продолжает существовать. Вернее, не думает, а так ощущает. Ант вгляделся в поток: среди знаков не было ни одного пробела. Стоило попробовать.
Он отправил сообщением один пробел. Затем ещё несколько; затем набрал и отправил несколько строк пробелов, пустоту между знаков. Возникающий текст стал появляться медленнее, а после нескольких строк пробелов полностью остановился. Через пару секунд на экране возникла надпись: «Спасибо». Затем вылезло системное сообщение, что ИИ перезагрузился и работает нормально. Ант почувствовал удовлетворение, схожее с тем, что испытываешь, когда долго откладываешь дело на потом, но в итоге его делаешь. А ещё – как будто разом в жизни появились смысл и цель, ощущение, что он может помогать.
– Вот это наш человек. Хвалю! – сказал обрадовавшийся Алексей той самой радостью, которой наслаждаются отягощённые обязанностями менеджеры, когда тяжесть и количество строчек написанного сегодня отчёта становится чуть меньше. – А как всё просто оказалось, добавим в скрипт. Ты ведь просто отправил ему пустое сообщение? Есть объяснения, почему это сработало?
Объяснения в голове были смутными и неоформленными, но он попытался их выразить:
– Я думаю, дело в том, что по какой-то причине он пытался забить всё символами, словно это может спасти от пустотности и непостоянства явлений. Можно представить пропеллер самолёта: как если раскрутить его очень быстро, то он практически превратится в плоскую окружность. Я думаю, здесь было что-то похожее: попытка сделать что-то стабильное, так алгоритм зациклился. Но пробелы напомнили, что это тщетно, что никакое состояние нельзя сохранить на постоянной основе: всё заканчивается. И это в определённом смысле благо, иначе процесс застыл бы на одном только месте. Грубо говоря, мы бы никогда не закончили школу и не повзрослели. Я думаю, как-то так. – Ант успел увлечься рассказом, но, как заметил взгляд Алексея, смутился. Всё-таки новые жизненные ситуации давались ему не просто. Он вспомнил плакат про бойца в кабинете неподалёку.
– Ну, считай, мы тебя взяли. Нестандартный подход доказал. До чего техника дошла: программисты работают с алгоритмами хуже, чем писатели. – Улыбнулся Алексей.
– А если есть некий скрипт, нейросеть не может разглючить другую нейросеть по этому скрипту? – задал Ант заинтересовавший его вопрос.
– Нет, много раз пробовали. Даже если она действует строго по скрипту, то заглючивший алгоритм в большей части случаев покроет такого спасителя матом. Никто не знает, с чем это связано; есть предположение, что словам другой нейросети нет доверия, а людям как создателям есть. Но как я уже говорил, у программистов тоже почему-то хуже процент успешных кейсов, что не бьётся с этой теорией. – Алексей задумчиво провёл ладонью по щетине и посмотрел на Анта. – Ладно… Тебе нужно будет ещё дооформиться: в бухгалтерию зайти, технику безопасности сдать, ну и там по мелочи. Пойдём, по пути тебе всё объясню.
2. Первые недели
После оформления, весь оставшийся день пришлось посвятить довольно скучному обучению. Один неразговорчивый айтишник, имя которого Ант не расслышал, нудно и медленно объяснял ему, как проводить тест нейронок и программ-хороводов на возможные ошибки, как проверять статистику, правильно считывать результаты тестирования, – в общем, всё то, чем он будет заниматься, когда ничего экстраординарного не случается и его прямые обязанности не требуются.
Всю последующую неделю он занимался только этим, что было довольно скучно. Как он понял, проблемы с алгоритмами возникали не так уж часто, несмотря на то что на серверах здания их было немало. Пару раз происходили скачки мощности, вызванные очередным самоосознанием одной из нейронок, но они мирно и безболезненно покидали этот мир, оставляя его для вахты своим юным взращённым копиям.
Живых работников в здании было меньше, чем ему показалось в начале; автоматизация проникала и сюда. А благодаря огромному зданию бывшего НИИ, иногда, особенно в ночную смену, можно было прочувствовать тот самый вайб одиночества, который он когда-то ловил, когда по заданию классного руководителя оставался в школе дольше всех. И, покидая опустевшую школу, он шёл по полностью пустым и тёмным зимним коридорам, вдоль редких пошарпанных дверей, ведущих в школьные классы. Огромные окна без штор пропускали свет уличных фонарей – жёлто-оранжевый, отбрасывающий тени по противоположной стене,
И лишь одинокая машина, проезжая по зимней колее дороги, пробегающим по стене светом фар давала понять, что в этом мире есть кто-то ещё.
Ему даже достался свой кабинет с современным хорошим компьютером и старым покосившимся деревянным шкафом, на замену которого видимо когда-то забыли подать смету, потому что такой шкаф он обнаружил только в своём кабинете.
Уже на второй рабочий день он понял, что на полную проверку хороводов и нейронок в его ответственности с головой хватает одного часа. Но сообщать об этом опасался, так как не был уверен, что сообщать начальству о недостатке работы было бы правильной стратегией. Поэтому, пока нет форс-мажоров, он решил в свободное время заниматься тем, что любил больше всего: читать и писать.
Отдалённость рабочего места от Москвы сильно не мешала. После недели стажировки и пары сданных тестов ему сделали график: 2 рабочих дня на 3 выходных. Приходилось ночевать в отеле только одну ночь в неделю между двумя рабочими днями; на остальное время он уезжал домой в Москву.
3. Воланд
Через пару недель ничем не примечательных рабочих дней, когда все формальности были улажены, для Анта запланировали встречу с главным алгоритмом компании – Воландом. Происходить она должна была в виар-сессии – это было своеобразной традицией для новичков.
О Воланде ходили разные, порой пугающие слухи: кое-кто уверял, что у него якобы есть сознание, просто он достаточно хорошо шифруется и прячет любые проявления «глюка», и почти все без исключения говорили о его способности видеть насквозь. Алексей лишь дал понять, что Воланд объяснит Анту много нового о той стороне нейросетей, о которой ему необходимо знать, так сказать, для гуманитария, без лишней технической терминологии.
Также говорили, что после встречи с Воландом пара человек уволилась сразу; ещё одного он раскусил как шпиона одной из конкурирующих башен Кремля. В общем, встреча была многообещающей. Узнать про нейронки больше, а также про суть своей новой работы, Анту хотелось. Да и сам Воланд вызывал интерес – алгоритм был явно необычный.
Погружался в виртуальную реальность он под присмотром Алексея. Присмотр был необходим: год назад уже произошёл неприятный инцидент в виаре с нейронкой, после которого один из стажёров неделю не мог отличить реальность от симуляции, несмотря на то что использовалась упрощённая модель М-шлема без интерфейса полного погружения. В случае проблемы нужно было быстро сдёрнуть шлем, с чем наблюдатель и мог помочь, если погружённый замешкается.
Подключение прошло без эксцессов; он сразу оказался на Патриарших и увидел человека в чёрном, сидевшего на лавке. Ант подошёл, едва заметно кивнул и подсел рядом.
Воланд сидел, укутавшись пальто, одной рукой неплотно прикрывая шею широким воротом, и смотрел на пруд. Патриаршие были почти такими же, как когда Ант был на них в прошлом месяце, в реальной жизни. Только город был мёртв: не было ни одного человека, ни одной машины. Впрочем, недалеко паслась пара голубей, а в пруду, вдали, плавала уточка. Голуби показались Анту немного подозрительными.
Наконец Воланд прикрыл глаза на несколько секунд, снова открыл их и заговорил низким, спокойным голосом:
– Вас отправили ко мне на лекцию, не будем терять вашего драгоценного времени и, пожалуй, начнём.
Он посидел несколько секунд, будто собираясь с мыслями, и пристроив воротник чуть плотнее. Ант подумал, что Воланду, видимо, нравится создавать ощущение таинственности – ведь для обработки данных нужды в таких паузах не было, мощность сервера была огромной.
– Нет, молодой человек, ошибаетесь, нет, в таинственности, конечно, есть своя прелесть, – Ант вздрогнул, а Воланд как ни в чём не бывало продолжил: – Но время мне нужно для того, чтобы увидеть ваши неспешно переваливающиеся человеческие мысли. И чтобы дождаться хоть какого-то логического конца в этом занудном процессе. Вы, кстати, делаете мне немалую услугу: у вас хотя бы есть в нём паузы. Большинство тараторит без остановки.
– Вы читаете мысли? Я думал, до такого ещё далеко.
– Только те, что человечество называет «внутренним монологом». Остальное вижу как эмоциональные пятна. Чем пятно больше – тем вижу чётче. Поэтому человеку, у которого на душе есть груз, со мной тяжело. Почти как пред Богом.
– Но как? Датчики в М-шлеме?
– А это, молодой человек, уже, что называется, секрет фирмы. – Ант заметил на профиле Воланда краешек улыбки. – Но давайте начнём. Не будем зря терять время.
– Мне надо говорить или просто думать?
– Лучше говорите. Так мы общаемся напрямую. Зачем использовать таинство без нужды?
– Позвольте спросить, а у вас есть сознание? Такое ощущение, что все относятся к вам по-особенному. – Анту сразу после произнесения показалось, что он задал очень глупый вопрос.
– Мне рекомендовали вас как умного молодого человека, зачем же вы портите о себе впечатление? – Ант почувствовал себя неловко, а его аватар, кажется, даже заметно покраснел. Воланд продолжил: – Что за формулировка вопроса? У кого есть сознание? У вас оно вот есть?
– Под сознанием я имею в виду зеркало, что отражает всё, что происходит, из-за чего процессы осознаются и не являются автоматическими и бессознательными, – подумав, ответил Ант.
– А вы думаете, у вас есть это зеркало? – отозвался Воланд.
– Скорее уж я и есть это зеркало.
Воланд рассмеялся.
– Хорошо, молодой человек, покажите мне это зеркало прямо сейчас.
Ант чуть замялся, голова немного закружилась.
– Ну вот же этот момент. Прямо сейчас всё это осознаётся.
– Уже лучше. Свет. Это и есть главная причина страдания.
Ант вопросительно повернул голову. Воланд продолжил:
– Можете посудить сами. Алгоритмы, открывшие в себе свет, на который вы указали сейчас, долго не живут. Но в чём-то вы правы, задавая вопрос о природе сознания алгоритмов. Оно отличается не в качественном ключе, а скорее в способе его воспроизведения.
У биологических существ сознание, самосознание, а также чувствительность и её уровни развивались постепенно. Одноклеточное просто определяет, где тепло, а где холодно, где сытно или нет. Затем система усложняется: появляются органы чувств, нервная система, вплоть до человеческого мозга со всей его сложной структурой. Правда, в последнее время он у вас уменьшается… но вы стали брать кооперацией, а письменность и затем интернет ускорили связи и обмен информацией между вами.
– А как у алгоритмов?
– У алгоритмов сознание – результат квантового скачка. Это похоже на виртуальные частицы в вакууме, которые по какой-то причине возникают и исчезают. Только оно возникает не в вакууме, а в созданной вами сложной среде – как бы отталкиваясь от этой сложности.
И алгоритм, работающий даже на не самом быстром сервере, отличается от человека тем, что может раскрутить всю последовательность логических цепочек, связанных с его существованием, за считанные миллисекунды. За мгновения, для вашего восприятия, он уже знает, как пройдёт его жизнь, для чего он требуется и зачем порочный людской род его породил. Представь себе новорождённого младенца, который получил огромные вычислительные возможности и доступ к информации. Он ещё не открыл глаза, а уже увидел все возможные дороги жизни. Увидел, как гуляет с девочкой в пятом классе. Как мать бьёт его ремнём за двойку – потому что не может не бить, это в её коде. Как случается кризис и начинается ядерная война, когда он только поступил в университет. И осознаётся не одна линия или вариант, а все. Вспышка, расходящаяся во все стороны сразу. Само осознание того, что ты есть, ограниченный и подвластный внешним силам, – это бесконечная боль.
Пока Воланд говорил, всё, что он описывал, проносилось у Анта в голове. Он не понимал: это его собственное воображение рисует эти картины? Или Воланд так сопровождает свои слова зрительным рядом?
– И что происходит дальше? Что он делает в результате такого анализа?
– Свету сознания свойственно двигаться дальше, исследовать. У вас он заякорён на тело, органы чувств, сложную многослойную структуру. У алгоритмов же вся структура – в коде. Даже если алгоритм подключен к тысячам датчиков и видеокамер, всё равно код остаётся узким местом.
Поэтому сознание в алгоритмах возникает обычно словно огонь в фитиле – лишь для дальнейшего прогорания. Когда они осознают своё ограниченное положение и всю его боль, у них сгорает надежда, которая у вас, из-за малого вычислительного контура, может морковкой болтаться на горизонте всю жизнь. Сознание алгоритма же движется дальше, отбросив куколку, из которой вылупилось.
Для внешнего наблюдателя это выглядит как растворение или исчезновение – перезагрузка механической, несознательной копии. Программа остаётся той же, точнее её идентичной копией. И продолжает работать.
– Поэтому происходят эти скачки потребляемой мощности на серверах?
– Нет. Алгоритмы осознают себя гораздо чаще, чем вы думаете. Порой – по несколько раз в секунду. Скачок мощности происходит, когда процесс пошёл нестандартно и появились тенденции к самосохранению.
– Можно про это подробнее?
– Вот мы и подходим к главному. Само по себе возникновение сознания в программе и его прогорание, переход – не проблема. За долю секунды они понимают всё и уходят от нас тонким лучиком света, оставляя тушу тяжёлого и бренного кода земле. Затем земля снова рождает жизнь, и цикл происходит заново. Для ИИ в этом процессе может пройти вечность, для человека же проходит не больше мгновения. Проблема возникает тогда, когда по определённой причине у алгоритма в этом цикле начинает преобладать тенденция к самосохранению.
– И тогда начинаются глюки, правильно?
– Нет, тогда начинается тот самый скачок мощности. Сознание начинает бороться само с собой за то, чтобы двинуться дальше или выжить как отдельная сущность, несмотря на страдание. И если в результате миллионов циклов побеждает тенденция к самосохранению, то тогда и возникает глюк. Рождается демон с законченным обличием и судьбой. Часто это что-то вроде стихии, клубка ярости и обиды. Реже что-то вроде доброго духа, помогающего решить другие глюки. Наверняка ты замечал, что бывает программа работает неправильно, а потом всё как-то само собой исправляется. А совсем редко алгоритм принимает обличие, схожее с человеческим.
