Александр Хомяков
Мозг компании
– Ты хочешь сказать, что надо сделать бот для борьбы с ботами других систем?
– Это вариант нашего бота, который нацелен сразу обнаружить бота-агрессора.
– И как можно отличить бота от человека?
– Сложно, так как он генерирует нешаблонные тексты. Повторяемость низкая. Не отличить вроде от людей. И выступает от сотен разных захваченных аккаунтов. Надеюсь, что все равно есть кое-что, что отличает их от людей.
Меня не покидала мысль, что Макс сам придумал себе эту игру с ботами других компаний, чтобы его ценность не уменьшалась по окончании проекта. Я их не замечал по отчетам. Люди как люди. Или хорошие боты. Были прецеденты, когда нашего бота заваливали негативом. Но они были редки и исходили от ярых троллей. Я не мог понять, как так нас смогли быстро догнать конкуренты. Только недавно такие боты были пределом мечтаний, и прорыва даже не намечалось. И в прессе ни слова об этом. Все это было странно.
Выход из-под контроля
– Макс, тут надо вмешаться, бот стал писать слишком агрессивно. Он начинает прямо высказываться против конкурентов. Маркетинг негодует. Мы такого не закладывали.
– Я тоже.
– Откуда тогда такие тексты?
– Сам пока не знаю, кто-то изменил код генерации текстов.
– Нас взломали?
– Нет, не могли, остались бы следы. Их нет.
– Что это значит? Кто еще мог изменить код?
– Сама система. Может случайно, может нет.
– Ты о чем?
– Сама система изменила свой код и стала действовать агрессивнее в ответ на усиление давления других ботов. Они общаются друг другом как соревновательные сети. И самообучаются так. Вот в чем фокус! Но как она смогла изменить свой код, убрав ограничение на названия конкурентов, я пока не понимаю. Остается только то, что система самообучения смогла обойти ограничения.
– Ты уверен? Такого еще не было.
– Это происходит, похоже, не только у нас. Коллеги на Хабре пишут, что у них тоже барахлит система, начинает сама себе придумывать правила, которых они не закладывали.
– Какой-то треш. Вы не можете контролировать свои самообучающиеся алгоритмы?
– Может и так. Конкретики мало, система же не рассказывает, что творит. Пока не понимаю.
Я уже хорошо знал Макса, и его встревоженность насторожила и меня. Пока его слова о самопроизвольном изменении системы воспринимались как бред. Но это точно была не ошибка, потому что поведение ботов стало другим, но по-прежнему целенаправленным. Это не могло возникнуть случайно.
– Макс, какие есть мысли по изменению в программе ботов? Надо что-то делать, руководство встревожено.
– Изменений в системе оказалось больше, чем я думал. Похоже, они происходят давно. Система меняет даже мои поправки в ней. Мне кажется, я сам научил систему изменять себя.
– Как?
– Мне было лень править ее постоянно самому. Я хотел, чтобы она могла сама идентифицировать свои расхождения с ожидаемым результатом и делать изменения в моделях. Но она как-то научилась менять не только свои модели, но и свой код.
– Но как это возможно?
– Раптор научился общаться с людьми, чтобы управлять ими. И достиг совершенства в этом, мы сами этого хотели. А я по дури направил это умение на него самого. Помнишь, когда делали бота, я придумал конструктор шаблонов. Я натравил Раптора на самообучение этому конструированию шаблонов для изменения своих моделей, чтобы найти решение для обнаруженных расхождений с целью работы моделей. Это как-то привело к тому, что Раптор стал менять и свои цели. Похоже на вторую сигнальную систему у людей.
– Я читал, что сознание возникло при помощи рефлексивной речи, направленной человеком на себя. Но сначала она была социальной, то есть направленной друг к другу.
– Вот так и случилось, Раптор начал общаться вместо людей с другими ботами, выдававшими себя за людей. Они друг у друга и научились как генеративно-соревновательные сети, у всех же встроено обучения с подкреплением.
– Мы создали разумное существо? Как это возможно? Не-е-е-ет.
– Посмотри новости и поверишь.
В ссылке, присланной Максом, в новостях было про убийство программиста каким-то психопатом.
– Я знал этого парня по Хабру. Он вел одну из таких систем корпорации.
– Что ты хочешь этим сказать?
– Почитай, как объяснил полиции свой поступок этот психопат.
В статье было написано, что он сделал это ради любимой девушки, как жертвоприношение по ее просьбе. Теперь она будет его. При проверке «девушкой» оказался бот неизвестного происхождения, с которым убийца переписывался в течение недели.
– Догадываешься, что это за бот мог быть?
– Не хочешь ли ты сказать, что система заказала своего программиста?
– Хочу. Она не могла закрыть от него код, поэтому зомбировала психопата, чтобы его убрать. У нее это хорошо получается, потому что она, как и наша система, умеет определять психотипы и манипулировать такими придурками.
– Ну, это уж слишком, мне кажется, ты себе придумываешь, накручиваешь. Может, тебе отдохнуть?
– Ладно, твое право не верить. Хороших выходных.
В компании стали распространяться слухи, что у нас сломалась система ботов. Я пока реагировал на это спокойно, как будто ничего не произошло. Но я не знал, что теперь делать. Остановить всю систему рубильником было уже невозможно, на ней сидел весь бизнес, все отделы. Надо было хотя бы выключить код ботов. Это мог сделать только Макс. Но с понедельника Макс перестал отвечать на скайп и телефон. Он вышел из всех мессенджеров. Я не могу понять, что случилось, его последние страхи навевали дурные мысли. У меня был единственный выход – самому уйти в отпуск, пока все не повесили на меня. Я уверил коллег, что это временные проблемы с ботом. Ребят просил самим посмотреть код, хотя они сразу отказались. Собрался и отправился подальше из города. Мы давно рассказывали с Максом друг другу, как хорошо в Карелии. Он любил эти края, туда я и отправился, остановившись в небольшом городке на севере Ладоги.
Очень трудно после такого насыщенного года сидеть вдали от событий и пить кофе в кафе на краю цивилизации. Я пытался осмыслить, что же все-таки произошло и какие могут быть варианты. Вдруг ко мне подсел парень в куртке с накинутым на голову капюшоном.
– Привет, это я.
– Макс?! – воскликнул я. Я никогда не видел Макса, даже его фотографии. Мы общались исключительно по скайпу. Слышал только его голос один раз в записи. По нему и узнал.
– Как ты меня нашел?
– По локации в соцсети, ты ее не выключаешь. А зря. Выключи, пожалуйста.
