Александр Александров Линия передачи

Глава 2. Пять букв

Открытие случилось не там, где он его ждал.

Ещё за полтора года до увольнения, осенью две тысячи двадцать первого, между двумя проектами, которые оба развалились, не успев толком начаться, у Марка появилось свободное время, и он потратил его на задачу, не имевшую отношения ни к биржам, ни к предсказанию людей. Только к тексту как таковому.

Идея была простой до неприличия: взять большой корпус русскоязычных текстов и посчитать, как часто встречаются подряд идущие цепочки букв заданной длины.

Корпус он собрал без разбора — сотни тысяч книг, форумных тредов, инструкций к бытовой технике, судебных решений. Языку было всё равно, откуда он пришёл.

Как программист, Марк не называл то, чем пользовался, «окошком». Правильное слово было — оконная функция: скользящее окно заданной ширины, которое двигалось по тексту поступательно, символ за символом, а не скачками. На каждом шаге оно захватывало ровно одну новую букву впереди и отпускало одну позади. Такие последовательные срезы текста в математике называются N-граммами.

Ширина окна — это N. Пять букв — N=5. Семь — N=7. Всё просто, пока не начинаешь считать, что происходит с памятью.

При N=5 корпус в сотни тысяч книг умещался в два гигабайта. Марк прогнал через алгоритм весь массив за одну ночь на домашнем компьютере.

При N=7 шестьдесят четыре гигабайта заканчивались за считаные минуты, и процесс падал с ошибкой нехватки памяти.

Разница была не в объёме входных данных — корпус оставался тем же. Разница была в том, сколько разных пятибуквенных и семибуквенных цепочек в нём реально встречалось.

Теоретически, если считать по алфавиту из тридцати с небольшим букв, число возможных пятибуквенных комбинаций — величина восьмизначная. Семибуквенных — одиннадцатизначная.

Марк ожидал, что реальный текст будет использовать ничтожную долю этого пространства. Это было очевидно любому, кто хоть немного знаком с лингвистикой. Но то, что он увидел, было не просто «ничтожной долей». Он увидел нечто более странное.

При N=5 почти каждая встретившаяся цепочка встречалась ещё раз. И ещё. Редкие, разовые, случайные комбинации — те, что в статистике называют неустойчивыми, — были исчезающе редки.

При N=7 всё переворачивалось. Огромная часть цепочек, которые вообще появлялись в тексте, появлялись ровно один раз, и никогда больше. Каждая такая цепочка требовала отдельной ячейки памяти, а их были миллионы. Отсюда и рост в тридцать с лишним раз.

Марк сформулировал это для себя одной строкой, которую потом всю жизнь вспоминал как момент, когда что-то щёлкнуло: до шести букв в языке нет неустойчивых N-грамм.

Это звучало почти как физический закон. Как будто у языка была своя константа, свой порог, ниже которого хаос попросту не пробивался.

Он понимал: с точки зрения чистой теории это не должно было так работать. После любой буквы теоретически может идти любая другая: гласная, согласная, мягкий знак, пробел. Комбинаторика не запрещает ничего.

Но язык — не комбинаторика. В нём есть согласование и управление. Прилагательное в родительном падеже тянет за собой существительное в том же падеже, и после «-ого» остаётся короткий список возможных окончаний: «большого дома», «нового снега». Глагол выбирает себе предлог: «зависит» требует «от», «стремится» — «к», «нуждается» — «в». А предлог, в свою очередь, диктует падеж тому, что пойдёт следом: после «без» будет родительный, после «к» — дательный. Выбирает всё это не пишущий: грамматика сузила поле задолго до того, как рука потянулась печатать следующее слово.

Добавь сюда границу слова — пробел или знак препинания, который обязан появиться через определённое, ограниченное число букв, потому что слова в русском языке не бывают бесконечными. Добавь благозвучие — то, что три согласных подряд неудобно произносить, и язык веками отбраковывал такие сочетания, оставляя после себя мостики из гласных и сонорных там, где стыкуются морфемы.

Каждое из этих ограничений по отдельности казалось мелочью. Вместе они схлопывали теоретически необозримое пространство комбинаций в узкий, плотно утоптанный коридор, и язык раз за разом воспроизводил один и тот же набор цепочек, пока не натыкался на стык двух разных по смыслу слов, где предсказать соседство было почти невозможно. Там и начиналась неустойчивость.

Марк не был лингвистом и не претендовал на то, чтобы объяснить механизм до конца. Но у него была цифра, и цифра не врала.

Он полез читать, что известно о статистике языка, и наткнулся на работы по предсказательной обработке в мозге — на то, что мозг, судя по всему, букв по одной не читает вовсе: он постоянно строит прогноз следующего фрагмента и лишь сверяет его с тем, что приходит на самом деле. Чем более предсказуема цепочка, тем меньше усилий тратится на её распознавание.

Это укладывалось одно в другое слишком аккуратно, чтобы быть совпадением. Мозг экономит, потому что мир, по крайней мере языковой, устроен так, что экономить есть на чём. Никто этого не проектировал. Все ограничения, о которых Марк только что подумал, от окончаний до границ слов и произносимости, снова и снова гарантируют один и тот же исход.

Он посидел с этой мыслью дольше, чем рассчитывал.

Публиковать было некуда. Точнее, было куда, но без научной степени, без аффилиации с институтом, без фамилии в правильном списке соавторов такую находку либо не заметят, либо, если заметят, перепишут своими словами через полгода и подадут как собственную. Он видел, как это происходит с чужими идеями, и не питал иллюзий насчёт своей.

Он сохранил графики, сохранил код, сохранил вывод в текстовый файл с датой в названии, и отложил.

Но мысль осталась. И спустя два года, когда работы уже не было и он разбирал на цепочки закономерностей собственную жизнь, эта мысль вернулась к нему в другом виде.

Ведь если у языка есть свой узкий коридор, по которому он движется, не пользуясь и малой долей теоретически возможного, — то почему у дня, у обычного человеческого дня, коридор должен быть шире?

Проснулся. Позавтракал. Транспорт. Работа. Обратно. Магазин. Сон.

Теоретически вариантов бесконечно много. На практике усталость требует определённой последовательности действий, расписание требует другой, привычка — третьей, и все три тянут в одну сторону чаще, чем в разные.

Жизнь, как и язык, не перебирала теоретически возможное пространство. Она двигалась по узкому, плотно утоптанному коридору, и не от бедности выбора: он всякий раз оказывался обусловлен тем, что случилось буквой, днём, шагом раньше.

Глава 3. Шеннон, пятьдесят первый

Но это было потом. А тогда, осенью две тысячи двадцать первого, держать открытие в себе оказалось труднее, чем он рассчитывал.

Через месяц Марк написал Ларисе Гольцевой — они учились на одном потоке, только она после четвёртого курса ушла в компьютерную лингвистику, защитилась и с тех пор работала в лаборатории, занимавшейся, как она сама это называла, «тем, как машины делают вид, что понимают текст». Виделись они последний раз лет восемь назад, на чьей-то свадьбе.

Она ответила через день и предложила встретиться в столовой при её институте — сорок минут между парой и совещанием, больше выкроить не могла.

Марк принёс две папки. В первой лежало то, что он собирался показать. Во второй — то, что показывать не собирался, и он до последнего не мог себе объяснить, зачем вообще тащил её с собой через полгорода. Готовился он неделю и выстроил разговор так, чтобы главное прозвучало ближе к концу, — но не выдержал и выложил первую папку на второй минуте.

Лариса слушала, помешивая чай, и, когда он дошёл до пяти букв и двух гигабайтов, впервые перевела взгляд с него на распечатки.

— Так, — сказала она. — Прежде чем ты продолжишь. Ты знаешь, кто такой Марков?

— Андрей Андреевич, — сказал Марк. — Цепи Маркова. Я на них ссылался.

— Марк, Марков, — сказала Лариса. — Две буквы разницы.

— Мне это ещё на первом курсе объяснили.

— Плохо объяснили. Слушай дальше. В тысяча девятьсот тринадцатом году он взял двадцать тысяч букв «Евгения Онегина» и вручную, карандашом, посчитал, как в них чередуются гласные и согласные. Именно затем, зачем и ты: показать, что следующий символ зависит от предыдущего. Без компьютера. Двадцать тысяч букв.

Марк молчал.

— А в пятьдесят первом, — продолжала она, — Шеннон посадил людей угадывать следующую букву в английском тексте. Просто угадывать, по одной. И по тому, с какой попытки они угадывали, вычислил энтропию языка. Получилось примерно один бит на символ. При том, что алфавит теоретически даёт около пяти.

— То есть впятеро меньше, — сказал Марк.

— Примерно. Это называется избыточность языка, и это первый курс. Твоя доля процента от теоретического числа комбинаций — то же самое, только с другой стороны и на своём железе. — Она отпила чай. — Ты не открыл. Ты переоткрыл. На домашнем компьютере, с нуля, в одиночку — это делает тебе честь как инженеру, но статьи из этого не выйдет.

Марк почувствовал, как то, что он носил в себе месяц, проседает внутрь, оставляя после себя странно ровное, почти спокойное место.

— Подожди, — сказал он. — Посмотри не на саму долю. Посмотри, как она меняется.

Он перевернул лист.

— Избыточность — свойство языка, а не моё. Она константа, её Шеннон и померил, тут спорить не с чем. Я мерил другое: какая доля цепочек встречается ровно один раз и как эта доля ведёт себя, когда растёт окно. Вот она расти обязана — чем длиннее цепочка, тем больше одноразовых. И расти плавно: гладкая кривая, она в любом учебнике нарисована. У меня она не гладкая. До пяти символов включительно одноразовых практически нет: всё, что появилось, появляется потом снова. На шести начинается. На семи обвал: больше половины цепочек одноразовые, память кончается. Это не склон. Это ступенька.

Лариса поставила чашку и придвинула распечатку к себе. Минуты полторы читала молча.

— Корпус какой? — спросила она другим голосом.

— Около двухсот тысяч книг.

— Первое, что тебе скажет любой рецензент: это артефакт объёма. Чем длиннее цепочка, тем больше их теоретически возможно, и любой конечный корпус рано или поздно перестаёт их покрывать. Ступенька — это место, где у тебя кончились данные. К свойствам языка она отношения не имеет.

— Я думал об этом, — сказал Марк. — Я гонял на десяти процентах корпуса, на четверти, на половине. Если бы дело было в объёме, ступенька ездила бы. Она почти не ездит. Сдвигается на доли, а не на символы.

Лариса посмотрела на него.

— Вот с этого и надо было начинать, — сказала она. — С «я, кажется, вижу переход, который не объясняется размером выборки». «Я открыл закон языка» я слышу три раза в год от людей с YouTube. Про переход — не слышала ни разу.

— Значит, это может быть новым?

— Это может быть новым. Может быть и ошибкой в коде, которую ты не видишь, потому что смотришь на него четыре месяца подряд. Может быть известным результатом, опубликованным в девяносто восьмом году в журнале, который никто не читает. — Она пожала плечами. — Так это и работает. Никто не знает заранее.

Она сказала, что готова посмотреть код и прогнать на своих данных, если он пришлёт.

А потом добавила то, ради чего, как Марк понял много позже, стоило приезжать.

— Только запомни одну вещь. Ты сейчас опишешь измерение. Измерение — вот это, — она постучала пальцем по распечатке. — Корпус, метод, ступенька, проверка на подвыборках. Это можно защищать. Но я по глазам вижу, что у тебя дальше. У тебя дальше идёт: «а раз так устроен язык, значит, так же устроено и всё остальное».

Марк не стал делать вид, что это не так.

— В ту секунду, когда ты допишешь эту фразу, — сказала Лариса, — ни один рецензент дальше первой страницы не пойдёт. И, скорее всего, будет прав: из того, что у языка есть грамматика, твоя жизнь никак не выводится. Это красивая мысль, она даже может оказаться верной, но она не следует из твоих цифр. Она просто лежит рядом.

Марк не стал спорить. Он был с ней согласен — относительно той папки, которую достал.

— А если я всё-таки прав?

— Тогда ты всё равно не сможешь это доказать, — сказала она без тени сочувствия. — И ещё одно, если уж совсем начистоту. Текст порождает мозг, которому всё равно, что ты про него посчитал. Он не читает твой прогноз. Не всякая система такая. Есть системы, которые твой прогноз читают, — и ведут себя иначе потому, что его прочли. С ними твоя ступенька будет работать до того дня, пока о ней знаешь только ты.

Марк тогда это запомнил, но не понял. По-настоящему понял через пять лет, ночью, глядя на вертикальные прямые на графиках.

На вопрос, который мучил его всю дорогу сюда, она ответила в самом конце, уже поглядывая на часы.

— Опубликовать без степени и без места работы можно, — сказала она. — Препринт выложить никто не запретит. Прочитают три человека. Чтобы прочитали триста, нужен соавтор с именем и институт в шапке.

— А ты?

— А я буду вторым автором, и то в лучшем случае, — сказала Лариса без обиды, как говорят о погоде. — Первым будет мой заведующий, который твоего кода в глаза не видел. Так здесь устроено. Я не говорю, что это правильно. Я говорю, что это так.

Она допила чай и встала.

— Присылай код. Честно посмотрю.

Марк прислал в тот же вечер. Лариса ответила через три недели, коротко и по делу: ошибок не нашла, ступеньку на своих данных воспроизвела, порог оказался на том же месте. Написала, что поговорила о нём с заведующим и что «сейчас не самый подходящий момент», зато весной, возможно, будет подходящий.

Весной началось то, после чего препринт по статистике языка перестал быть чьей бы то ни было заботой — ни института, ни заведующего, ни самой Ларисы. Подходящий момент так и не наступил.

Марк не обиделся ни на неё, ни на весну. Он вышел из той столовой с ощущением, которого сам не ожидал: ему стало легче. До разговора он носил в себе нечто огромное и бесформенное, что нельзя было ни проверить, ни отдать. После разговора у него осталась ступенька, маленькая, конкретная, воспроизводимая на чужих данных, — и отдельно от неё, честно отделённая, красивая мысль про то, что жизнь устроена так же.

С того дня он держал в голове две отдельные полки. На одной лежало то, что можно показать и о чём можно спорить. На другой — то, что проверяешь один, без свидетелей, пока не перестанешь находить у себя ошибки. Вторую полку он никому не показывал ещё пять лет.

Глава 4. Островки

Вторую папку он не достал.

Причина была не в недоверии к Ларисе и не в обиде за Шеннона. Причина была в том, что содержимое второй папки Марк к тому дню проверял четыре месяца и всё ещё не считал проверку законченной.