Джеймс Брайдл
Новые темные века
Нас приучили верить, что компьютеры делают мир более понятным и эффективным, упрощают сложные задачи, помогают найти лучшие решения стоящих перед нами проблем и позволяют действовать во все расширяющемся поле возможностей. Но что, если это совсем не так? При внимательном изучении истории компьютерных технологий обнаруживается, что непрозрачность информационных технологий постоянно увеличивается в результате концентрации власти в узкоспециализированных областях. Когда существующие проблемы решаются за счет не подлежащей обсуждению архитектуры вычислительных технологий, текущие проблемы превращаются в абстрактные, неразрешимые дилеммы; внимание зацикливается на внутренних ограничениях конкретных математических и материальных загадок, а не на более широких вопросах подлинно демократического и эгалитарного общества.
Превращая попытку дать приближенное представление о мире в симуляцию, первосвященники вычислительного мышления заменяют реальность ошибочными моделями и получают контроль над миром. Как только стало очевидно, что система «SAGE» абсолютно бесполезна в предотвращении ядерной войны, после короткой встречи между президентом авиакомпании American Airlines и торговым представителем IBM «SAGE» превратилась в полуавтоматическую среду бизнес-исследований «SABRE» – одноименной транснациональной корпорации по управлению бронированием авиабилетов(24). Все осталось, как есть: телефонные линии, метеорологические радары, все более сконцентрированные в частных руках вычислительные мощности и возможность управлять потоками данных в реальном времени в эпоху массового туризма и роста потребительских расходов. Инструмент для предотвращения случайных атак с земли, входивший в систему ПВО и стоивший государству миллиарды долларов расходов на оборону, в итоге был переориентирован на управление коммерческими полетами. Сегодня с помощью «SABRE» более 57 000 турагентов и миллионы путешественников могут ознакомиться с предложениями более чем 400 авиакомпаний, 90 000 отелей, 30 компаний по аренде автомобилей, 200 туроператоров и десятков железных дорог, паромов и круизных линий. Технология, породившая вычислительную паранойю времен «холодной войны», помогает ежегодно совершать миллиарды путешествий.
В этой книге не раз будет упомянута авиация как место, где технологии, научные исследования, интересы обороны и безопасности, а также вычисления смыкаются, демонстрируя сложную взаимосвязь прозрачности и непрозрачности, видимости и невидимости. Одна из самых потрясающих визуализаций, доступных в Интернете, – карты полетов, отслеживающие перемещения самолетов в реальном времени. Любой может войти в систему и увидеть многие тысячи находящихся в воздухе самолетов, которые следуют из города в город, пересекают Атлантический океан, текут по международным маршрутам, словно огромные реки металла. Можно щелкнуть по одному из тысяч маленьких значков самолетов и увидеть его маршрут, марку и модель, название авиаперевозчика и номер рейса, пункт отправления и назначения, а также высоту, скорость и время полета. Каждый самолет передает сигнал ADS-B, который улавливается сетью любительских устройств слежения за полетами: тысячи людей установили радиоприемники и делятся полученными данными в Интернете. Карты полетов на Google Earth или аналогичных спутниковых сервисах – потрясающее и возвышенное проявление цифровой эпохи, они манят и вызывают головокружительный восторг. То, о чем только мечтали стратеги времен «холодной войны», теперь доступно широкой интернет-аудитории. К сожалению, онлайн-карты не делают наблюдателя всевидящим, это ощущение иллюзорно: те же самые технологии, которые в одних случая служат прозрачности, в других – блокируют и стирают информацию о частных самолетах олигархов и политиков, разведывательных полетах и военных маневрах(25). Даже когда всё на виду, что-то остается скрытым.
После того как в 1983 году был сбит корейский авиалайнер, вторгшийся в советское воздушное пространство, Рональд Рейган приказал сделать зашифрованную в то время систему глобального позиционирования GPS доступной для гражданского населения. Со временем система GPS легла в основу огромного количества современных приложений и стала еще одним из невидимых, но неоспоримых сигналов, которые, хотя мы об этом не задумываемся, меняют повседневную жизнь, «просто работая». При глобальном позиционировании вся планета вращается вокруг человека, представленного синей точкой в центре карты. Данные GPS строят маршруты для легковых и грузовых автомобилей, определяют местонахождение судов, предотвращают столкновения самолетов, указывают дорогу такси, отслеживают наличие и перемещение товаров и направляют удары дронов. GPS работает как огромные космические часы: сигнал времени со спутников регулирует электросети и фондовые рынки. Вместе с тем, наша растущая зависимость от системы маскирует тот факт, что контроль над сигналами открывает возможности для манипулирования, например, правительство Соединенных Штатов может выборочно отклонять сигналы позиционирования для любого региона(26). Летом 2017 года было отмечено преднамеренное вмешательство в работу GPS на обширной территории в Черном море, а навигационные системы судов показывали, что они находятся в десятках километров от своего фактического местоположения. Многие были «перемещены» на берег в район российской авиабазы – предполагаемого источника дезинформации(27). Кремль окружен похожим полем, как обнаружили игроки Pokémon GO, когда в центре Москвы их местоположение определялось с погрешностью в сотни метров(28). Особенно предприимчивые игроки позднее использовали это знание в своих интересах, используя электромагнитное экранирование и генераторы сигналов, чтобы набирать очки, не выходя из дома(29). В других случаях люди, чей труд дистанционно контролируется GPS, например водители-дальнобойщики, просто заглушали сигнал, чтобы сделать перерыв в работе или проложить несанкционированный маршрут, что создавало помехи для других пользователей системы. Каждый из этих примеров показывает, насколько вычислительные технологии важны в современной жизни, а также раскрывает их слепые пятна, структурные опасности и умышленно заниженное качество.
Другой пример из авиации связан с пребыванием в аэропорту, классическим примером того, что географы называют «закодированным пространством»(30). Такое пространство характеризуется тем, что и среда, и опыт пребывания в ней невозможны в отсутствие кода.
В случае с аэропортом код не только служит удобству пользователей, но и формирует саму среду. Перед посещением аэропорта пассажиры подключаются к электронной системе бронирования, такой как «SABRE», которая регистрирует и идентифицирует персональные данные, передает их другим системам, таким как стойки регистрации и паспортный контроль. В аэропорту остановка системы – серьезная проблема: современные процедуры безопасности устранили возможность проверки или обработки бумажных документов. Последнее слово остается за программным обеспечением. Если выключится система, остановятся все процессы, и аэропорт превратится в огромный сарай, заполненный разгневанными людьми. Невидимые вычисления формируют нашу среду, но их подлинная важность проявляется только в моменты сбоя, как своего рода черепно-мозговая травма.
«Закодированные пространства» – это нечто большее, чем просто умные здания. Благодаря повсеместной доступности Интернета и самовоспроизводству корпоративного и централизованного кода, все больше и больше наших повседневных действий становятся зависимыми от сопутствующего программного обеспечения. Обычные поездки зависят от спутниковой маршрутизации, информации о дорожном движении и все более «автономных» транспортных средств, которые, конечно же, совсем не автономны и нуждаются в постоянных обновлениях и входных данных. Труд все чаще кодируется, будь то работа сквозных логистических систем или почтовых серверов, которые, в свою очередь, требуют постоянного внимания и контроля со стороны зависимых от них работников. Наша социальная жизнь опосредована алгоритмами и подключенностью к Сети. По мере того как смартфоны становятся мощными универсальными компьютерами, а вычисления проникают во все окружающие нас устройства, от умных бытовых приборов до автомобильных навигационных систем, весь мир превращается в «закодированное пространство». Безграничность «закодированного пространства» подчеркивает нашу неспособность понять влияние компьютеризации на мышление.
Приобретенная и загруженная в приложение электронная книга остается собственностью продавца, и он в любое время может закрыть к ней доступ, как произошло в 2009 году, когда Amazon удалил книги «1984» и «Ферму животных» у тысяч клиентов(31). Сервисы потоковой музыки и видео фильтруют контент в зависимости от его доступности в рамках правовой юрисдикции того или иного региона, и алгоритмически определяют личные предпочтения пользователей. По мере закрытия офлайн-библиотек, академические журналы предоставляют доступ к своим материалам, исходя из платежей и регистрационных данных пользователей. Бесперебойная работа Википедии зависит от армии программных агентов, ботов, которые обеспечивают правильное форматирование, связывают между собой статьи, разрешают споры и борются с атаками вандалов. Согласно последнему опросу, семнадцать из двадцати самых продуктивных редакторов – это боты; в совокупности они вносят около 16 процентов всех правок в энциклопедии – конкретный и измеримый вклад в производство знаний с помощью самого кода(32). Чтение книги, прослушивание музыки, исследования и обучение – эти и многие другие виды деятельности все больше регулируются алгоритмической логикой и контролируются непрозрачными и скрытыми вычислительными процессами. Сама культура является «закодированным пространством».
За воспроизводством физического и культурного пространства посредством компьютеризации скрывается огромное неравенство власти: воспроизводство с него начинается и им же заканчивается. Компьютерные вычисления не просто развивают, создают и формируют культуру; действуя за гранью нашего повседневного, естественного осознания, они фактически сами становятся культурой.
Вычислительные модели и симуляции в итоге замещают свои исходники. Поисковая система Google начала с индексирования совокупности человеческих знаний, а стала источником и арбитром этих знаний. Теперь люди думают то, что показывает Google. Изначально Facebook отображал существующие связи между людьми, строил некий социальный график, а стал платформой для формирования этих связей, безвозвратно изменив социальные отношения. Подобно системе управления воздушным движением, ошибочно принимающей стаю птиц за бомбардировщики, программное обеспечение не может отличить созданную им же модель мира от реальности, а в этих условиях – и мы тоже.
Наша слепота обусловлена двумя причинами: сочетание непрозрачности и сложности делает боˊльшую часть вычислительного процесса неразборчивой; при этом само вычисление считается политически и эмоционально нейтральным. Вычисления непрозрачны: они происходят внутри машины, за экраном, в отдаленных зданиях, как бы внутри облака. Даже когда эта непрозрачность нарушается прямым восприятием кода и данных, она остается за пределами понимания большинства. Объединение сложных систем в современные сетевые приложения означает, что ни один человек не видит всей полноты картины. Вера в машину является предпосылкой для ее использования, и это подкрепляет другие когнитивные предубеждения, согласно которым автоматизированные ответы заведомо заслуживают большего доверия, чем неавтоматизированные.
Это явление, известное как предвзятость автоматизации, наблюдается во всех вычислительных областях, от программного обеспечения для проверки орфографии до автопилотов, и у всех типов людей. Предвзятость автоматизации приводит к тому, что мы ценим автоматизированную информацию выше своего собственного опыта, даже если она противоречит другим наблюдениям, особенно когда эти наблюдения неоднозначны. Автоматизированная информация ясна и прямолинейна, она скрывает серые области, мешающие познанию. Другое связанное с этим явление – предвзятость подтверждения, то есть склонность обращать внимание на то, что соответствует существующей точке зрения. Предвзятость подтверждения изменяет наше понимание мира, чтобы привести его в большее соответствие с автоматизированной информацией, дополнительно подтверждая достоверность вычислительных решений до такой степени, что мы можем полностью пренебречь наблюдениями, если они расходятся с точкой зрения машины(33).
Наблюдения за пилотами высокотехнологичных самолетов показали множество примеров предвзятости автоматизации. Пилоты рейса Korean Air Lines, крушение которого повлияло на судьбу системы GPS, стали жертвами самой распространенной ошибки, связанной с предвзятостью автоматизации.
31 августа 1983 года, вскоре после взлета из аэропорта Анкориджа на Аляске летный экипаж запрограммировал курс, заданный им диспетчером воздушного движения, и передал управление самолетом автопилоту. Следуя запрограммированным контрольным точкам, автопилот должен был провести самолет через Тихий океан в Сеул, но либо из-за ошибки в настройках, либо из-за несовершенного понимания механизмов системы автопилот отклонился от назначенного маршрута, а точнее, остался на своем первоначальном курсе и уходил все дальше и дальше на север от предполагаемого маршрута. Через пятьдесят минут полета самолет покинул воздушное пространство Аляски и находился почти в двадцати километрах к северу от рассчитанного местоположения; за время полета его отклонение увеличилось до восьмидесяти, а затем до ста шестидесяти километров от предполагаемого курса. По словам следователей, занимавшихся катастрофой, в течение нескольких часов экипаж несколько раз мог заметить тревожные сигналы. Так, они обратили внимание на то, что время в пути между маяками постепенно увеличивалось, но не придали этому значения. Пилоты жаловались на плохой прием радиосигнала, ухудшавшийся, поскольку они удалялись от обычных воздушных маршрутов. Но ничего из этого не заставило пилотов усомниться в системе или перепроверить свое местоположение. Они продолжали доверять автопилоту даже после того, как вошли в советское воздушное пространство над полуостровом Камчатка. Они не изменили курс, даже когда в воздух были подняты военные истребители-перехватчики. Три часа спустя, все еще не ведая того, что происходит, они были обстреляны Су-15, вооруженным двумя ракетами класса «воздух – воздух», которые взорвались достаточно близко, чтобы вывести из строя гидравлические системы корейского самолета. На стенограмме переговоров слышно, что в последние несколько минут полета экипаж неоднократно и безуспешно предпринимал попытки повторно задействовать автопилот, поскольку автоматическое объявление предупредило об аварийном снижении(34).
Такие события происходили неоднократно, и плачевный исход подтверждался в нескольких экспериментах на симуляторах. Хуже того, предубеждения не ограничиваются ошибками бездействия, а включают и ошибки действия. Когда команда борта Korean Air Lines слепо следовала указаниям автопилота, она выбирала путь наименьшего сопротивления. Но было показано, что при срабатывании автоматических предупреждений даже опытные пилоты действуют решительно, в том числе вопреки собственным наблюдениям. Чрезмерно чувствительные системы оповещения о пожаре на ранних самолетах Airbus A330 стали печально известны тем, что вынуждали множество рейсов отклоняться от курса, часто с определенным риском, даже когда пилоты несколько раз лично проверяли самолет и не находили признаков пожара. В исследовании, проведенном в симуляторе полета NASA, во время подготовки к взлету экипажи получали противоречивые предупреждения о пожаре. Исследование показало, что 75 % экипажей, следуя указаниям автоматизированной системы, выключали не тот двигатель, тогда как при следовании традиционному бумажному протоколу полета так делали только 25 %. В обоих случаях пилоты имели доступ к дополнительной информации, которая должна была повлиять на их решение. Записи симуляций показали, что следившие за автоматизированной системой люди принимали решения быстрее и почти без обсуждения, то есть предлагаемое компьютером немедленное действие мешало им глубже вникнуть в проблему(35).
Предвзятость автоматизации показывает, что технологии угрожают жизни не только в случае программного сбоя. И в очередной раз пример тому – система GPS.
Пытаясь добраться до острова в Австралии, группа японских туристов свернула на машине на пляж и съехала прямо в море, потому что спутниковая навигационная система заверила их, что там можно проехать. Когда начался прилив, они оказались в пятнадцати метрах от береговой линии, пришлось вызывать спасателей(36). В американском штате Вашингтон машина заехала в озеро, когда навигатор направил водителя с главной дороги на лодочную рампу. Приехавшие аварийные службы увидели только багажник на крыше тонущего автомобиля(37). Для рейнджеров в Национальном парке Долина Смерти такие явления стали настолько обычными, что у них появился специальный термин – «Смерть по GPS», который описывает, что происходит, когда незнакомые с местностью путешественники следуют инструкциям навигатора, а не своим ощущениям(38). В регионе, где по многим обозначенным на карте дорогам не проехать обычному транспортному средству, а дневная температура порой достигает пятидесяти градусов по Цельсию, остаться без воды и заблудиться – значит умереть. Во всех этих случаях не было никакого намеренного или случайного сбоя сигнала. Компьютеру просто задали вопрос, он ответил, и проложенный маршрут привел людей к смертельной опасности.
В основе предвзятости автоматизации лежит более глубокое, не связанное с технологиями когнитивное искажение. Сталкиваясь со сложными проблемами, особенно если времени на решение мало, – а кто из нас не находится в постоянной спешке? – люди стараются ограничиться минимальной мыслительной работой и предпочитают легкие и понятные стратегии(39). Если существует возможность избежать принятия решений, мозг выбирает кратчайший путь наименьшего когнитивного усилия, а с помощью автоматизированных помощников это происходит почти мгновенно. Любые вычисления вклиниваются в мыслительные процессы, так что принятие решений и ответственность перекладываются на машину. По мере ускорения темпа жизни машина выполняет все больше и больше когнитивных задач, укрепляя свой авторитет, какими бы ни были последствия. Мы меняем свое понимание мира, чтобы лучше приспособиться к постоянным предупреждениям и когнитивным подсказкам автоматизированных систем. Вычисления заменяют сознательную мысль. Мы все больше и больше думаем как машина или не думаем совсем.
На примере общей эволюции технологии, персональных компьютеров, смартфонов и глобальной облачной Сети видно, как мы сами стали частью вычислений. Только машинные вычисления – не просто архитектура. Они стали самой основой нашей мысли, превратились в нечто настолько всепроникающее и соблазнительное, что мы отдаем им предпочтение даже тогда, когда подошли бы более простые механические, физические или социальные процессы. Зачем говорить, если можно напечатать? Зачем ключ, если есть телефон? По мере того, как нас все плотнее окружают вычислительные машины и их производные, им приписываются власть и способность создавать истину. На технологии все чаще перекладывается решение познавательных задач, поэтому сама реальность, а вслед за ней и наше мышление уподобляются компьютеру.
Подобно тому как глобальные телекоммуникации исказили время и пространство, машинные алгоритмы объединяют прошлое и будущее. Собранные данные и построенные на их основе модели действительности проецируется на будущее, исходя из предпосылки, что ничего радикально не изменится или не отклонится от предыдущего опыта. Таким образом, вычисления не просто управляют нашими действиями в настоящем, но и создают будущее, которое наилучшим образом соответствует вычисленным параметрам. Если что-то возможно, то его можно вычислить. Все остальное – не поддающееся количественной оценке и моделированию, непредвиденное и отклоняющееся от установленного образца, неопределенное и двусмысленное, – исключается из области возможных вариантов будущего. Алгоритмы проектируют будущее, подобное прошлому, что, в свою очередь, лишает их способности разобраться в реальности настоящего, которое никогда не бывает стабильным.
Вычислительное мышление лежит в основе многих самых разобщающих проблем нашего времени; действительно, деление, будучи вычислительной операцией, является его основной характеристикой. Вычислительное мышление настаивает на простом ответе, для получения которого требуется наименьшее количество когнитивных усилий. Более того, оно настаивает на том, что возможен всего один непреложный ответ. «Дебаты» об изменении климата, которые не являются простым заговором нефтекапитализма, характеризуются этой вычислительной неспособностью справиться с неопределенностью. Неопределенность в математическом и научном понимании – это не то же самое, что незнание. Неопределенность, с научной и климатологической точки зрения, – это мера того, что мы действительно знаем. И по ходу того, как наши вычислительные системы расширяются, они все яснее демонстрируют, как много мы не знаем.
Вычислительное мышление восторжествовало, потому что оно сначала соблазнило нас своей мощью, затем одурачило своей сложностью и, наконец, надежно и неоспоримо закрепилось в коре нашего головного мозга. Вычисление, его производные и сам вычислительный образ мышления настолько вошли в повседневную жизнь, что, кажется, этой стихии уже нельзя противодействовать, как нельзя управлять погодой. Но если не закрывать глаза на бесчисленные недостатки вычисления, такие как чрезмерное упрощение, неверные данные, преднамеренное искажение, то мы увидим, в каких случаях оно подводит и демонстрирует пределы своих возможностей. Как мы увидим, сама хаотичность погоды в конечном итоге не поддается вычислению.
На полях своего экземпляра «Численного предсказания» Льюис Фрай Ричардсон писал:
«Эйнштейн где-то заметил, что в своих открытиях он руководствовался представлением о том, что важные законы физики действительно просты. Р. Г. Фаулер заметил, что из двух формул более элегантная, с большей вероятностью, будет истинной. Дирак искал альтернативное объяснение собственного момента импульса электрона, так как чувствовал, что природа не могла устроить его таким сложным образом. Эти математики блестяще преуспели в работе с точечными массами и точечными зарядами. Снизойди они до метеорологии, предмет мог бы значительно обогатиться. Только я подозреваю, им придется отказаться от идеи, что истина проста»(40).
На то, чтобы подобрать точную формулировку, ушло сорок лет, но в 1960-х годах Ричардсон наконец нашел модель этой неопределенности, парадокс, который четко резюмирует экзистенциальную проблему вычислительного мышления. Работая над «Статистикой смертоносных ссор», первой попыткой научного анализа конфликта, он намеревался найти корреляцию между вероятностью начала войны между соседними странами и протяженностью их общей границы и обнаружил, что в разных источниках приводится разная длина границ. Он пришел к выводу, что причина расхождений заключалась в том, что длина границы зависела от инструментов измерения. По мере того, как те становились более точными, длина фактически увеличивалась, поскольку учитывались все меньшие и меньшие вариации линии(41). С береговой линией дела обстояли еще сложнее, из чего следовало, что на самом деле невозможно дать точную оценку протяженности национальных границ. Этот «парадокс береговой линии» стал известен как эффект Ричардсона и лег в основу работы Бенуа Мандельброта о фракталах. Этот парадокс с предельной ясностью демонстрирует противоречащий интуиции постулат новой Темной эры: чем более одержимо мы пытаемся вычислить мир, тем более запредельно сложным он оказывается.