Аджей Агравал, Джошуа Ганс, Ави Голдфарб
От предвидения к власти. Как ИИ-прогнозирование трансформирует экономику и как использовать его силу в своих целях

Все права защищены.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

© 2022 Ajay Agrawal, Joshua Gans, and Avi Goldfarb

This edition published by arrangement with Levine Greenberg Rostan Literary Agency and Synopsis Literary Agency

© Издание на русском языке, перевод, оформление. ООО «Манн, Иванов и Фербер», 2024

* * *

Нашим семьям, коллегам, студентам и стартапам, вдохновившим нас всесторонне и глубоко задуматься над искусственным интеллектом.

Спасибо

Предисловие партнера

Кирилл Семенихин, директор Университета Иннополис

Британский словарь английского языка Collins назвал аббревиатуру AI (ИИ, «искусственный интеллект») словом 2023 года не случайно. Частота употребления этого словосочетания в обществе возрастает с пугающей скоростью. И дело не только в распространении больших языковых моделей и расширении доступа к сервисам на их основе. Сегодня ИИ, помимо решения сложных задач, успешно применяется и для постановки самих задач.

В Университете Иннополис мы работаем над медицинскими сервисами для распознавания легочных патологий и рака по медицинским снимкам, ведем проекты по поиску новых материалов и лекарств с заданными свойствами, а также работаем над еще не решенными в мире задачами – такими, как автогенерация кода.

Мы держим в постоянном фокусе практическую пользу технологий ИИ для решения прикладных задач бизнеса: спрос на проекты с применением технологий машинного обучения и компьютерного зрения растет, требования усложняются. Но предсказанного футурологами лавинообразного внедрения технологий ИИ во все сферы нашей жизни мы еще не видим. В ходе собственного исследования о влиянии ИИ на бизнес, которое Университет Иннополис провел в рамках первой международной конференции AI IN 2023, показал, что барьеров все еще немало. Это и нехватка профильных специалистов и их компетенций, и недостаточная зрелость технологий, и высокая стоимость внедрения.

Экономика ИИ – обширная область исследования с отрезвляющими результатами, в которую нас погружают авторы этой работы вместе с экспертами и представителями лидирующих технологических компаний. Эта книга будет полезна всем, так как она повествует не только о применении ИИ для составления прогнозов и цене ошибок, но и о влиянии искусственного интеллекта на частный бизнес и процессы мировой экономики.

Предисловие. Гость издалека?

Когда в 2018 году из печати вышла наша книга «Искусственный интеллект на службе бизнеса. Как машинное прогнозирование помогает принимать решения»[1], нам казалось, что в ней сказано все, что надо знать об экономике искусственного интеллекта (ИИ). Мы ошибались.

Понимая, что развитие технологий не остановится (тогда ИИ находился в зачаточном состоянии), мы считали, что экономика инноваций полностью сформировалась. Технологии изменятся, экономика – нет. Ее основы, актуальные и сегодня, мы описали в издании «Искусственный интеллект на службе бизнеса». Однако в книге изложена лишь часть истории – та, что касалась точечных решений. За прошедшие годы мы обнаружили, что осталась неохваченной другая, не менее важная часть, а именно системные решения. Их-то мы и обсудим. Но почему мы упустили ключевую информацию? Чтобы объяснить это, вернемся в 2017 год, когда мы работали над «Искусственным интеллектом на службе бизнеса».

Тогда прошло уже лет пять с тех пор, как канадские первопроходцы в области ИИ продемонстрировали высочайшую эффективность глубокого обучения для классификации изображений. Новая технология вызвала прямо-таки взрывной интерес. Повсюду говорили об ИИ – высказывались предположения, что именно он выведет Канаду на мировой технологический уровень. Причем считалось, что это просто вопрос времени.

Мы создали научно-исследовательскую стартап-программу ЛСР с направлением, посвященным ИИ. Все спрашивали: «Где, по-вашему, появится первый канадский ИИ-единорог – стартап с миллиардной капитализацией?» Мы ставили на Монреаль. Или Торонто. А возможно, на Эдмонтон.

Ставки делали не только мы, но и канадское правительство; 26 октября 2017 года мы принимали премьер-министра Канады Джастина Трюдо на нашей ежегодной конференции «Машинное обучение и рынок интеллектуальных систем» по ИИ в ЛСР. В своем выступлении он подчеркнул важность инвестирования в кластеры – группы связанных между собой участников (крупных предприятий, стартапов, университетов, инвесторов и талантливых специалистов), объединенных отраслью и расположенных на одной территории. Их сотрудничество дает больший результат, чем в случае, если бы они действовали по отдельности. Это способствует развитию инноваций и созданию рабочих мест. Ключевое условие – территориальная близость участников. Несколько месяцев спустя правительство объявило, что инвестирует крупную сумму в пять новых «суперкластеров», один из них – специализирующийся на ИИ, в Монреале.

Мы не сомневались в своих представлениях о коммерциализации ИИ и считали себя мировыми экспертами в этой области. Мы написали бестселлер по экономике искусственного интеллекта, опубликовали множество научных статей и управленческих докладов на эту тему, были соредакторами книги Economics of Artificial Intelligence: An Agenda («Экономика искусственного интеллекта: актуальная повестка»), которая стала основным пособием для аспирантов по этой теме. Мы разработали программу коммерциализации ИИ, которая, насколько нам известно, привлекла больше профильных компаний, чем другие подобные инициативы. Мы выступали с докладами перед лидерами бизнеса и членами правительств по всему миру, участвовали в работе политических комитетов, целевых групп и круглых столов, связанных с ИИ.

Наша точка зрения, согласно которой ИИ следует рассматривать как инструмент прогнозирования, нашла отклик у практиков.

Нас приглашали выступить в Google, Netflix, Amazon и Microsoft. Руководитель отдела исследований и развития в одном из крупнейших в мире стриминговых музыкальных сервисов Spotify Густав Седерстрём отозвался о нас в интервью: «[Авторы] прекрасно выразили это в своей книге “Искусственный интеллект на службе бизнеса”. Представьте, что точность прогнозирования системы машинного обучения – это ручка громкости на радиоприемнике… [П]овернув ее до определенной точки – и достигнув определенного уровня точности, – вы понимаете: что-то не так. Вы переступаете черту, за которой следует переосмысление бизнес-модели и продукта на основе машинного обучения… С Discover Weekly мы перешли от парадигмы покупки – доставка к парадигме доставка – покупки, как это описано в [вышеупомянутой книге]. Мы достигли такого уровня точности [прогнозирования], что вслед за еще более совершенными инструментами для составления плейлистов начали предлагать пользователям еженедельные подборки, из которых можно было выбирать и сохранять действительно полюбившиеся треки. От “еще более эффективных инструментов для формирования плейлиста” мы совершили переход к концепции “вам больше никогда не придется составлять плейлист”».

Наш подход к разработке в условиях, когда качественное прогнозирование обходится очень дешево, имеет практическое значение и дает представление о стратегии развития ИИ.

Почему же мы были так уверены, что первый ИИ-единорог появится в Монреале, Торонто или Эдмонтоне? Мы общались с двумя недавними лауреатами премии Тьюринга (в сфере компьютерных наук это аналог Нобелевской премии) из Монреаля и Торонто, награжденными за новаторскую работу по глубокому обучению, а также с одним из первопроходцев в области обучения с подкреплением из Эдмонтона. Правительство Канады собиралось щедро профинансировать три новых института, развивающих машинное обучение, – в Монреале, Торонто и Эдмонтоне. Многие мировые корпорации поспешили создать лаборатории ИИ в этих городах: например, Ericsson, Microsoft, Huawei и Samsung в Монреале; Nvidia, LG Electronics, Johnson & Johnson, Roche, Thomson Reuters, Uber и Adobe в Торонто; Google/DeepMind, Amazon, Mitsubishi и IBM в Эдмонтоне.

Поэтому мы небезосновательно считали, что многое знаем о коммерциализации ИИ. Однако и это оказалось ошибкой, причем глубокой. Первый канадский ИИ-единорог появился не в Монреале, Торонто или Эдмонтоне и даже не в городах, занимавших в нашем рейтинге кандидатов вторую строчку, – Ванкувере, Калгари, Ватерлоо или Галифаксе. Но если не в одном из этих технологических центров Канады, то где?

19 ноября 2020 года газета Wall Street Journal опубликовала статью под заголовком «NASDAQ покупает компанию Verafin за 2,75 млрд долларов». Штаб-квартира Verafin находилась в Сент-Джонсе на острове Ньюфаундленд. Мало кто, и уж точно не мы, мог предположить, что первый канадский ИИ-стартап с миллиардной капитализацией появится именно здесь, на северо-восточной оконечности Северной Америки.

Трудно представить более далекое от центра событий место, чем город Сент-Джонс. Ньюфаундленд – самая восточная провинция Канады с населением всего около полумиллиона человек, где никогда не случалось событий, заслуживающих внимания технологического сообщества. Действительно, хотя США граничат с Канадой, многие американцы впервые услышали о Ньюфаундленде только в 2017 году, когда прогремевший бродвейский мюзикл «Гости издалека» (Come from Away) был выдвинут на премию Tony Awards в пяти номинациях. Душевная и полная доброго юмора постановка основана на реальных событиях, произошедших в течение недели после теракта 11 сентября: тридцать восемь самолетов получили приказ приземлиться в Ньюфаундленде, и местные жители сердечно приняли семь тысяч пассажиров. Именно в этом небольшом городе Брендан Бразерс, Джейми Кинг и Рэймонд Претти основали компанию Verafin, которая впоследствии предоставила решения для борьбы с киберпреступлениями трем тысячам финансовых учреждений в Северной Америке. Как мы могли это упустить? Была ли это чистая случайность? Игра судьбы? Что ж, как известно, все крепки задним умом. Эксперты тоже время от времени ошибаются. Иногда случается маловероятное.

NASDAQ приобрела не что иное, как искусственный интеллект. Verafin вложила значительные средства в создание инструментов, позволяющих выявлять случаи мошенничества, отмывания денег и подтверждать личность клиентов банка. Для финансовых организаций это критично с точки зрения деятельности в целом и соблюдения регламентов в частности. В основе таких программных решений – анализ больших данных, которые наиболее объемны именно у банков и кредитных кооперативов.

При зрелом размышлении лидерство финтеха Verafin уже не кажется случайным. Оно было неизбежным. Сосредоточившись на возможностях инструментов прогнозирования, мы не учли вероятности их реального коммерческого использования. Увлекшись экономическими последствиями собственно внедрения ИИ – снижением стоимости прогнозирования, мы недооценили экономические последствия, к которым приведет создание новых систем со встроенным ИИ.

Вместо того чтобы оценивать производство самых современных моделей машинного обучения, нам стоило обратить внимание на приложения, ориентированные на устранение проблем прогнозирования. Такие приложения встраиваются в системы, которые работают на базе машинного прогнозирования, но так, что не вытесняют человеческий труд. Нам следовало обратить внимание на компании, которые интегрировали предиктивную аналитику в рабочий процесс и располагают большим штатом специалистов, анализирующих данные. И тогда мы бы сразу выяснили, что большинство таких организаций – финансовые, где целые отделы аналитиков прогнозируют мошенничество, отмывание денег, нарушение санкций и другие преступные действия. Затем мы поискали бы небольшие компании, использующие последние достижения в области ИИ для решения этих проблем. И тогда мы бы узнали, что в Канаде на тот момент всего несколько подобных компаний – и одна из них Verafin, со штаб-квартирой в Сент-Джонсе (Ньюфаундленд).

Настало время вернуться назад и подумать об экономике ИИ. Подход Verafin весьма напоминал сценарий, описанный в книге «Искусственный интеллект на службе бизнеса». В этом не было ничего удивительного. Менее очевидны причины, по которым многие другие приложения требуют гораздо больше времени для масштабного развертывания. Стало явно, что необходимо учитывать экономику не только самой технологии, но и систем, в которых она задействована. Мы должны понять, почему ИИ быстро внедрялся для автоматического обнаружения мошенничества в банковской сфере и рекомендаций товаров в электронной коммерции и медленно – для автоматического андеррайтинга в страховании и поиска лекарств в фармацевтике. Наша задача – разобраться, какие экономические силы к этому привели.

Не только мы недооценивали сложности внедрения ИИ в существующие организационные структуры. Наш коллега из Университета Торонто Джеффри Хинтон, получивший прозвище Крестный Отец ИИ за свою новаторскую работу в области глубокого обучения, в своих прогнозах, возможно, также недооценивал трудности внедрения. Ранее он говорил: «Если вы, например, рентгенолог, то сейчас вы в положении койота, который уже добрался до края обрыва, но еще не посмотрел вниз и не понял, что дальше земли нет. Сейчас уже нет смысла обучать этой специальности. Совершенно очевидно, что в течение пяти лет глубокое обучение будет работать лучше, чем люди». Он был прав в том, что касается темпов технического прогресса: сегодня ИИ превосходит рентгенологов в широком спектре диагностических задач. Однако спустя пять лет после его высказывания Американский колледж рентгенологии сообщает, что число желающих освоить эту специальность не уменьшилось.

На каком-то этапе мы осознали, что переживаем уникальный момент в истории – «междувременье»: потенциал ИИ уже очевиден, но он еще не получил широкого распространения. В некоторых случаях внедрение инноваций представляет собой точечные решения. Они прямолинейны. Где-то применение ИИ сводится к простой замене старой машинной предиктивной аналитики на более новые инструменты (это происходит быстро – например, как в Verafin). Но где-то надо перестроить продукт или услуги, а также производящую их компанию, чтобы полностью реализовать преимущества ИИ и оправдать затраты на его использование. В таком случае бизнес и власти стремятся найти выгодный путь.

Мы сместили акцент с исследования нейронных сетей на изучение человеческого познания (как мы принимаем решения), социального поведения (почему в одних отраслях люди стремятся быстро освоить ИИ, а в других – сопротивляются), производственных систем (как одни решения зависят от других) и отраслевых структур (как мы скрываем некоторые решения, чтобы оградить себя от неопределенности).

Чтобы разобраться в этом, мы встречались с руководителями компаний, менеджерами по продуктам, предпринимателями, инвесторами, специалистами по обработке данных и учеными, внедряющими ИИ. Мы проводили семинары и конференции с участием экспертов и политиков, а также внимательно изучали, что работает, а что нет в сотнях финансируемых венчурными фондами стартапов в области ИИ.

Конечно, мы обратились к базовым принципам экономики в эмпирических исследованиях экономики ИИ – эта сфера бурно развивается, хотя едва ли существовала всего несколькими годами ранее, когда была написана книга «Искусственный интеллект на службе бизнеса». Мы начали аккумулировать собранную информацию и формировать экономическую концепцию, в которой различались бы точечные и системные решения. Она помогла бы не только объяснить парадокс Verafin, но и спрогнозировать следующую волну внедрения ИИ. Фокус на системных, а не на точечных решениях помогает объяснить, как эта технология в итоге охватит все отрасли, укрепив позиции одних компаний и ослабив другие. Пришло время написать еще одну книгу. Именно ее вы держите в руках.

Часть I. Межвременье

Глава 1. Притча о трех типах предпринимателей

Электричество изменило наше общество. Оно повлияло на образ жизни человека: мы получаем недорогое и безопасное освещение, стоит щелкнуть выключателем, а холодильники, стиральные машины, пылесосы и другие приборы значительно облегчают быт. Оно повлияло и на рабочие места, вдохнув новую жизнь в промышленные предприятия. Что потребовалось для этих коренных изменений? Время.

Электричество настолько распространено, что трудно представить мир без него, а ведь на рубеже ХIХ и XX веков, через два десятилетия после изобретения лампы накаливания, его не было практически нигде. В 1879 году Эдисон продемонстрировал усовершенствованную им электрическую лампочку, а всего через несколько лет запустил электростанцию Pearl Street Station на Манхэттене и осветил улицы. Однако двадцать лет спустя всего 3 % американских домохозяйств и едва ли большая доля фабрик были обеспечены электричеством (см. рис. 1.1). Еще через два десятилетия в домохозяйствах этот показатель вырос до 50 %. Период межвременья для электричества занял сорок лет.

Рис. 1.1. Распространение электричества в США

Источник: Paul A. David, Computer and Dynamo: The Modern Productivity Paradox in a Not-Too-Distant Mirror (working paper #339, Stanford University, Department of Economics, 1989), twerp339.pdf (warwick.ac.uk).

Тогда энтузиазма по его поводу было много, а реальных результатов мало. Сегодня, когда появляются новые радикальные технологии, мы склонны забывать об этом опыте. Свет зажегся, но перемены происходили постепенно. И свет ИИ зажегся тоже. Но впереди еще много работы. Сейчас мы находимся в своего рода межвременье: нам уже известны возможности технологии, но ее потенциал пока полностью не реализован – она не внедряется повсеместно. Будущее ИИ пока неопределенно. Но мы уже наблюдали подобную картину с электричеством. Поэтому, чтобы понять проблемы, стоящие перед коммерциализацией ИИ, поставьте себя на место предпринимателей 1880-х годов. Электричество – это будущее. Но как в него попасть?

Поставщики точечных решений

Во второй половине XIX века экономику двигала энергия пара. Уголь использовался для нагрева воды, в результате вырабатывалась энергия, приводившая в движение рычаги, шкивы и ремни, а они, в свою очередь, запускали промышленные станки. По общему мнению, именно пар стал движущей силой экономической революции – крупнейшей со времен аграрного переворота. Поэтому предпринимателю, желающему зарабатывать на электричестве, сначала приходилось убеждать потенциальных покупателей в недостатках пара как источника энергии.

При сравнении преимущества электроэнергии очевидны. Пар рассеивал тепло – в этом и был смысл, но значительная его часть уходила впустую. От 30 до 85 % энергетического потенциала терялось из-за конденсата, негерметичности клапанов и трения при использовании вала и ремней для передачи энергии к станкам. Система центрального вала выглядит довольно громоздкой. Представьте источник паровой энергии, вращающий длинный трехдюймовый вал из железа или стали, который, в свою очередь, приводит в движение ремни и шкивы. Иногда валы располагались горизонтально, но на некоторых фабриках – вертикально, проходя через несколько этажей. Один такой вал мог приводить в действие сотни ткацких станков.

Самое простое применение электричества состояло в том, чтобы оно приводило вал в движение вместо пара. Бывший сотрудник компании Edison Фрэнк Спрейг оценил эту возможность и в 1886 году разработал один из первых электродвигателей. Эдисон сосредоточился на освещении, а Спрейг вовремя понял, что днем электроэнергия будет дешевой и ее можно использовать для питания моторов. Его идеи нашли применение в электрификации трамваев и строительных лифтов. Другие изобретатели внедряли электродвигатели на заводах.

Поскольку пар просто заменяли на новый источник энергии – электричество, мы называем такие решения точечными. Внедрявшие их предприниматели конца XIX века определили две группы потребителей, готовых к изменениям. К первой относились крупные предприятия с паровыми машинами. Так, в 1893 году текстильная фабрика в городе Колумбия (штат Южная Каролина) стала первой, работающей исключительно на электричестве. Энергия здесь обходилась дешевле, чем в других регионах США: ее производили турбины на Колумбийском канале, и многокилометровая проводная линия не требовалась. Другую группу составили мануфактуры, производящие одежду и ткани. Пар недостаточно чистый, и при его использовании энергия генерируется неравномерно, могут возникать перепады. Электричество позволило сгладить эти недостатки.

Поставщики точечных решений обещали снизить затраты и обеспечить некоторым фабрикантам специфические преимущества. Сразу было ясно, что это решения, готовые к использованию. Но во многих случаях их все равно было трудно продать. За счет смены источника питания можно лишь незначительно снизить издержки на электроэнергию. Но такие решения не позволяли наращивать мощность.

Поставщики прикладных решений

Если паровая машина запущена, произвольно ее уже не остановить. Чтобы станок начал работать, надо присоединить его к валу через систему рычагов, а чтобы перестал – наоборот, отсоединить. Электрический двигатель позволяет включать и выключать станки по мере необходимости, что делает их более простыми в управлении и менее требовательными к обслуживанию. Однако это означает, что количество потребляемой заводом электроэнергии зависит от условий эксплуатации. Как отмечает историк экономики Натан Розенберг, наступила эра «дискретной энергетики», когда «стало возможным предоставлять электроэнергию маленькими и более дешевыми порциями, что предотвращало ее избыточную выработку».

С точки зрения предпринимателя, ценность электричества заключалась в том, что оно сокращало потребность в энергии и вырабатывалось только тогда, когда нужно. Исходя из этого, происходили некоторые изменения в технической базе предприятий: например, для различных типов станков предусматривались различные источники питания; некоторые инженеры начали задумываться об установке электродвигателей на каждый станок. Даже если группа станков питалась от одного источника, это было очень выгодно: за электроэнергию приходилось платить, только когда оборудование работало.

Установка электропривода на каждый станок стала большим шагом вперед. В наши дни такое решение назвали бы прикладным. Вместо того чтобы просто поменять источник питания, модифицировалось все устройство (то есть приложение в современных реалиях). Более того, некоторые машины существенно уменьшились в размерах. Станки больше не крепились к центральному валу, а значит, их можно было перемещать. Не работа приходила к станкам, а станки перемещались туда, где в них была необходимость.

Однако все это в идеале. На деле же оказалось, что любой отдельно взятый станок, например сверлильный, металлорежущий или прессовый, надо полностью перепроектировать, чтобы использовать преимущества индивидуального электрического двигателя. Более того, двигатель тоже должен быть адаптирован к конкретной машине или варианту использования. Возможностей использования электроэнергии было много, но сами устройства еще предстояло разработать. К тому же внедрение одного станка с собственным двигателем снижало ценность любого мотора, питающего другие станки. Очевидно, оптимальный баланс достижим, если перепроектировать многие станки. Однако это означает создание новой системы, что требует времени.

Поставщики системных решений

Во времена Промышленной революции фабрики строились в расчете на использование энергии пара, которая, как мы уже знаем, вращала центральный вал, а он, в свою очередь, запускал отдельные станки через систему ремней и шкивов. С нынешней точки зрения это была одна большая машина, в которой рабочие служили всего лишь шестеренками. Глобально она представляла собой конструкцию, в которой сотни движущихся частей подключались к одному источнику энергии. Внедрение электричества не изменило ситуацию. Но появление новых устройств заставило некоторых предпринимателей переосмыслить саму концепцию предприятия. Предположим, что нет ни центральных валов, ни даже валов, предназначенных для отдельных групп машин. Как будет выглядеть фабрика, которую спроектировали с нуля, исходя из знаний о свойствах электричества?

Фабрики были устроены так, чтобы станки размещались ближе к источнику энергии. Это оправдывало вертикальную конструкцию с расположенными друг над другом цехами. Однако тесные многоэтажные фабрики конца 1800-х годов имели множество недостатков с точки зрения условий труда, безопасности и производительности оборудования. Электрификация избавляла от необходимости втискивать производство в небольшое помещение.

Более предприимчивые менеджеры поняли: истинная ценность электроэнергии в том, что на ее основе возможно предложить системное решение, которое в полной мере использовало бы ее потенциал. Под системой мы понимаем набор процедур, которые в совокупности обеспечивают выполнение того или иного действия.

Вспомните пространственную экономику на фабрике, использующей силу пара. Самое ценное пространство в цехе – возле центрального вала. Рядом с ним выполнялись производственные операции, а все остальное складировалось и убиралось как можно дальше. Это означало, что детали, материалы и так далее перемещались туда-сюда в зависимости от потребностей в энергии.

Электричество уравняло разные зоны помещения в их экономической ценности и позволило использовать пространство гибко. Теперь можно было расположить оборудование в линию, чтобы сократить расстояние, на которое перемещаются детали в процессе обработки. Изобретенный Генри Фордом конвейер для сборки автомобиля Model T не смог бы работать на паровой энергии. Такая возможность появилась только благодаря электричеству, причем спустя десятилетия после демонстрации его коммерческих перспектив. Да, Форд производил автомобили. Но в значительной степени он был поставщиком системного решения, которое изменило промышленный ландшафт. Только после этого стало очевидно колоссальное влияние электрификации на производительность труда.

Поставщики решений на основе ИИ

Из истории промышленности можно извлечь три урока. Во-первых, чтобы значительно повысить производительность, надо понять, что предлагает новая технология. Предприниматель, делавший ставку на электричество в 1890 году, сосредоточился бы на «экономии затрат на топливо» как на ключевом ценностном предложении. Но электричество – это не просто более дешевая замена парового двигателя. Его истинная ценность заключалась в том, что оно позволяло отделить использование энергии от ее источника. Это освободило промышленников от ограничений, связанных с размещением оборудования, что привело к целому ряду усовершенствований в планировке фабрик и рабочих процессов. Предпринимателю, предлагавшему перейти на электричество в 1920 году, следовало понимать, что ключевое ценностное предложение – это не «экономия затрат на топливо», а «создание гораздо более эффективной организации производства». Такую же картину мы ожидаем увидеть и с ИИ. Как мы уже отмечали, первоначально предлагавшиеся предпринимательские возможности были связаны с точечными решениями: так, компания Verafin заменила один способ прогнозирования другим – более качественным, быстрым и дешевым.

Нам также известны прикладные решения, требующие перепроектирования устройств или продуктов. Таковы роботы или приложения на ваших гаджетах, реализованные на основе ИИ. Например, камера смартфона, распознающая ваше лицо, сконструирована определенным образом. К ней прилагается аппаратное обеспечение для защиты передаваемой информации. Пожалуй, наиболее заметно к инновациям такого рода подтолкнуло вложение миллиардов долларов в разработку и запуск автомобилей, которые могли бы самостоятельно передвигаться в существующих дорожных условиях. Хотя внешне они ничем не отличаются от обычных автомобилей, их внутреннее устройство существенно изменено и включает датчики, средства бортовой обработки данных и последующего управления машиной.

В будущем мы увидим множество высокоэффективных системных решений на основе ИИ. В этой книге мы рассмотрим как возможности, так и проблемы, связанные с их реализацией.

Во-вторых, осознав, в чем состоит ценностное предложение ИИ, следует поставить довольно очевидный, но при этом трудноразрешимый вопрос. Как бы мы подошли к разработке наших продуктов, услуг или предприятий с нуля с учетом уже имеющихся знаний об ИИ? Многоэтажные фабричные корпуса возникли не в традиционных отраслях, а в тех, что появились в 1900-х годах, то есть были новыми на тот момент. Это табачная промышленность, производство металлоизделий, транспортного оборудования и, собственно, электрооборудования. История повторяется в наши дни: ориентированные на ИИ системы прежде всего складываются в инновационных цифровых отраслях современной экономики: в поиске, электронной коммерции, стриминговом контенте и социальных сетях.

В отношении ИИ мы можем задать те же два вопроса. Первый: что на самом деле дает нам ИИ? Второй: если мы создаем бизнес с нуля, то какие процессы и модели следует внедрить? Если электричество позволяло не просто «снизить стоимость энергии», а «гораздо эффективнее организовать производство», то, возможно, ИИ тоже позволяет не «снизить стоимость прогнозирования», а «гораздо эффективнее создавать продукты, услуги и организации». Основное преимущество электричества заключалось в том, что оно отделяло использование энергии от ее источника, а это способствовало инновациям в планировке фабрик. Основное преимущество ИИ в том, что он отделяет прогнозирование от остального процесса принятия решений, а это помогает переосмыслить взаимодействие решений и тем самым способствует инновациям в организационном проектировании. Мы утверждаем, что, отделяя прогнозирование от других аспектов принятия решения и передавая его машине, ИИ позволяет внедрять инновации на системном уровне. В таких системах ключевой структурный элемент – это решения, а ИИ совершенствует процесс их принятия.

В-третьих, различные типы решений предоставляют разные возможности для получения власти на рынках. Предприниматели получают прибыль, создавая и присваивая ценность. В случае точечных решений проблема состоит в том, что создается относительно небольшая ценность. Электричество заменяло паровые двигатели, которые уже широко применялись. Заместить одно другим было не так просто, а если и удавалось, то ценностное предложение для потребителя заключалось в уменьшении счета за энергию. Другими словами, поставщики точечных решений получают устойчивую прибыль благодаря тому, что лучше других реализуют эти решения, что и продемонстрировала Verafin. Но это в лучшем случае.

По мере перехода к прикладным, а затем системным решениям создаваемая предпринимателями ценность получает все более надежную защиту. Чтобы обезопасить продукт от конкурентов, следует оформить патент или использовать другие средства охраны интеллектуальной собственности. Однако в случае с системными решениями возможностей защиты еще больше. В эпоху электричества по большей части сами владельцы предприятий заботились о том, чтобы обустроить производство по-новому. Они создавали в своей отрасли ноу-хау, благодаря чему завоевывали рынок и ограждали себя от конкуренции. Планировку завода может видеть каждый, но процедуры, компетенции и обучение, лежащие в основе организации рабочих процессов, не так очевидны, и воспроизвести их довольно трудно. Более того, новые системные решения обеспечивают масштабирование.

Взрывная сила и власть ИИ

Потребовались десятилетия, чтобы электричество зарекомендовало себя как подрывная инновация. В течение первых двух десятилетий своего существования оно точечно использовалось на некоторых предприятиях, для освещения улиц и в других областях. Но оно изменило экономику, только когда появились новые системные решения. Трансформация оказалась глубокой, и власть получили те, кто контролировал выработку электроэнергии и электросети, а также те, кто сумел использовать электричество в массовом производстве. После этого уже не интересно было выпускать ремни и шкивы или владеть промышленными площадями в центре города.

То же самое происходит с искусственным интеллектом. Перераспределение экономической власти, в результате которого контроль над дефицитными ресурсами и активами переходит от одной группы людей к другой, сопровождается возможностью оградить бизнес от конкурентного давления. Безусловно, у ИИ есть для этого потенциал, но он изменит отрасли и распределение сил в них, то есть станет подрывной инновацией, лишь при наличии новых систем. Их трудно разработать, а также, как мы увидим, трудно скопировать по причине высокой сложности. Это является преимуществом для тех, кто способен их создавать.

Однако при этом сохраняется значительная неопределенность. Остается открытым вопрос о том, кто получит влияние благодаря технологиям на основе ИИ. Все зависит от того, как будут выглядеть новые системы. Наша задача – помощь в прогнозировании: кто приобретет, а кто потеряет власть по мере развития и внедрения систем ИИ.

КЛЮЧЕВЫЕ МОМЕНТЫ

• Наша притча о трех типах предпринимателей, посвященная энергетическому рынку более чем столетней давности, иллюстрирует, как на основе одного и того же технологического сдвига – от пара к электричеству – формируются различные ценностные предложения: точечные решения (стоимость энергии снижается, а потери из-за трения сокращаются, но организация производства не меняется); прикладные решения (индивидуальные электроприводы на каждом станке обеспечивают им автономность, так что остановка одного не влияет на работу других; при этом организация производственной деятельности остается прежней); системные решения (перепроектирование заводов – облегченная одноэтажная конструкция зданий, рабочие процессы оптимизированы с точки зрения пространственной планировки и перемещения рабочих и материалов).

• Одни ценностные предложения привлекательнее других. В случае с электричеством точечные и прикладные решения, основанные на прямой замене пара электричеством без модификации системы, имели ограниченную ценность. Поэтому изначально инновация внедрялась медленно. Со временем некоторые предприниматели сумели предложить решения на системном уровне благодаря тому, что электричество обеспечивало автономную работу станков – при использовании пара это было невозможно или слишком дорого. Во многих случаях для системных решений стоимость была значительно выше, чем для точечных.

• Электричество позволило отделить машину от источника энергии и тем самым сместить ценностное предложение от «более низкой стоимости топлива» к «гораздо более производительной организации производства». Точно так же ИИ позволяет отделить прогнозирование от других аспектов принятия решения и тем самым сместить ценностное предложение от «более низкой стоимости прогнозирования» к «гораздо более эффективному процессу принятия решения».

Глава 2. Будущее систем ИИ

В 2017 году мероприятия, посвященные ИИ, проходили одно за другим. На них собирались представители бизнеса, правительств и академических кругов. Мы осознавали, что ИИ способен трансформировать экономику, и решили, что это перспективная тема для дискуссии лучших мировых ученых. Чтобы определить перечень приоритетных исследований, мы организовали в Торонто конференцию по ИИ. К нашему удивлению, мы без труда привлекли множество участников. Среди них был Пол Милгром из Стэнфордского университета, который впоследствии стал лауреатом Нобелевской премии за усовершенствование теории аукционов. «Я хорошо помню, как в 1990 году NSF[2] предложил обсудить экономику интернета, – написал он нам, – а я был слишком занят теорией принципала-агента, экономикой фирмы и супермодулярностью и потому отказался. И зря! На этот раз никаких оправданий. Да, я буду у вас».

Некоторые участники конференции оптимистично оценивали перспективы ИИ. Еще один нобелевский лауреат, Даниэль Канеман, сказал: «Думаю, в мире не слишком много того, что в итоге не смогут сделать компьютеры». Бетси Стивенсон, работавшая в Совете экономических консультантов при президенте Обаме, так резюмировала подобные настроения: «Очевидно, коллеги считают, что искусственный интеллект открывает возможности для того, чтобы получить существенную экономическую выгоду».

Однако среди собравшихся были и скептики. Лауреат Нобелевской премии Джозеф Стиглиц разделял мнение, что развитие ИИ способно усугубить неравенство. Тайлер Коуэн, экономист и бывший обозреватель The New York Times, опасался, что из-за производительности ИИ увеличится дефицит материальных ресурсов. Мануэль Трахтенберг из Израиля, часть своей карьеры посвятивший политике, отметил, что долгосрочные преимущества технологии не имеют значения, если растущее сопротивление автоматизации и распространенное мнение о ее влиянии на рабочие места приведут к революции.

Особенно интересен тезис о том, что ИИ, похоже, вообще не оказывает большого влияния на экономику. Экономисты Эрик Бриньолфсон, Дэниел Рок и Чад Сайверсон отмечают:

Мы живем в эпоху парадоксов. Все больше областей, где системы на основе ИИ соответствуют человеческому уровню или превосходят его, опираясь на стремительный прогресс в других технологиях и способствуя стремительному росту цен на акции. При этом зафиксированный в последнее десятилетие рост производительности труда сократился вдвое, а реальные доходы большинства американцев с конца 1990-х годов стагнируют.

Для тех, кто изучает историю развития технологий, это не беспрецедентный парадокс (как мы убедились на примере электричества). В 1987 году Роберт Солоу из Массачусетского технологического института произнес знаменитую фразу о том, что «компьютерный век наступил везде, но только не в статистике производительности труда». Компьютеры были повсюду, но к заметному повышению результативности труда это не привело, причем во всех секторах экономики. Специалисты задались вопросом: что происходит, когда появляются «технологии общего назначения» – то есть такие, которые обеспечивают устойчивый рост производительности в широком спектре отраслей? К технологиям общего назначения относятся паровой двигатель и электричество, а в более поздние времена – полупроводники и интернет. По мнению участников нашей конференции, ИИ выглядел вполне вероятным кандидатом на включение в этот список. Чего же нам следует ожидать? Да, исторически такие технологии в итоге трансформировали экономику, бизнес и рабочие процессы, но что происходило в течение десятилетий до наступления этого момента – в межвременье?

Системные инновации для ИИ

Генеральный директор Google Сундар Пичаи заявил, что «ИИ – это, пожалуй, самое важное, над чем когда-либо работало человечество. Я думаю о нем как о чем-то более глубоком, чем электричество». Google уже получила выгоду от ИИ, но многим компаниям это не удалось. В исследовании, проведенном в 2020 году журналом Sloan Management Review Массачусетского технологического института и глобальной консалтинговой компанией BCG, говорится, что только 11 % организаций сообщили о значительных финансовых результатах от использования ИИ. И это не значит, что остальные не пытались добиться успеха. Представители 59 % компаний заявили, что у них есть стратегия в области ИИ, а в 57 % организаций внедрялись или были опробированы соответствующие решения.

Пионер ИИ Эндрю Ын, основатель проекта Google Brain и ведущий научный сотрудник компании Baidu, заявил, что «ИИ – это новое электричество. Он способен изменить любую отрасль и создать огромную экономическую ценность». У ИИ не меньший потенциал трансформации, чем у электричества, но если верить истории, то путь к изменениям будет долгим и ухабистым.

Пример с электричеством показывает, что нет никакого несоответствия между оптимизмом в отношении будущего ИИ и разочарованием в уже достигнутых результатах. Бриньолфсон, Рок и Сайверсон обратили внимание на этот парадокс эпохи. Следовало ожидать, что оптимизм в отношении будущего будет сосуществовать с разочарованием в том, что мы имеем сегодня. Действительно, есть веские глубинные причины ожидать таких противоречий, когда экономика переживает реструктуризацию, связанную с трансформационными технологиями.

На первом этапе внедрения электричества лампочки заменили свечи, а электродвигатели – паровые машины. Это были точечные решения, не требующие переворота в экономике.

ИИ находится в такой же ситуации. Он применяется как новый инструмент для предиктивной аналитики. Лишь немногие компании получают выгоду от улучшения прогнозирования – например, Verafin. Это те самые 11 % организаций, которые уже достигли финансовых результатов с помощью ИИ. Они и прежде занимались прогнозированием, но теперь делают это точнее, быстрее и с меньшими затратами. Точечные решения для ИИ находятся буквально под рукой и уже вовсю применяются.

Истинный потенциал электричества был реализован, только когда удалось понять и использовать преимущества распределенной генерации. Точно так же потенциал ИИ раскроется, только когда получится в полной мере задействовать его возможности в области прогнозирования. Для нас это означает, что прогнозирование играет важную роль в принятии решений. Мы покажем, что во многих случаях изменения будут настолько значительными, что потребуют от компаний перестроить всю систему принятия решений и обеспечивающие ее процессы. Только в этом случае внедрение ИИ станет действительно реальным.

Мы находимся в межвременье: колоссальный потенциал ИИ уже очевиден, но его трансформирующее воздействие на экономику еще не началось. Verafin входит в те 11 % крупных корпораций, которые добились успеха при внедрении ИИ. Их прогнозы вписались в существующую систему, а бизнес-процессы и организация труда оказались к этому приспособлены, так что значительных нововведений не потребовалось. Остальные 89 % компаний еще не готовы. Перспективы понятны, но как их реализовать, пока неясно. Необходимо найти способ использовать машинные прогнозы для повышения эффективности работы, то есть для принятия более эффективных решений. Благодаря ИИ люди смогут делать больше, поскольку будут принимать лучшие решения. Речь идет не только о технических аспектах прогнозирования (сборе данных, построении моделей, генерации прогнозов), но и об организационных – создании условий, позволяющих людям принимать правильные решения в нужное время. А стратегическая задача состоит в том, чтобы определить, что можно сделать по-другому после получения более качественной информации.

Первый этап

Для межвременья характерны энтузиазм и успех точечных решений, но при этом ИИ все еще остается нишевой технологией. Тем не менее уже проводятся эксперименты и существуют прикладные разработки, в основном специфические. Они позволяют улучшить имеющиеся продукты, например телефоны или системы безопасности автомобиля. Бюро переписи населения США выяснило, используют ли компании ИИ. В опросе участвовали представители более 300 тыс. организаций. Из тех, кто ответил положительно, большинство подчеркивали, что применяют ИИ для автоматизации и улучшения процессов. Другими словами, внедряются точечные и прикладные, но не системные решения. Соответственно, ИИ довольно скромно влияет на производительность труда. Анализ существующих рабочих процессов и участков, которыми ИИ может заменить человека, приносит значимую дополнительную ценность, но широких возможностей не открывает.

В период межвременья предприниматели и менеджеры борются за то, чтобы реализация прикладных решений стала экономически оправданной. Как отмечает Натан Розенберг, «многочисленные неудачи объясняются тем, что предприниматель не учел взаимосвязь между технологией, поглощавшей все его внимание, и остальными аспектами бизнеса как целостной системы».

Настоящая трансформация произойдет, только если сосредоточиться на системных решениях. Они поднимут внедрение ИИ на уровень экономики в целом и создадут импульс для его дальнейшего прикладного применения. При таком потенциале масштабирования и последующих инноваций ИИ станет экономически выгодным.

Учитывая важность этих решений, необходимо четко объяснить, что имеется в виду. Итак, давайте определимся с понятиями:

• Точечное решение улучшает существующую процедуру. Его можно внедрить независимо от прочих решений и без изменения системы, в которую оно встроено.

• Прикладное решение создает новую процедуру. Ее можно реализовать независимо от прочих процессов и без изменения системы, в которой она функционирует.

• Системное решение позволяет усовершенствовать существующие или создать новые процедуры и при этом изменить связанные с ними процессы.

Обратите внимание: оборот «независимо от (прочих)» встречается в определениях точечного и прикладного решений, но применительно к системному не употребляется. Представьте, что какую-либо существующую или новую процедуру можно усовершенствовать с помощью новой технологии. Если рост создаваемой ценности превышает затраты на разработку и внедрение этого решения, то оно экономически целесообразно – причем неважно, изменится ли что-то еще. Однако предположим, что выгода от инновации слишком мала и может быть увеличена только за счет изменения других процедур. Тогда внедрять ее в индивидуальном порядке, без сопутствующих изменений, будет экономически неоправданно. Потребуется совершенствование сразу нескольких процедур.

Мы уже говорили о том, что некоторые фабрики легко заменили энергию пара электрической. Это точечное решение. Кроме того, электрические двигатели использовались в существовавших производственных системах. Это прикладное решение. Однако во многих случаях для того, чтобы получить реальную экономическую выгоду, надо было перепроектировать предприятия, а также разворачивать централизованные электрические линии и сети. Другими словами, при системном подходе электричество – это не просто новый источник энергии, а спектр новых возможностей, которые открываются при его использовании.

В следующей главе мы вернемся к теме, затронутой в книге «Искусственный интеллект на службе бизнеса», – к тому, что достижения современного ИИ, по сути, представляют собой усовершенствованные технологии прогнозирования. Более того, прогнозы ценны только как исходные данные, на основе которых принимаются решения. Таким образом, давайте скорректируем определения, приведенные выше.

ТОЧЕЧНОЕ РЕШЕНИЕ НА ОСНОВЕ ИИ: прогноз ценен, если позволяет улучшить принятое без его учета управленческое решение, не зависящее от прочих.

ПРИКЛАДНОЕ РЕШЕНИЕ НА ОСНОВЕ ИИ: прогноз ценен, если позволяет принять отличное от имеющегося управленческое решение или изменить процедуру его принятия, причем независимо от прочих.

СИСТЕМНОЕ РЕШЕНИЕ НА ОСНОВЕ ИИ: прогноз ценен, если улучшает существующие или позволяет принимать более эффективные управленческие решения при условии, что будут реализованы изменения в способах принятия прочих решений.

Если в других случаях мы можем прибегнуть к ретроспективному анализу и точно определить, что было независимым, а что зависимым, то в случае ИИ нам еще предстоит это выяснить. Наша книга – о том, как это сделать.

Подрывной характер системных изменений

Если верить истории, то активнее всего ИИ должен внедряться на этапе системных изменений. Однако такие изменения будут подрывными по своему характеру: заставят пересмотреть роли многих людей и компаний в отраслях и одновременно перераспределить влияние. То есть, вероятно, появятся экономические победители и проигравшие, особенно если трансформация происходит относительно быстро.

Давайте для наглядности рассмотрим прогнозирование в земледелии. В этой отрасли механизация резко сократила занятость. Однако управление, независимо от масштабов хозяйства, по-прежнему сосредоточено в руках человека – настолько, что многие фермы остаются в частной собственности. Принимая решение, фермеры учитывают прогноз погоды, но состояние земельного надела уникальным образом связано с их собственными навыками в прогнозировании и принятии решений в целом.

Однако время идет, и ситуация меняется. Земледелие зависит от погодных условий, но также, что критически важно, от выращиваемых культур и характеристик почвы. Из этих дополнительных рисков исходил Дэвид Фридберг, когда первым предложил американским фермерам индивидуальное онлайн-страхование от погодных условий. Правительство США располагало информацией не только о погоде, но и о составе почвы 29 млн полей (на основании инфракрасных спутниковых снимков). Это позволило Фридбергу рассчитать влияние погодных условий на отдельные земли или сельскохозяйственную культуру.

Фридберг основал компанию Climate Corporation для продажи страховки, но вскоре обнаружил, что не менее, чем в страховке, фермеры заинтересованы в том, что он может сообщить им об их собственных полях:

От него [Фридберга] фермер мог узнать о влажности почвы на данный момент и о том, какое превышение уровня влаги будет губительным. Можно было получить информацию о температуре и ежедневном количестве осадков. Вероятно, вы скажете, что фермер и так это знает, но что, если у него двадцать или тридцать полей, расположенных в разных округах? Точная стадия роста определенной культуры, лучшие моменты для удобрения земли, оптимальный период для сева и идеальная дата сбора урожая – Фридберг располагал всеми этими данными.

Прогнозирование в значительной степени определяло ключевые решения, касающиеся внесения удобрений, сева и уборки. Все они принимались с одной и той же целью – получить максимальный урожай: «Земледелие всегда было связано с принятием решений, которые зависели от интуиции фермера. Climate Corporation превратила земледелие в науку, основанную на теории вероятностей. Фермер играл уже не в рулетку, а в блек-джек. А Дэвид Фридберг помогал ему считать карты».

Фермеры привычно связывали технологический прогресс с появлением новых сельскохозяйственных орудий, но теперь изменилась сама процедура принятия решений. Более того, решения принимались дистанционно – в Сан-Франциско, далеко от сельских регионов Америки. Из корпорации, расположенной в городе на Западном побережье, канзасские фермеры получают совет, стоит ли выращивать кукурузу.

В настоящее время Climate Corporation принимает далеко не все решения по ведению сельского хозяйства. Значительная их часть по-прежнему относится к компетенции фермеров. Однако, по мнению Фридберга, «со временем участие аграриев сведется к нулю. Все будет под контролем. Появятся прогнозы на любой случай». Фермеры понемногу привыкают к этой мысли. Майкл Льюис пишет: «[Никто] никогда не задавал Фридбергу вопрос: если в моих знаниях больше нет необходимости, то кому нужен я?» Иначе говоря, дело идет к подрыву старой системы и централизованному управлению фермерскими хозяйствами. Мы не знаем, сколько времени займет процесс изменений и все ли решения удастся автоматизировать. Но можно точно сказать, что у этих инструментов большой потенциал: в 2013 году компания Monsanto приобрела Climate Corporation за 1,1 млрд долларов.

Шаг за шагом, по мере совершенствования технологий прогнозирования, фермеры не просто изучают прогнозы и принимают решения, а передают эти полномочия другим. Вероятно, таким образом эффективность управления фермой повышается, поскольку ответственность берут на себя люди, обладающие необходимой информацией, навыками, стимулами и умеющие координировать процессы. Но в то же время какова будет роль фермеров? Сейчас они землевладельцы, но надолго ли?

О чем эта книга?

Наша цель – мотивировать разработку системных решений на основе ИИ. В центре внимания – принятие управленческих решений и роль прогнозирования в этой процедуре. В части I мы обсудили притчу о трех предпринимателях и охарактеризовали проблемы разработки и внедрения ИИ в период межвременья, которые, скорее всего, имели место и в прошлом, во времена внедрения электричества и других технологий общего назначения. Чтобы перекинуть мостик к пониманию этих проблем и возможностей, в главе 3 мы напомним основные положения нашей предыдущей книги – «Искусственный интеллект на службе бизнеса». Также мы разберемся, почему прогнозирование – одна из ключевых функций ИИ. В части II подробнее рассмотрим процесс принятия решений и докажем, что одних точечных решений недостаточно, чтобы получить высокую отдачу от прогнозирования. Мы рассмотрим три основных положения. Во-первых, процесс принятия решений сложен, связан с когнитивными издержками и не сводится к простому следованию правилам. Он позволяет скорректировать действия в ответ на новую информацию. Без прогнозирования эти преимущества отчасти утрачивают свою ценность. Во-вторых, прогнозы ИИ могут изменить баланс между правилами и решениями, а за правилами и действиями, призванными защитить компанию от негативных последствий, таится неопределенность. Из-за нее трудно найти применение искусственному интеллекту. В то же время именно с неопределенностью могут быть связаны наиболее сильные потрясения. Если она проявится, то компании, которые стараются ее скрыть, окажутся в опасности. В-третьих, мы обсудим, как решения связаны между собой. Когда они взаимодействуют, переход от правил к решениям, основанным на прогнозировании, фактически добавляет системе определенную долю ненадежности. Чтобы с ней справиться, часто нужны общесистемные изменения. Проблема в том, что правила служат для системы связующим материалом, нередко тонким и малозаметным. Поэтому проще построить новую систему с нуля, чем изменить существующую. Исторически сложилось так, что новые компании и стартапы часто опережают устоявшиеся предприятия, когда для оптимизации требуется полная перестройка. Таким образом, изменения на системном уровне угрожают действующим организациям разрушением.

В части III речь пойдет о создании новых систем, которое предполагает не просто пересмотр одного решения на основе прогноза, а комплексную переоценку всех взаимосвязанных решений. Мы выясним, насколько важны системное мышление и способность подмечать неочевидную взаимосвязь между решениями, особенно если ранее многое регулировалось правилами. Мы покажем, что прогнозирование с помощью ИИ уже оказывает системное воздействие на инновационный процесс. На основании этих данных можно судить о том, какие изменения потребуются в других сферах.

В части IV мы рассмотрим ключевое следствие системной трансформации, а именно: что

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

Сноски

1

Русский перевод опубликован издательством «Манн, Иванов и Фербер» в 2019 году. Прим. ред.

Вернуться

2

Национальный научный фонд (National Science Foundation – NSF) – независимое агентство при правительстве США, занимающееся поддержкой научных исследований и технологических разработок. Прим. ред.

Вернуться