Фрэнк Паскуале
Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта

2. Лечение людей

В медицине есть две мечты. Первая, утопическая, берет начало непосредственно в научно-фантастических романах. Роботы-медработники будут диагностировать и мгновенно лечить любую болезнь. Наноботы будут патрулировать наши вены и артерии, разбивая тромбы и чиня поврежденные ткани. Распечатанные на трехмерных принтерах органы, кости и кожа позволят нам сохранять молодость до восьмидесяти и девяноста лет. А если повезет, то и мозг можно будет загружать в компьютер для постоянного хранения, так что роботизированные тела можно будет использовать в качестве оболочки для неразрушимых разумов^[83].

Каковы бы ни были долгосрочные преимущества этой научно-фантастической картины, до нее еще очень и очень далеко, да и вообще неясно, сбудется ли она когда-нибудь. Более реалистичные медицинские футуристы тоже вполне амбициозны, однако они предлагают картины будущего подоступнее. Они признают ключевую роль человеческой эмпатии в медицинском уходе, значение человеческой интуиции в диагностике и гибкость рук хирурга. В целом они соглашаются с первым законом робототехники, обосновывающим будущее, в котором ИИ преимущественно помогает врачам и медсестрам (а не замещает их). И это вполне разумно, если придерживаться реалистической оценки современного состояния технологии и данных^[84].

К несчастью, даже многие реалисты часто теряются, когда дело доходит до программ развития и до права. На системы медицинского обеспечения они смотрят в основном с экономической точки зрения, сетуя на расходы и неэффективность. Они отстаивают дерегулирование, которое должно подстегнуть инновации, и ограничение бюджета, которое вынудит сокращать расходы. Но на самом деле в программах развития медицинских технологий нам нужно больше, а не меньше ответственности в сборе и применении более качественных данных. Нам следует инвестировать в передовые медицинские практики, а не просто предполагать, что больницы и врачи будут постоянно придумывать новые хитрые способы делать больше, а тратить меньше^[85].

Фантасты мечтают о тех временах, когда приложения и роботы возьмут на себя все наши медицинские заботы. Но основная линия медицинского развития сейчас ведет не в этом направлении, и стратеги вместе с политиками не должны пытаться представить это воображаемое направление в качестве ориентира. Задачи медицинского обеспечения, как и психологический стресс, связанный с заболеванием, указывают на необходимость присутствия человека в практике медицинской автоматизации. И если экономические императивы заставят больницы и страховщиков заменять программами врачей, а ботами – медперсонал, профессиональные ассоциации должны приложить все силы, чтобы соображения об издержках были уравновешены многими преимуществами прямого участия человека в терапевтическом процессе.

Решение об обращении за медицинской помощью

Представьте, что вы проснулись с острой болью в животе. Что это – аппендицит? Кровотечение? Растяжение мускулатуры? Боль в животе – один из самых сложных для диагностики симптомов, который не всегда могут правильно квалифицировать даже опытные врачи скорой помощи. Острая боль в брюшной полости может возникать при десятках разных заболеваний, начиная с тривиальных и заканчивая опасными для жизни^[86]. Даже небольшой риск катастрофического исхода должен стать причиной для незамедлительного посещения больницы, где можно получить профессиональную консультацию.

Богатым или людям с хорошей страховкой принять решение, возможно, просто. Но для остальных обращение за помощью может обернуться разорением. В развивающихся странах счета за медицинские услуги порой лишают семьи возможности удовлетворить даже самые базовые нужды^[87]. В США миллионы людей не имеют страховки или имеют недостаточную страховку. Одно-единственное посещение отделения неотложной помощи может обернуться расходами в размере более 10 тыс. долл.; ложная тревога тоже способна привести к многотысячным расходам, накапливающимся после проведения анализов, посещения терапевта и других трат. Даже для людей с достаточной страховкой и немалыми финансовыми ресурсами посещение больницы может означать риск ненужных тестов, столкновения с вирусами и многочасовых неудобств.

Поэтому многие первым делом ищут свои внезапно возникшие симптомы в Google. И много лет Google рассматривал медицинские запросы – которые люди задавали, в частности, из-за внезапной боли, возникшей посреди ночи, – как практически любые другие запросы. Поэтому сайты с сомнительной репутацией, если только у них достаточно «сока Google» (таинственной смеси релевантности и авторитета, которая позволяет тому или иному контенту оказаться в верхней части поисковых результатов), могли попадаться среди информации от уважаемых врачей и медицинских заведений. Отделять зерна от плевел должны были сами пользователи Google, определяя, стоит ли доверять таким сайтам.

Однако в 2016 г. компания изменила подход^[88]. В сотрудничестве с экспертами из Mayo Clinic она решила проверять информацию, которая выводится при обычных запросах, связанных со здоровьем^[89].

Введите, например, запрос «головная боль с одной стороны головы», и выше или рядом со стандартным списком поисковых результатов появится несколько блоков, в каждом из которых вкратце описывается возможная причина головной боли. Выберите один из них (например, «головная боль напряжения»), и вы увидите другой блок, опять же от самой компании Google. В нем вкратце описывается распространенность заболевания, его частотность в различных возрастных группах, а также типы медицинского вмешательства, которые могут понадобиться.

Эти новые результаты Google – ободряющий знак того, как может работать искусственный интеллект в здравоохранении. Они говорят не о том, что компания свято верит в замену экспертных знаний врачей большими данными и алгоритмами. Скорее, профессионалов приглашают специально, чтобы разрабатывать структурные подходы к медицинской информации и самой системе медицинской помощи. Подобным образом компания IBM стала иначе представлять свою систему Watson на рынке здравоохранения и права – больше в качестве помощника, а не замены врачам^[90]. Когда я разговаривал с представителем команды разработчиков Watson в IMB в 2017 г., он сказал, что они отстаивают позицию усиленного, а не искусственного интеллекта. Если подход усиления интеллекта защищают даже те фирмы, которые могли бы выиграть от ИИ больше остальных, значит, мечта о полностью автоматизированных средствах диагностики является скорее анахронистической, чем футуристической. Всегда будет место для экспертов-профессионалов, которые должны будут оценивать точность советов искусственного интеллекта, как и его работу в реальном мире.

Базовые компетенции ИИ: недопущение обычных ошибок

Врачи – эксперты по распознанию паттернов. Мы ждем того, что дерматолог скажет нам, какая это родинка – злокачественная или обычная; мы терпим колоноскопию для того, чтобы гастроэнтеролог получил возможность заметить (и удалить) полипы. Но даже лучшие врачи могут допускать ошибки, а обычные терапевты порой устают или могут в ключевой момент отвлечься. Благодаря ИИ мы можем существенно снизить число таких ошибок и тем самым спасти тысячи жизней в год.

Такой метод зависит от массового накопления данных. В базе данных могут храниться размеченные изображения миллионов различных аномалий, которые со временем становятся раком, а также миллионы доброкачественных новообразований. Так же как Google, который сопоставляет сайты с запросом, компьютер может быстро сравнить изображения вашего кишечника или кожи с теми, что хранятся в базе данных. В идеальном случае машина обучается определять «злых цифровых двойников», то есть ткань, которая в прошлом уже становилась опасной и при этом подозрительно похожа на вашу^[91].

Такое машинное зрение, выявляющее опасность в том случае, когда ее может не заметить даже опытный специалист, существенно отличается от нашего собственного зрения. Для понимания машинного обучения, о котором мы в этой книге будем говорить не раз, стоит рассмотреть успехи современного компьютерного зрения в области распознания лиц или чисел. Когда программа распознания лиц успешно идентифицирует изображение в качестве фотографии данного человека, она сопоставляет паттерны изображения с теми, что хранятся в базе данных, например, в растре 1000 на 1000 пикселов. Каждая клетка в растре может быть идентифицирована как участок кожи или какой-то другой участок, который определяется по тысячам параметров (таким как гладкость), незаметных для человеческого глаза. Сегодня доступен даже более высокий уровень чувствительности. Медицинские изображения способны кодировать данные на таком пиксельном или воксельном (воксел – трехмерный пиксел) уровне, который позволяет картографировать то, что чувствуют наши руки, нос и уши, – и даже намного больше.

Распознание паттернов на базе машинного зрения сначала стало успешно применяться в банках, когда понадобилось найти способ распознавать цифры на чеках (учитывая огромное разнообразие человеческих почерков). При наличии достаточного числа примеров почерка и вычислительных мощностей это распознание стало почти совершенным. Таким образом, во многих отношениях машинное зрение является «сверхчеловеческим», если оценивать его в категориях обработки данных и сравнения этих данных с миллионами других изображений. Дерматолог может использовать ту или иную эвристику для диагностики меланомы (например, пользуясь приемом ABCDE, то есть оценивая «асимметрию» (А), границы (В), которые могут быть неправильными, цвет (С), который бывает разным, диаметр (D) и развитие (Е)), а также опираясь на свой опыт знакомства со злокачественными и доброкачественными родинками. Достаточно развитый ИИ может проверить все эти параметры ABCDE, достаточно точно сопоставив данную родинку с тысячами других, если только его данные точны. Более того, по мере развития сенсоров ИИ сможет находить неожиданные факторы, определяющие отличие злокачественных родинок от доброкачественных.

Но у машинного зрения есть и «недочеловеческие» качества, что может выражаться в его удивительной ненадежности^[92]. Большинство его приложений в медицине сегодня являются узкоспециализированными ИИ, сосредоточенными только на определенной задаче. Например, такой ИИ, выявляющий полипы, может «увидеть» проблемный полип, который не заметит гастроэнтеролог, но при этом он, возможно, окажется неспособным распознать другие отклонения, определять которые не учился. Поэтому совместная работа программы ИИ и врача в диагностике ценнее работы каждого из них по отдельности^[93].

Врачи учатся годами, однако медицинское знание постоянно развивается. Сегодня человек не в состоянии запомнить все возможные взаимодействия лекарств, особенно в сложных случаях, когда пациент может принимать двадцать и более препаратов. Определенную роль в предотвращении негативных результатов могут сыграть фармацевты, но и они могут просмотреть необычные проблемы^[94]. Системы поддержки принятия клинических решений (СППКР (clinical decision support software, CDSS)), встраиваемые в медицинские картотеки, – это ранняя форма ИИ, способного помочь врачам предотвратить фатальные результаты^[95]. СППКР «занимается мониторингом и предупреждает врачей о состояниях пациентов, предписаниях и лечении, предоставляя основанные на научных данных клинические советы»^[96]. Уже сегодня есть данные, говорящие о том, что СППКР снижает количество ошибок^[97]. Однако даже в этой относительно простой области предоставления информации программисты, управленцы и инженеры не просто навязали применение СППКР в медицинской практике. Существенную роль в распространении таких систем сыграло право, в том числе государственные субсидии, выделенные на их поддержку. Угроза исков по врачебным ошибкам или корпоративной ответственности больниц склоняет к внедрению СППКР; но также суды признали, что профессиональное суждение невозможно автоматизировать, поэтому они не готовы рассматривать несоблюдение совета машины в качестве автоматического повода для возбуждения дела, если были веские причины не учитывать рекомендации СППКР^[98].

Постоянное регулирование станет критически важным для гарантии того, что передовые технологии действительно приносят пациентам пользу, не отягощая врачей и медперсонал избыточной информацией. Многие авторы писали о проблеме «усталости от оповещений»^[99]. Эксперты по взаимодействию человека и компьютера работают над достижением более устойчивого равновесия между оповещениями и более точными отчетами о потенциальных проблемах. Идеальное программное обеспечение СППКР не должно перегружать информацией, но в то же время не быть и молчаливым наблюдателем врачей-практиков. Свое обещание оно может выполнить только в том случае, если его сообщения будут постоянно калиброваться, чтобы врачи, медперсонал и фармацевты были действительно заинтересованы в его применении и имели все возможности критиковать его и совершенствовать.

Данные, дискриминация и неравенство в медицинском обеспечении

ИИ, результаты которого одобрены человеком, может стать стандартом медицинских услуг, то есть тем, что должно предоставляться каждому пациенту, обратившемуся за помощью^[100]. Однако то, что определенная технология в целом лучше, еще не означает, что она оптимальна во всех случаях^[101]. В самом деле, ИИ, если он работает на основе ошибочных данных, может легко заниматься дискриминацией. Хорошо известный «рейтинг риска» (используемый для таргетирования помощи пациентам с определенными нуждами) отдавал приоритет белым пациентам, а не черным, поскольку стоимость врачебной помощи использовалась в нем в качестве показателя серьезности заболевания. Афроамериканцы обычно получали менее дорогостоящую медпомощь, поэтому алгоритм считал, что они нуждаются в медицинском внимании меньше, чем они нуждались на самом деле. Опасности таких условных оценок должны быть хорошо известны, но в стремлении к квантификации риски часто игнорируются или недооцениваются^[102].

Также диагностический ИИ может «заражаться» теми или иными предубеждениями. Врачи и специалисты по компьютерным наукам уже обеспокоены тем, что выявляющее меланому программное обеспечение будет хуже работать с меньшинствами, которые в тренировочных наборах данных обычно представлены малочисленнее^[103]. Если этот разрыв действительно скажется, у правовой системы возникнет проблема: можно ли будет поднять стандарт выявления больной кожи в целом до того уровня, который достигнут такими системами для основной этнической группы? Регуляторам нужно гарантировать доступность и применение более репрезентативных данных. В противном случае они могут закрепить уже существующее неравенство в предоставлении медицинской помощи.

Если регулирующие ведомства не смогут исправить эту ситуацию, судам понадобится решать, когда для данного проекта (такого, как выявление меланомы) необходимы дополнительные данные, а когда их просто «неплохо иметь» тем, кто способен купить медицинские услуги высшего уровня. Право, регулирующее врачебную ответственность, стремится дать пациентам гарантию того, что, если их врач не удовлетворяет стандарту медицинской помощи, к нему будет применено наказание, причем часть штрафа должна пойти на реабилитацию пациента^[104]. Если поставщикам услуг не удается применять достаточно репрезентативные наборы данных для разработки своих медицинских ИИ, судебные иски помогут вменить им в ответственность, чтобы каждый сумел воспользоваться ИИ в области здравоохранения (а не только те счастливчики, которые принадлежат к наиболее изученным группам).

Специалисты по данным иногда шутят, что ИИ – это просто хорошо разрекламированная форма статистики. Конечно, ИИ, спроектированный только для выдачи строго определенных предсказаний, основан на квантификации вероятности^[105]. Он представляет собой лишь один из многих шагов, сделанных за два последних десятилетия для модернизации медицины на основе обширного комплекса научных данных^[106]. Исследователи-медики ухватились за предсказательную аналитику, большие данные, искусственный интеллект, машинное и глубокое обучение, которые стали главными метафорами оптимизации эффективности систем. Работы в каждой из этих областей способны помочь регулирующим ведомствам выделять проблемные данные ИИ. Кроме того, критика ограничений самого ИИ (в том числе недостаточной воспроизводимости результатов, слабой валидности, чрезмерных притязаний и непрозрачных данных) также должна определять правовые стандарты^[107]. Основная идея здесь в том, что ключевая компетенция ИИ – предотвращение человеческих ошибок – теперь должна применяться и к тем людям, которые создают ИИ. Они обязаны нести ответственность, если не используют правильные данные и методы. В противном случае мы так и будем повторять ошибки в будущем, которое должно быть от них свободно.

Сегодня активисты разоблачают многие проблематичные наборы медицинских данных. Так, Кэролайн Криадо Перес доказала, что в многочисленных медицинских исследованиях и учебных материалах объектом исследования по умолчанию считается мужчина^[108]. Она замечает: «Женщины – это не просто маленькие мужчины: тела мужчины и женщины отличаются даже на клеточном уровне… [однако] пока сохраняется серьезный гендерный разрыв в данных, который требуется заполнить»^[109]. Перекосы в наборах данных становятся еще более непростительными, когда благодаря таким работам, как исследования Криадо Перес, они оказываются общеизвестными. Нам необходимо финансировать намного более качественный сбор данных, гарантируя применение в медицине честного и инклюзивного ИИ и заставляя разработчиков, врачей и больницы его использовать.

Четыре всадника безответственности

Благодаря давно начавшимся кампаниям по ограничению ответственности утвердилось общее сопротивление подобным обязанностям. При этом ИИ создает новые препоны отчетности, и не только в медицине. Футуристы анализируют ИИ, который действует по своему собственному разумению, без контроля со стороны разработчиков (или каких-то других людей). Проблема в том, как создатели или собственники столь многоцелевой технологии могут предсказать все возможные правовые проблемы, которые их ИИ может породить или с которыми он может столкнуться? Никто же не считает компанию Microsoft ответственной за письма с требованием выкупа, написанные в документе MS Word, который сам по себе является чистой доской. Также родители не отвечают за преступления своих совершеннолетних детей, являющихся независимыми личностями.

Когда ведущие разработчики ИИ утверждают, что не отвечают за свои творения, они пользуются метафорами одновременно «чистой доски» и «независимой личности». Но если учитывать десятилетнее исследование алгоритмической подотчетности, ни то, ни другое оправдание не может стать для таких фирм отговоркой. Сегодня нам известно, что алгоритмы могут повредить людям^[110]. Более того, юристы сражались с проблемой ошибочных действий компьютеров десятилетиями, по крайней мере со времен сбоев автопилота в 1950-х гг. и ошибок аппарата лучевой терапии Therac-25 в 1980-х гг. (когда сбой в программе вызвал фатальную передозировку радиации)^[111].

Тем не менее некоторые предложения могут существенно снизить роль судов в сфере ИИ, не позволяя им играть традиционную роль в определении виновных в халатности. Другие могут ударить по федеральным агентствам-регуляторам, оставляя судьям задачу определения компенсаций, соответствующих конкретным несчастным случаям. Даже если подобные правовые «реформы» так и не будут проведены, фирмы способны ограничивать свою ответственность или перекладывать ее благодаря недобросовестным условиям обслуживания, с которыми пользователи, подписывая контракты, «соглашаются». В конечном счете радикальные защитники свободы слова утверждают, что ИИ просто «говорит» о людях определенные вещи, а не делает им что-либо, и потому это случай свободы слова, защищенной от судебного преследования. Защитники этих четырех всадников безответственности-общего упреждения, радикального дерегулирования, широких оправдательных условий в договорах и оппортунистической апологии свободы слова – доказывают, что ИИ будет быстро развиваться только в том случае, если изобретатели и инвесторы будут свободны от угрозы судебного преследования.

Политики и стратеги, завороженные обещанием инноваций, возможно, хотели бы отбросить местные законы, чтобы предложить лидерам индустрии простую и совершенно понятную картину их юридических обязательств^[112]. Или они могут пользователям ИИ «дать право» отказываться от прав на судебное преследование. Это не что иное, как извращенный пример контрактной суверенности: мое право отказаться от моих прав будто бы повышает мою автономию. Менее противоречивое утилитарное обоснование состоит в том, что гражданам нужно отказаться от определенных прав, чтобы ИИ мог по-настоящему успешно развиваться.

Даже если защита от ответственности и в самом деле нужна для пришпоривания определенных инноваций, она не может быть абсолютной. Как отметила Венди Вагнер, гражданское судопроизводство является ключевым моментом предоставления информации, которая может быть недоступной регуляторам^[113]. Когда меры регулирования согласовываются на международном или национальном уровнях, возможность развивать собственные стандарты приемлемого риска, который несут новые технологии, должна быть предоставлена также и большему числу локальных организаций и ведомств^[114]. По мере развития точечного и ситуативного судопроизводства и регулирования представители более высокой инстанции получают ресурсы и время, необходимые для картографирования более общих трендов технологического развития и для запроса мнения экспертов. Например, американский Национальный комитет по статистике здравоохранения и актов гражданского состояния (с которым я подписал четырехлетний рабочий контракт в 2019 г.) предлагает политикам и стратегам экспертные консультации, связанные с тем, как оптимально собирать, анализировать и применять данные. Эти консультации играют критическую роль, поскольку в хорошо организованных обществах регуляторы участвуют в определении развития технологии (а не только реагируют на нее, когда она уже создана)^[115].

Кроме того, суды и законодательные органы должны с осторожностью относиться к оправдательным условиям договоров, ограничивая число случаев, когда потребители могут от своих прав отказаться. Часто судьи не желали признавать подобные условия в медицинском контексте, полагая, что пациенты уязвимы и что им недостает информации, необходимой для действительно информированного решения^[116]. Мы все находимся в похожей позиции уязвимости, когда дело доходит до большинства роботов и ИИ, поскольку мы почти никогда не разбираемся в данных и кодах, которые за ними скрываются. Даже в тех случаях, когда оправдательные пункты договоров допускаются, у судей все равно остается важная роль в решении тяжб о несправедливых условиях договора^[117]. Существуют также определенные типы оснований для предъявления иска, которые должны быть сохранены, на какие бы условия стороны договора ни были готовы согласиться.

Чтобы оценивать риски ответственно, и поставщикам, и потребителям нужна точная информация о данных, используемых в ИИ (входных данных), а также данные об эффективности (выходные данные). Никому нельзя позволять отказываться от своего права на изучение данных, когда ИИ причиняет ущерб^[118]. В следующем разделе описывается, как регулирующие ведомства способны помочь повысить качество как входных данных, используемых для инноваций в области ИИ, так и выходных данных подобных технологий.