Фрэнк Паскуале
Новые законы робототехники. Апология человеческих знаний в эпоху искусственного интеллекта

Кто будет учить обучающуюся систему медицинской помощи?

Раньше мы могли определять меланому как просто разновидность рака кожи. Однако сегодня это определение кажется таким же устаревшим, как отнесение пневмонии, бронхита и сенной лихорадки к одной категории «кашля». Персонализированная медицина поможет большему числу онкологов достичь более тонкого понимания определенного вида рака как, к примеру, определенного числа мутаций. Цифровые записи, если их правильно комбинировать, сравнивать и анализировать, могли бы указать, какие сочетания химиотерапии, радиоиммунотерапии, хирургии и облучения дают наилучший результат в случае данного подтипа рака. Такова главная цель «обучающихся систем медицинской помощи», которые разрабатываются для оптимизации медицинских вмешательств путем сравнения результатов естественных вариации в лечении^[119].

Для тех, кто мечтает о «Супер-Уотсоне», который не просто выиграет викторину Jeopardy, но и начнет управлять больницами, все это развитие представляется шагами по направлению к «поваренной медицине», реализованной на машинном уровне. Но кто знает, что нас ждет через сто лет. Пока же важно то, как все эти потоки данных интегрируются, сколько усилий прилагается к достижению этой цели, как относятся к участникам процесса и кто имеет доступ к результатам. Это сложные вопросы, но никто не должен сомневаться в том, что для жонглирования всеми этими данными потребуется квалифицированность и осторожность человека, а также серьезные юридические консультации, если учитывать сложные правила медицинской конфиденциальности и привлечения людей в качестве подопытных^[120].

Углубимся в радиологию: визуализация тканей развивается по-настоящему быстро. Мы наблюдали переход от рентгеновских лучей и ультразвука к радионуклидной визуализации и радиомике^[121]. Ученые и инженеры разрабатывают все более сложные способы выяснения того, что происходит внутри тела. Уже сегодня существуют миниатюрные камеры-таблетки, проглатываемые пациентом; представьте существенно меньшие версии тех же приборов, которые можно будет впрыскивать в кровеносную систему^[122]. Генерируемые таким образом потоки данных намного богаче всего, что у нас было раньше. Для интегрирования их с целью вынесения суждения о том, как скорректировать или полностью изменить схему лечения, потребуется креативное, несистематизи-руемое мышление. Рентгенолог Джеймс Тролл утверждал:

Данные в наших… информационных базах – это «тупые» данные. Обычно они анализируются по одному изображению или факту за раз, и именно индивидуальный пользователь должен интегрировать данные и извлечь из них операционный и концептуальный смысл. Главная задача ближайших 20 лет – превращение этих тупых данных из обширных, но разрозненных источников в знания, а также использование способности быстрой мобилизации и анализа данных для повышения эффективности наших рабочих процессов^[123].

Более полные результаты лабораторных исследований, новые, более качественные формы визуализации, генетический анализ и другие источники – все это надо будет сводить в единую картину состояния пациента и его болезни. Если использовать различие, введенное Саймоном Хедом, оптимизация медицинской реакции на новые объемы и разнообразие данных станет вопросом практики, а не заранее заданного процесса ^[124]. И диагностической рентгенологии, и инвазивной потребуется разбирать сложные случаи заново, и не просто как упражнения по сортировке.

Учитывая все доступные ныне потоки данных, можно было бы предположить, что рациональная политика в области здравоохранения должна углубить и расширить профессиональное образование рентгенологов. Но похоже, что в США эта сфера все больше сдвигается к коммодификации^[125].

Ирония в том, что за это в изрядной степени отвечают сами же рентгенологи; для того чтобы не работать по ночам, они стали заключать контракты с удаленными «совиными» службами, которые готовы просматривать изображения ночью^[126]. Это привело к тому, что изображения стали отдаваться на сторонний анализ и днем, что подтолкнуло обеспокоенные расходами медицинские организации искать наиболее дешевые рентгенологические услуги – даже если оптимальная медицинская практика требовала более тесного консультационного взаимодействия рентгенологов и других членов лечащей бригады, которое позволяет достигать клинических и исследовательских результатов. Государственные компенсационные программы также не смогли в должной мере подержать развитие рентгенографического ИИ^[127].

Специалистам по визуализации, сталкивающимся с новыми потоками данных, часто приходится принимать субъективные решения. В настоящее время хорошее частное и социальное страхование покрывает доступность рентгенологов, которые могут решать подобные задачи. Но можно ли представить мир, в котором людей заманивают более дешевыми страховыми планами, чтобы они могли получить «медицинские услуги прошлого года по прошлогодним ценам»? Конечно. Также мы можем представить то, что второй (или третий, четвертый, пятый) уровень медицинских услуг, скорее всего, станет первым, в котором будет практиковаться чисто автоматическая диагностика.

Те, кто находятся на верхнем уровне, будут рады итоговому снижению общих расходов на здравоохранение. Часто именно они являются налоговой базой, необходимой для расходов на незастрахованных людей. Но ни один пациент не является изолированным в обучающейся системе медицинской помощи. Так же как постоянное удешевление производства лекарственных препаратов привело в США к постоянному дефициту стерильных впрыскиваемых лекарств, лишение значительной части населения высокотехнологической медицинской помощи осложнит тем, у кого к ней есть доступ, понимание того, стоит ли ее вообще получать^[128]. Обучающаяся медицинская система может сделать удивительные открытия, если полный набор данных будет питать экспериментальные исследования, которые должны привести к созданию самых современных клинических инноваций. Чем меньше у людей доступа к таким инновациям, тем меньше возможностей у нас узнать, насколько хорошо они работают и как их можно усовершенствовать. Разделение услуг на разные уровни поможет преодолеть сегодняшний кризис расходов, который наблюдается в медицине, но в то же время оно замедлит выгодный каждому прогресс медицины в будущем. Следовательно, существует верхняя траектория движения к передовым достижениям в медицинском ИИ, на которой главным является доступ для каждого к медицинской помощи все лучшего и лучшего качества, и, с другой стороны, экономная нижняя траектория, когда главное – это попросту воспроизведение того, что мы уже имеем. Врачи, руководители больниц, инвесторы будут двигаться по верхней, нижней или по какой-то промежуточной траектории. А их решения, в свою очередь, определяются изменениями в медицинском законодательстве, а также социальным общеполитическим ландшафтом.

Рассмотрим, к примеру, противоречия между традицией и инновацией в законодательстве о врачебной ответственности. Когда что-то идет не так, врачей судят на основе стандарта, который в общем и целом определяется тем, как в то же самое время работают другие врачи. Поэтому вероятность ошибок некоторых врачей пугает, заставляя их придерживаться конформистских и традиционных практик. С другой стороны, угроза судебного преследования может ускорить переход к очевидно более качественной практике. Ни один врач сегодня не может просто прощупать опухоль и сказать, злокачественная она или доброкачественная. Обычно берутся образцы тканей, проводятся консультации с патологами, выполняется экспертный анализ ткани. Если методы ИИ-диагностики станут достаточно развитыми, само их неприменение станет врачебной ошибкой.

С другой стороны, передовая автоматизация может не достичь нужного уровня, если некая третья сторона (государство или страховщики) откажется за нее платить. Страховщики часто пытаются ограничить покрываемый их планами спектр медицинских услуг. Группы, защищающие права пациентов, сражаются за обязательные льготы. Сторонники сокращения бюджета сопротивляются, а когда они добиваются успеха, у систем здравоохранения нет другого варианта действий, кроме как отвергнуть дорогостоящую новую технологию.

Также имеют значение другие схемы регулирования. Медицинские советы определяют минимальный приемлемый уровень опытности врачей. В США центры по обслуживанию Medicare и Medicaid участвуют в определении условий выпуска медицинских специалистов из высших учебных заведений, поддерживаемых субсидиями. При хорошем финансировании они могут сотрудничать с биоинженерами, специалистами по компьютерным наукам и статистиками. При плохом финансировании они будут и дальше производить слишком много врачей, которые ничего не знают о статистике, необходимой для качественного выполнения их актуальных рабочих обязанностей, не говоря уже о критической оценке новых ИИ-технологий^[129].

Право – это не просто дополнительный набор препятствий, которые нужно преодолеть, а уж потом инженеры получат свободу и смогут вылечить любые человеческие болезни. Основная причина роста занятости в здравоохранении как отдельном секторе в последнее десятилетие состоит в том, что определенные правовые нормы наделили значительные группы населения покупательной способностью, не зависящей от их богатства или заработной платы. При благоприятном раскладе такие нормы будут направлять развитие систем медицинской помощи в сторону постоянных инноваций и совершенствования.

На кого работает ваше терапевтическое приложение?

Несмотря на все проблемы, поджидающие диагностику рака и других телесных заболеваний методами ИИ, мы можем быть уверены в том, что в этих областях такая технология будет играть значительную и постоянно растущую роль. Врачи и исследователи могут прийти к согласию об оптимальных стандартах эффективности и постепенно усовершенствовать машины, которые смогут распознавать больше заболеваний и выполнять больше процедур. Но проблемы становятся запутаннее, когда от физического мы переходим к психическому здоровью, для которого требуется еще большее участие человека.

Людей, страдающих душевными заболеваниями (как и другие уязвимые группы), часто посылают к автоматическим системам. В Арр Store компании Apple и Android Market Google можно найти множество приложений, которые утверждают, что они помогают улучшить психическое здоровье. Есть приложения для депрессии, тревожности, аддикции и фобий, все они предлагают некий успокоительный или подбодряющий интерфейс, а иногда и не только. Когда такие приложения выписываются терапевтом или другим специалистом, они и в самом деле могут быть полезны. Например, люди, пытающиеся вылечиться от наркотической зависимости, могут при помощи подобных приложений записывать свои пристрастия, связывать возвращение к употреблению наркотиков с определенными триггерами и получать подсказки или советы. Однако когда приложения становятся более автономными и независимыми от экспертов, могут возникнуть серьезные проблемы.

Порой приложения не способны выполнить базовые терапевтические обязанности. Журналисты выяснили, что один ИИ-терапевт не стал предупреждать власти, когда участница его испытаний написала о том, что она ребенок, страдающий от сексуальных домогательств в семье^[130]. Квалифицированные специалисты знают об обязанности сообщать о подобных случаях, тогда как технологи, которые учились «быстро решать проблемы», возможно, не имеют о них никакого представления. Появляется все больше непроверенных и даже опасных приложений, которые создают угрозу для здоровья тех, кто нуждается в более компетентной медицинской помощи^[131]. Политика обмена данными в таких приложениях часто несовершенна или однобока, а потому могут встречаться нарушения правил конфиденциальности, которых обычно придерживается терапевт^[132]. Американское Управление по контролю за качеством пищевых продуктов и медикаментов (FDA) отказалось от своих обязанностей в этой сфере, практически перестав регулировать такие приложения, после нескольких предупреждений от членов Конгресса, которые заявили, что финансирование агентства может быть урезано, если оно станет мешать инновациям. Похоже, ни одна другая инстанция не занимается действительно реальным обеспечением безопасности и эффективности в этой области^[133].

Это попустительство подкрепляется экономическими стимулами. Дешевые приложения психического здоровья – настоящий подарок для систем здравоохранения, которые стремятся во что бы то ни стало снизить расходы, например, для британской Национальной системы здравоохранения (NHS). Медицинские власти в Британии стали использовать библиотеку приложений NHS для рекомендаций специальных приложений тем, кто страдает от депрессии и тревожности. К сожалению, по данным исследования, представленного в журнале Evidence Based Mental Health, истинную клиническую ценность большинства приложений «определить невозможно»^[134]. Только два из изученных приложений применяли проверенные количественные параметры. Также совершенно неясно, могут ли цифровые заменители недоступных специалистов по психическим болезням соответствовать стандартам, в том числе конфиденциальности, которые ожидаются от людей, предлагающих медицинские услуги^[135]. Эта обеспокоенность, которая становится все более острой в сфере цифровых ассистентов, будет еще более выраженной в области медицинской помощи, где подобные проблемы доверия особенно значимы^[136].

За этой проблемой тоже стоит история. Технологические решения, нацеленные на быстрые результаты, часто могут развиваться по непредсказуемой траектории. Опасные патентованные средства десятилетиями соблазняли доверчивую публику, что привело к некоторым печальным результатам^[137]. Особенно такие препараты были привлекательны для тех, кто не мог попасть к врачу, и точно так же приложения психического здоровья сегодня рекламируются тем, кто не может попасть к терапевту, ведь это «лучше, чем ничего». Недавно Конгресс исключил диетические добавки из списка препаратов, регулируемых FDA, создав «Дикий Запад» сомнительных «естественных снадобий»^[138]. Эффективность этих субстанций по большей части не доказана. Неудивительно, что дерегулирование искажает подобным образом цифровую диагностику и цифровую терапию.

Давняя история терапевтических программ позволяет лучше понять сегодняшний перенасыщенный рынок ИИ-консультаций. Специалист по компьютерным наукам из MIT Джозеф Вейценбаум разработал одну из наиболее известных программ, ELIZA (названную по имени Элизы Дулитл из «Пигмалиона», поскольку программа копировала речевые паттерны пользователей). Этот чат-бот, один из первых, подражал психотерапевту школы Роджерса. В статье 1966 г. Вейценбаум привел следующий пример беседы между пользователем и программой:

Пользовательница: Все мужчины одинаковы.

ELIZA: В ЧЕМ?

П.: Вечно они донимают нас то тем, то другим.

Е.: МОЖЕТЕ ЛИ ВЫ ПРИВЕСТИ КОНКРЕТНЫЙ ПРИМЕР?

П.: Ну, например, мой друг заставил меня прийти сюда.

Е.: ВАШ ДРУГ ЗАСТАВИЛ ВАС ПРИЙТИ СЮДА?

П.: Он говорит, что я почти все время чем-то подавлена.

Е.: МНЕ ПРИСКОРБНО СЛЫШАТЬ, ЧТО ВЫ ЧЕМ-ТО ПОДАВЛЕНЫ.

Поначалу Вейценбаум очень гордился своим творением. Он показывал его и преподавателям, и техническому персоналу MIT. Пользователи часто «секретничали» с программой, притом настолько часто, что Вейценбаум вскоре прекратил работу над этим проектом, опасаясь, что из-за него люди начнут отказываться от других, более содержательных форм терапевтической работы^[139]. Учитывая навязчивое стремление современных технократов от здравоохранения сократить во что бы то ни стало расходы, эта обеспокоенность оказалась пророческой. В эпоху «покупок, ориентированных на реальную ценность» приложение за 2,99 долл. может показаться безусловно привлекательной заменой психиатру.

Защитники приложений, возможно, заявят, что не стоит вспоминать об ELIZA, ведь за последние полвека получила развитие намного более совершенная технология. Однако в большинстве топовых приложений психического здоровья, с которыми имеет дело потребитель, по-прежнему используется простой текстовой интерфейс. Весьма популярное приложение Woebot разработано для автоматизации определенных приемов когнитивно-поведенческой терапии. Woebot начинает разговоры с пользователем достаточно ненавязчиво, отслеживая их с помощью простых дихотомических ответов. Например, в начале разговора Woebot пишет: «Мои данные, основанные на исследовании в Стэндфордском университете, показывают, что людям требуется около 14 дней на то, чтобы научиться разговаривать со мной и начать себя лучше чувствовать». Пользователь не может задать критические вопросы, в частности: «Какое исследование в Стэнфорде? Сколько в нем было участников? С чем работала контрольная группа?». Два допустимых ответа, которые я увидел, когда сам тестировал это приложение, сводились к следующим: «Хорошо» или «Гм…». Подобные бинарные ответы постоянно используются в приложении, дисциплинируя пользователя.

Для человека, привыкшего к тестам со многими вариантами ответов, простым телефонным играм вроде Candy Crush и бинарным реакциям «нравится/не нравится» в сетях Facebook, Instagram и Twitter, кнопки ответов в Woebot могут быть приятным продолжением безболезненного цифрового дрейфа. Они снимают с человека задачу по объяснению себя самого, по формулировке разумного ответа, как и решение о том, как относиться к собеседнику – со скепсисом или доверием. Тем, кто уже страдает депрессией, это может принести облегчение.

Но существует метод лечения – его обычно называют лечением разговором, – в котором формулировка высказываний как раз и считается главным смыслом консультирования, а не чем-то, чего требуется избегать^[140]. Распространение терапевтических приложений грозит вытеснить лечение разговором и заменить его бихевиористическими подходами, которые просто пытаются оборвать, заглушить или оспорить негативные мысли, а не исследовать их контекст и конечные причины. Когда приложения психического здоровья управляются узкоспециализированным ИИ, они пользуются утилитаристским подходом к пациентам, представляющим их проблемы в качестве помехи производительности, и в то же время его закрепляют^[141].

Конечно, эти опасения возникли еще десятилетия назад, когда появились психотропные препараты^[142]. Критики доказывали, что пациентам лучше изучать более глубокие причины своих проблем, чем пытаться отделаться от них за счет лекарств^[143]. Но в этом случае, по крайней мере, эксперт, прежде чем начать лечение, высказывает свое мнение. Слишком многие терапевтические приложения пренебрегают даже такой предосторожностью, выходя прямо на рынок, где они доступны пациентам.

Другая линия критики связана с уязвимостью пользователей, которые могут пострадать от недобросовестной манипуляции, которой занимаются неизвестные силы^[144]. Рассмотрим, к примеру, терапевтическое приложение, «лечащее» работника, который недоволен временем, проводимым им на работе. Работник чувствует, что ему недоплачивают или что его недостаточно ценят, и свое недовольство он формулирует в приложении. На такую проблему можно дать несколько возможных ответов. Например, приложение может заставить проявлять настойчивость, подталкивая работника к тому, чтобы он потребовал прибавки. С другой стороны, оно же может предписать созерцательную покорность своей судьбе, поощряя его ценить все то, что у него уже есть. Или оно может занять позицию подчеркнутой нейтральности, пытаясь углубиться в причины беспокойства работника. Попробуйте догадаться, какой ответ такое приложение должно было бы выдать работнику по мысли работодателя. Специалисты служат определенным буфером, позволяющим устранить подобные конфликты интересов. Они могут выступать более нейтральными интерпретаторами заболеваний, с которыми к ним обращаются, чем приложения или ИИ, управляемые третьими сторонами, будь то работодатели, страховщики или государства^[145].

Предсказательная аналитика работает лучше всего, когда есть ясные и точно определенные параметры успеха. Но в случае проблем с психическим здоровьем есть множество способов определять проблемы и искать решения. Различные коммерческие модели могут склонять к разным определениям ментального заболевания и выбора его лечения. Бесплатное приложение, работающее за счет рекламы, не обязательно оптимизирует «время пребывания» пользователя в приложении, но оно может манипулировать им иначе, что необходимо для его продвижения. Рассказы человека о своем собственном благополучии могут быть

бесспорной базовой истиной, на основе которой нужно мерить ценность приложений^[146]. Однако само понятие благополучия колонизировано корпорациями и государством, которые связали его с более объективными показателями, такими как производительность^[147]. В процессе подобной колонизации был потерян смысл обозначения эмоций как «форм суждения», если воспользоваться удачным термином Марты Нуссбаум^[148]. Они рискуют стать еще одним объектом максимизации с применением цифровой «сомы», поставляемой быстро растущей «индустрией счастья»^[149].

И академические ученые, и активисты указывали на проблематические предубеждения врачей и других поставщиков медицинских услуг^[150]. Движение за алгоритмическую ответственность в медицине должно будет действовать и дальше – критиковать и исправлять предубеждения и иные проблемы, способные отяготить медицинскую помощь с компьютерным компонентом. Лучшая структурная защита – следить за тем, чтобы большая часть приложений разрабатывалась для усиления интеллекта ответственных специалистов, а не в качестве замещающего их ИИ^[151]. Также в развитии гуманистических (а не бихевиористических) приложений психического здоровья должны играть свою роль и многие другие аспекты медицинского законодательства и программ развития (в частности, нормативы лицензирования и программы компенсации)^[152].