Денис Соломатин
Искусственный интеллект от А до Б

Введение

Основательное знакомство автора с технологиями искусственного интеллекта (ИИ) началось со вполне осязаемого желания автоматизировать рабочую рутину. В частности, для автоматизации учета студенческой посещаемости аудиторных занятий возникла идея использования системы компьютерного зрения с распознаванием образов. Весь собранный из разрозненных интернет-источников материал, необходимый для решения этой и многих других творческих задач, представлен в настоящем обзоре. Затронем психологические, этические и юридические аспекты разработки и применения систем искусственного интеллекта. Охватим исторический период бурного развития соответствующих идей начиная с первых языковых моделей 1950-х годов, когда это еще не было мейнстримом. Приведём серии конкретных примеров простейших реализаций фундаментальных принципов построения нейронных сетей в MATLAB. По прочтении книги прийдет четкое понимание того, как происходит поиск серии любимого сериала по вольному описанию в голосовой колонке, почему ИИ с легкостью докажет рациональность любого числа и тут же не моргнув светодиодом передокажет его иррациональность, а главное, зачем всё это внедряется повсеместно.

Психологические основы интеллекта

Начнём с азов. А как мы, собственно, понимаем, что мы что-то вдруг понимаем или делаем вид, когда что-либо поняли? Различные объяснения и интерпретации в сфере разработки искусственного интеллекта возникают не на пустом месте. В этой главе мы поймём, что интерпретируемость и объяснимость являются принципиально разными требованиями к системам машинного обучения. Чтобы доказать это, мы выполнили обзор научных публикаций по экспериментальной психологии, относящейся к интерпретации (особенно числовых стимулов) и пониманию. Оказывается, интерпретация относится к способности контекстуализировать выходные данные модели таким образом, чтобы связать их с разработанным функциональным назначением системы, а также целями, ценностями и предпочтениями конечных пользователей. В отличие от этого, объяснение относится к способности точно описать механизм или реализацию, которая привела к данным на выходе алгоритма, часто для того, чтобы алгоритм мог быть улучшен каким-либо образом. Помимо этих определений, наш опыт показывает, что люди отличаются друг от друга систематическими способами, которые влияют на степень, в которой они предпочитают принимать решения, основанные на подробных объяснениях, а не на менее точных интерпретациях. Эти индивидуальные различия, такие как личностные черты и навыки, связаны с их способностью извлекать значимые интерпретации из точных объяснений выходных данных модели. Последнее означает, что вывод системы должен быть адаптирован к различным типам пользователей. Эта глава опирается на научную литературу по информатике, системной инженерии и экспериментальной психологии, чтобы лучше определить концепции интерпретируемости и объяснимости для сложных инженерных систем. Мы уделяем особое внимание системам на основе искусственного интеллекта и машинного обучения (AI/ML).

Зачем же определять интерпретируемость и объяснимость? Мы сосредоточились на этих терминах из-за их актуального значения для внедрения алгоритмов машинного обучения, на что указывает несколько прагматических моментов, требующих алгоритмического вывода для предоставления объяснений или интерпретаций пользователям, которые могут значительно отличаться друг от друга с точки зрения их целей, образования или личностных качеств. Например, в современных экономических реалиях физические и юридические лица, подающие заявки на получение кредита, должны получать уведомления о причинах, по которым кредитор принял неблагоприятные решения по заявке или по существующему кредиту. Активно внедряются системы помощи потребителям и предприятиям путем обеспечения прозрачности процесса вычисления кредитного рейтинга и защиты от потенциальной кредитной дискриминации. Как следствие, возникают требования к кредиторам объяснить причины принятия неблагоприятных мер. Поэтому кредитор должен раскрыть основные причины отклонения заявки или принятия других неблагоприятных мер и точно описывать факторы, которые фактически учитываются или оцениваются кредитором.

Кроме того, желательно, чтобы системы искусственного интеллекта предоставляли людям, о которых собираются данные, право получить разъяснения по поводу решения, принятого после такой оценки, и оспорить это решение.

Параллельно с попытками решить социальные проблемы, крупные международные инвестиционные кампании попытались определить требования к проектированию, которые инженеры и специалисты по информатике могли бы принять, чтобы определить, являются ли их системы интерпретируемыми или объяснимыми. Например, Доши-Велес и Ким определяют интерпретируемость модели как систему машинного обучения, обладающую «способностью объяснять или представлять результат в понятных для человека терминах». Аналогичным образом, Сингх определяет объяснение с помощью ML-модели как «набор визуальных и/или интерактивных артефактов, которые предоставляют пользователю достаточное описание поведения модели для точного выполнения таких задач, как оценка, доверие, прогнозирование или улучшение модели». Гилпин с соавторами утверждают, что хорошее объяснение возникает, когда разработчики моделей или потребители «больше не могут спрашивать почему» в отношении некоторого поведения модели машинного обучения. Наконец, Рудин определяет интерпретируемую модель машинного обучения как модель, которая «ограничена в своей форме таким образом, что она либо полезна для кого-то, либо подчиняется структурным знаниям предметной области, таким как монотонность, причинность, структурные (генеративные) ограничения, аддитивность или физические ограничения, которые проистекают из знаний предметной области». В отличие от этого, она определяет объяснимую модель машинного обучения как «вторую (постфактумную) модель, которая создается для объяснения первой модели черного ящика».

Хотя эти определения определяют интерпретируемость и объяснимость как характеристики моделей машинного обучения, они указывают на важные факторы, которые выходят за рамки традиционного дизайна интеллектуального продукта: понятия простоты, полезности для потребителя, человеческого понимания, причинно-следственного вывода, взаимодействия со знаниями предметной области, контентом и контекстом, а также социальной оценки (например, надежности).

Эти определения, хотя и локализованы для моделей машинного обучения, могут быть продуктивно основаны на десятилетиях исследований по экспериментальной психологии, которая рассматривает интерпретируемость и объяснимость как психологические конструкты. Ключевой вывод заключается в том, что интерпретация и объяснение являются различными психологическими процессами, характеризующимися различными ментальными представлениями. Вопрос о том, можно ли интерпретировать или объяснить результат, зависит от пользователя. Разработчик ИИ в любом случае должен спросить себя: «Объяснимо или интерпретируемо для кого?». Несмотря на то, что термины «интерпретируемость» и «объяснимость» часто используются как взаимозаменяемые, особенно в литературе по информатике, основной тезис заключается в том, что интерпретируемость и объяснимость являются разными понятиями.

Интерпретация относится к способности человека придавать смысл или извлекать смысл из данного стимула (например, выходных данных модели машинного обучения), чтобы человек мог принять решение. Интерпретации – это простые, но содержательные «суть» ментальные представления, которые контекстуализируют стимул и используют фоновые знания человека. Суть – это простое, но продуктивное представление стимула, которое, тем не менее, фиксирует существенные или значимые различия, необходимые пользователям для принятия обоснованных и проницательных решений. Таким образом, интерпретируемая модель должна предоставлять пользователям описание того, что стимул, такой как точка данных или выходные данные модели, означает в контексте. При этом он позволяет человеку достичь понимания, определяя ценности, цели и принципы, которые, в свою очередь, позволяют принимать решения на высоком уровне.

В то время как люди полагаются на простые, неточные сведения для принятия решений, модели машинного обучения полагаются на программные процессы стенограммы для создания прогнозов. Объяснения представляют собой относительно подробные ментальные представления, которые стремятся описать механизмы, лежащие в основе.

Например, исходный обучающий набор данных может содержать записи о почасовом выпадении осадков на ближайшем пляже. Эта обученная модель затем используется для создания прогнозов на основе новых оценочных данных, таких как распределение вероятностей по количеству дождя, которое посетитель пляжа может ожидать в определенный час. Эти прогнозы и другие выходные данные модели затем предоставляются человеку в качестве стимула. Человек кодирует стимул в множество ментальных представлений. Дословное представление представляет собой подробное символическое представление стимула, такое как графическое представление распределения вероятностей по количеству осадков в час. Параллельно с этим люди используют свои базовые знания для кодирования осмысленной интерпретации сути стимула. Например, простой категоричной сутью может быть различие между «практически нет вероятности дождя» и «некоторая вероятность дождя». Кроме того, люди с соответствующими знаниями могут быть в состоянии изучить форму модели, чтобы определить, как она пришла к своему выводу. Например, метеоролог, обладающий знаниями в предметной области, может изучить коэффициенты уравнений временных рядов модели и распознать их как указание на приближающийся холодный фронт. Затем человек принимает решение (например, идти на пляж или нет) на основе комбинации этих представлений. Например, человек, не обладающий техническими знаниями, может посмотреть на стимул и определить, что вероятность дождя практически равна нулю, что заставит его пойти на пляж (поскольку пляж без дождя – это весело, а пляж с небольшим дождем – это не весело, а веселиться – это хорошо). С другой стороны, человек, обладающий знаниями в области метеорологии и науки о данных, может распознать признаки приближающегося холодного фронта и понять, что дождь не является пренебрежимо малой возможностью, что заставит его выбрать другой вид деятельности.

Объяснение результата модели – это описание того, как был получен результат модели. Таким образом, объяснения стремятся описать процесс или правила, которые были применены для достижения результата, не зависящего от контекста. Как правило, объяснения бывают подробными, техническими и могут быть причинно-следственными. Например, объяснение может быть процедурой, описывающей, как модель достигла своего результата. Таким образом, объяснения обычно больше подходят для технических специалистов, которые могут полагаться на обширные базовые знания для выполнения задач отладки.

Хотя они не обязательно являются дословными процессами сами по себе, объяснения, таким образом, ближе к дословным ментальным представлениям, чем интерпретации. В то время как интерпретация стремится придать смысл стимулу, представленному человеку-субъекту, объяснение стремится описать процесс, который породил результат. Таким образом, объяснение выходных данных алгоритма оправдано относительно реализации или технического процесса, который был использован для создания конкретного результата. В отличие от этого, интерпретация оправдана относительно функционального назначения алгоритма.

Пояснения к алгоритмам машинного обучения могут предоставить подробную информацию о том, как алгоритм выполняет известный набор требований. В отличие от этого, интерпретации оправдывают эти реализации с точки зрения функционального назначения системы. Например, целью классификатора метода опорных векторов является сопоставление точек данных с дискретными классами, задача, которая должна быть обоснована с точки зрения полезности классификации для человека, принимающего решения, например, если бы этот классификатор использовался для распределения резюме соискателей по категориям, основанным на заслугах, в процессе собеседования. Затем качество классификации будет оцениваться в соответствии с требованиями этого процесса собеседования – классификатор, который является предвзятым (например, который делает классификации на основе категорий, не основанных на заслугах, таких как возраст, раса, этническая принадлежность и т.д.) или который имеет высокий процент ошибок, будет считаться плохим классификатором, потому что он не соответствует своему функциональному назначению. В отличие от этого, объяснение того, почему было принято то или иное решение о классификации, обычно оправдано по отношению к его реализации. Например, при вопросе о том, каким образом конкретный кандидат на вакансию был классифицирован как «не отвечающий требованиям», необходимо искать объяснение в терминах деталей алгоритма, например, что алгоритм выбрал набор профилей кандидатов как «минимально приемлемый», т.е. они были опорными векторами на основе данных обучения, и что квалификация этого конкретного кандидата в целом уступают тем референтным кандидатам. Еще более подробное объяснение повлекло бы за собой изучение конкретных значений математических параметров, таких как веса регуляризации алгоритма, чтобы понять, как были объединены конкретные атрибуты и как были выбраны опорные векторы.

Как правило, объяснения и интерпретации являются различными ментальными представлениями, которые одновременно и параллельно кодируются в сознании пользователей системы. Кроме того, пользователи отличаются друг от друга степенью, в которой они хотят и могут использовать свои собственные базовые знания для интерпретации подробной технической информации. По сути, интерпретируемые системы не должны предоставлять больше деталей, чем это необходимо для принятия последовательного решения, при этом предоставляемая информация должна быть обоснована с точки зрения функционального назначения системы. В отличие от этого, объяснимые системы предоставляют детализированные механизмы, лежащие в основе того, как определенная реализация генерирует определенный результат, независимо от того, что этот результат означает для лица, принимающего решение. Объяснение стремится воспроизвести решение более детально, в то время как интерпретация стремится передать итоговый смысл.

Приведенные выше определения предполагают, что эффективность интерпретаций и объяснений может различаться у разных людей, и действительно, мы рассмотрим примеры, показывающие, что так происходит систематическим образом. То есть, аудитории для этих различных типов выходных данных, скорее всего, будут различаться, так что разработчики, которым не хватает знаний в предметной области, смогут использовать подробное механистическое объяснение, чтобы убедиться, что их проект соответствует конкретному функциональному требованию (например, определенному целевому показателю точности), но могут не понимать последствий этого требования для пользователей-людей. В отличие от этого, пользователи, которым не хватает опыта в машинном обучении, но которые обладают знаниями в предметной области, скорее всего, сочтут эти подробные механистические объяснения запутанными, предпочитая простое описание выходных данных модели в терминах конструкций, с которыми они знакомы. Наконец, разработчик со знанием предметной области часто может использовать этот объединенный опыт, чтобы осмыслить подробное механистическое объяснение с точки зрения его конечного варианта использования, тем самым гарантируя, что алгоритм выходит за рамки механических требований и наилучшим образом удовлетворяет потребности пользователя.

Распутывание объяснимости – можно ли описать механистическое описание того, как система сделала конкретный прогноз – от интерпретируемости – может ли человек извлечь смысл из выходных данных системы для конкретного случая использования – может стать основой для устойчивых и надежных стандартов для объяснимого и интерпретируемого проектирования систем машинного обучения, и должно позволить разработать стандарты, которые изолируют технические особенности проектирования от конкретной функциональности системы Требования. Это, в свою очередь, должно позволить разработчикам сегментировать процесс проектирования таким образом, чтобы системные требования могли быть определены на соответствующем уровне абстракции. Кроме того, мы ожидаем, что более точные определения этих терминов позволят в конечном итоге разработать метрики для обеспечения соответствия этим стандартам, что позволит создать согласованную политику регулирования искусственного интеллекта, которая будет способствовать инновациям и укреплению общественного доверия.

Приведём наглядный пример: заявки на аренду. Приложения машинного обучения для аренды недвижимости в последнее время привлекли негативное внимание из-за опасений по поводу потенциально дискриминационных инцидентов и потенциальных нарушений конфиденциальности данных. В этих обстоятельствах алгоритмическая интерпретируемость может способствовать прозрачности, помогая пользователям лучше понять, почему было принято то или иное решение.

Например, рассмотрим алгоритм, который рекомендует отклонить претендента на аренду. Алгоритм будет делать это определение на основе семейства математических моделей, соответствующих обучающим данным, с последующей оценкой выходных данных модели, сгенерированных из дополнительной точки данных, представляющей случай заявителя. Интерпретация рекомендации алгоритма позволит контекстуализировать точку данных, представляющую заявителя. Человек будет использовать свои базовые знания для создания этого контекста. Например, оценщик может прийти к выводу, что заявитель представляет опасность, основываясь на отсутствии у заявителя истории аренды. В отличие от этого, модель машинного обучения будет использовать комбинацию обучающих данных и модели, выбранной алгоритмом машинного обучения (включая любые связанные источники смещения). В этом случае алгоритм может связать длинную историю аренды с успехом и, следовательно, классифицировать заявителя с короткой историей, представляющим финансовый риск. Как будет рассмотрено ниже, человеческие интерпретации отличаются от алгоритмических тем, что первые гибкие, а вторые имеют тенденцию быть хрупкими. Важно отметить, что обе интерпретации оправданы относительно более высокоуровневой конструкции – «истории аренды», которая контекстуализирует решение относительно знаний предметной области. Кроме того, эти выходные данные предоставляют пользователю полезную информацию. Решение проблемы заключается не в том, чтобы изменить реализацию алгоритма, а в том, чтобы заявитель установил историю аренды. Для того, чтобы понять смысл этого вывода, заявителю не нужно иметь никакого опыта работы в AI или ML; скорее, они должны обладать достаточным опытом в предметной области, чтобы понять, почему история аренды является важным индикатором утверждения (ниже мы обсудим, как интерпретируемость может варьироваться в зависимости от опыта в предметной области).

В отличие от этого, объяснение результатов работы того же алгоритма будет начинаться с замечания о том, что заявителю было отказано, а затем пытаться ответить на вопрос о том, как было принято такое решение. Например, в пояснении может быть указано, что алгоритм был обучен с использованием классификатора логистической регрессии с определенными значениями коэффициентов. Учитывая точку данных заявителя, можно затем вставить значения в уравнение логистической регрессии, сгенерировать вероятность успеха модели для заявителя, а затем наблюдать, что она ниже порога принятия решения. Это объяснение не обязательно подчеркивает конкретную роль истории аренды, но человек-аналитик, имеющий доступ к этому уравнению и обладающий опытом для его интерпретации, может заметить, что наибольшим предельным вкладом в решение алгоритма является история аренды. Точно так же человек, которого попросят объяснить причинно-следственную причину, может дать причинно-следственное объяснение («Ваша заявка была отклонена, потому что у вас нет истории аренды. Люди без истории аренды подвергаются более высокому риску, потому что у них нет опыта своевременной оплаты аренды, и потому что у нас нет никаких доказательств их ответственности. Как правило, мы предпочитаем сдавать в аренду людям с достоверной историей платежей»). Однако, как мы обсудим ниже, люди, и особенно эксперты в предметной области, регулярно нарушают такие причинно-следственные правила при вынесении суждений. Возможно, это связано с тем, что они способны распознавать необходимые исключения с помощью образованной интуиции (однако те же самые процессы могут быть источником систематической предвзятости, если лежащая в ее основе интуиция необразованна или неприменима по иным причинам).

Другой наглядный пример: медицинский диагноз. Как и приложения для аренды, медицинская диагностика является областью, в которой высказываются опасения по поводу алгоритмической дискриминации, что требует прозрачности и, следовательно, интерпретируемого ИИ. Рассмотрим систему искусственного интеллекта, предназначенную для выработки рекомендаций по назначению антибиотиков при инфекциях верхних дыхательных путей. Для простоты мы снова предположим, что эта модель реализована с помощью классификатора логистической регрессии с двумя классами, соответствующими рекомендациям по назначению антибиотиков и против них. Наконец, с учетом данных, передаваемых в систему, предположим, что модель определила, что вероятность того, что у пациента есть бактериальное заболевание, составляет 5%-10%. Затем система предоставит врачу, выписывающему лекарство, стимул – рекомендацию не назначать лекарство.

Пояснение к этой рекомендации будет относиться к реализации модели. Например, система может перечислить коэффициенты модели логистической регрессии и значения всех переменных модели (есть ли у пациента боль в горле, боль при глотании, лихорадка, красные и опухшие миндалины с белыми пятнами или прожилками гноя, крошечные красные пятна на нёбе, увеличенные лимфатические узлы в передней части шеи, кашель, насморк, охриплость голоса или конъюнктивит). Учитывая эти коэффициенты, система могла бы далее объяснить, что, когда мы умножаем коэффициенты на значения переменных, а затем суммируем результат, совокупная вероятность того, что болезнь является бактериальной, составляет 5-10%, что указывает на то, что «нет ни дальнейших испытаний, ни антибиотиков». На этом объяснение заканчивается.

В отличие от этого, интерпретация рекомендации системы будет ссылаться на простые, категориальные представления относительного риска, а затем связывать их со значениями. Например, могут применяться следующие значения: когда пациент болен, выздоровление – это хорошо, в то время как болезнь остается плохим исходом. Кроме того, неприятные побочные эффекты плохи (они заставят пациента чувствовать себя хуже), и никакие побочные эффекты не являются хорошими. Наконец, ненужное назначение способствует устойчивости к антибиотикам, потенциально причиняя вред другим (плохо), в то время как отсутствие назначения не оказывает никакого влияния на других. Учитывая эти значения, система будет утверждать: 1) вероятность того, что антибиотики помогут, практически равна нулю; 2) антибиотики, в случае их назначения, могут привести к неприятным побочным эффектам; 3) использование антибиотиков, когда в них нет необходимости, может нанести вред другим, указывая на то, что «Никаких дальнейших испытаний и антибиотиков».

Несмотря на эти рекомендации, есть несколько причин, по которым опытный врач может назначить антибиотики в этих обстоятельствах. Например, эксперт может признать, что пациент особенно восприимчив к бактериальной инфекции, или просто сделать стратегический выбор, основанный на сути, что «лучше перестраховаться, чем потом сожалеть».

Хотя интерес к объяснимому искусственному интеллекту (ИИ) восходит к развитию экспертных систем в 1980-х годах, объяснимость в последнее время вновь стала желательным требованием для современных сложных систем ИИ/МО. В значительной степени это связано с распространением таких систем в обществе и из-за все более сложных и ресурсоемких алгоритмов, иногда обученных на терабайтах данных, которые развертываются для решения реальных проблем.

Это развитие не является уникальным для ИИ, скорее, оно является следствием все более сложного внедрения технологий во все аспекты жизни общества. Несмотря на то, что наше внимание здесь ограничено вычислительными технологиями и особенно технологиями машинного обучения, эти разработки являются частью более широкой тенденции, которая распространяется на все области технологий. Повсеместное внедрение встроенных вычислений ускорило эту тенденцию. Редко можно найти технологию, которая не имела бы какой-либо вычислительной составляющей – от обучающих термостатов до вынесения решений по кредитному рейтингу и заявлений на визу. Эти технологии также требуют нескольких различных типов знаний для надлежащего регулирования. Во-первых, необходимы технические знания, чтобы понять, как работают эти технологии, и, поскольку технологии настолько сложны, эти знания ограничены относительно небольшим числом людей, в то время как число людей, на жизнь которых это напрямую влияет, значительно выросло. Тем не менее, многие виды экспертизы актуальны. Например, оценка правовых последствий технологий AI/ML требует глубокого знакомства с соответствующими областями права. Аналогичные опасения могут относиться к оценке финансового кредита, рассмотрению заявлений о приеме на работу, вопросам политического и социального равенства и другим этическим проблемам. Таким образом, недостаточно опросить экспертов в определенной области. Для эффективной оценки и, следовательно, регулирования интерпретируемых и объяснимых систем ИИ требуется объединение экспертных знаний из разных областей, которые традиционно не взаимодействовали.

Можно ожидать, что темпы этой тенденции к усложнению систем будут ускоряться. Эта эволюция основных технологических тенденций была задокументирована движением «Инженерные системы». Начавшись в начале 2000-х годов, это движение признало, что технологии и современное общество тесно переплетены и что темпы технологических и социальных изменений требуют, чтобы дизайн сложных систем был адаптирован с учетом того, что эти ученые назвали «недугами». Объяснимость и интерпретируемость являются «недостатками» и сопряжены с аналогичными трудностями, связанными с их измерением. «Недуги» исторически были подвержены проблемам как многозначности, что означает, что одни и те же термины часто используются для описания различных концепций, так и синонимии, означающей, что разные термины иногда относятся к одному и тому же основополагающему конструкту. Кроме того, эти термины влекут за собой значительную социальную составляющую, которую невозможно отделить от основных ценностей пользователей, дизайнеров и лиц, принимающих решения. Наконец, «недуги» имеют сильную политическую составляющую, потому что их нельзя изучать в отрыве от их воздействия на общество, и особенно на уязвимые группы населения. Таким образом, попытки определить объяснимость и интерпретируемость в искусственном интеллекте сопоставимы с проблемами, с которыми сталкиваются ученые, изучающие другие сложные инженерные системы, для которых определения абстрактных, но важных понятий, таких как гибкость, устойчивость и т. д., сильно зависят от социальных оценок. Два десятилетия исследований в этой области показали, что эти крайне абстрактные требования может быть трудно измерить стандартным способом из-за их крайне чувствительной к контексту и социально обусловленной природы. Тем не менее, их важность оправдывает задачу установления стандартов, которые были бы достаточно гибкими, чтобы быть гибкими в различных контекстах.

Определения интерпретируемости и объяснимости, предложенные выше, основаны на десятилетиях эмпирических исследований в области экспериментальной психологии. Опираясь на эту обширную литературу, мы проводим различие между интерпретацией – процессом извлечения значения из стимула (например, результата модели) – и объяснением – процессом создания подробного описания того, как был достигнут результат. Мы утверждаем, что связь между принятием решений человеком и алгоритмическим принятием решений аналогична различным уровням ментальной репрезентации. Индивидуальные различия между людьми также последовательно предсказывают, какие люди предпочитают полагаться на эти различные представления при принятии последовательных решений, особенно о том, как использовать числовую информацию.

Интерпретируемое машинное обучение призвано помочь людям создавать интерпретации данных и выходные данные модели. Таким образом, мы рассматриваем литературу по психологии человека, относящуюся к тому, как люди получают интерпретации из стимулов, и особенно количественных. Ведущая теория в этой области, теория нечетких следов, утверждает, что люди кодируют стимулы в несколько ментальных представлений одновременно и параллельно. Эти ментальные представления отличаются друг от друга по уровню точности, при этом люди предпочитают полагаться на наименее точное представление, которое все же делает значимое различие при принятии решения.

Люди склонны принимать решения, основываясь на простейшем из этих представлений – интерпретации сути стимулов. Люди могут кодировать несколько смыслов с различными уровнями точности, формируя иерархию смыслов. В отличие от этого, алгоритмы следуют только механическим дословным процессам при составлении прогнозов. Люди также кодируют дословные ментальные представления, которые являются просто подробными представлениями самого стимула (например, исходными выходными данными системы). Эти различные уровни ментальной репрезентации стимула кодируются одновременно и параллельно. Более того, эти представления могут конкурировать друг с другом или основываться друг на друге, внося свой вклад в процесс принятия решений человеком.

Ментальные представления иерархичны по своей природе, и люди предпочитают принимать решения на основе наименее точного, часто категоричного представления стимула. Тем не менее, эти категории проводят значимые различия. Например, для чисел эти категориальные представления часто принимают форму простых контрастов, таких как «некоторый» и «никакой» величины. Причина тому видится в категорическом различии между «некоторыми» и «никакими», что является одной из самых основных сущностей. В этих обстоятельствах люди опираются на свои предыдущие знания при принятии этих решений. Например, рассмотрим набор моделей машинного обучения, предназначенных для обнаружения вредоносного поведения в Интернете. Платформа социальных сетей может использовать этот классификатор для автоматического удаления учетных записей, которые нарушают Условия предоставления услуг платформы. Специалист по информатике, оценивающий эти классификаторы, может заметить, что классификатор k-ближайшего соседа (kNN) имеет точность 52,4% в этой задаче двоичной классификации, и определить, что у него «практически отсутствует» точность прогнозирования (где 50% – это производительность случайного подбрасывания монеты). Примечательно, что эта оценка требует некоторых базовых знаний: 1) что существует только два класса; 2) что классы сбалансированы в обучающей выборке. В отличие от этого, точность двух других моделей будет выше по сравнению. И то, и другое будет иметь «некоторую» точность. В этом случае он исключил бы классификатор kNN. Однако эти сутью не просто просты – они еще и проницательны. Например, наивный байесовский классификатор имеет точность 26,7%, что, хотя и является наименьшим значением, также должно быть классифицировано как имеющее суть «некоторой точности», поскольку специалист по информатике поймет, что для двоичных классификаторов точность 26,7% эквивалентна точности 73,3%, если просто инвертировать метки классов. В противоположность этому, новичок, применяющий дословные правила, не будет разделять это понимание и может ошибочно полагать, что наивный байесовский классификатор менее прогностический, чем классификатор kNN.

При принятии решения люди должны опираться на числовые значения, чтобы определить, какая категория в бинарной паре лучше. Здесь некоторая точность – это хорошо, а отсутствие точности – это плохо. Эти двоичные валентности хранятся в долговременной памяти и составляют часть того, что человек привносит в процесс оценки.

Несколько вариантов могут иметь одну и ту же суть. Например, все модели классификаторов, кроме kNN, имеют «некоторую» точность. В данном случае категориальные классификации не делают значимых различий и поэтому не могут помочь в принятии решения. Чтобы различить эти классификаторы, можно использовать более точный уровень ментального представления. Классификатор логистической регрессии имеет «большую точность», чем другие классификаторы. "Больше" против "меньше" – это фактически порядковый номер. Однако эта суть полезна при выборе модели только при наличии одной метрики оценки. На практике модели машинного обучения можно оценивать с помощью нескольких метрик. Например, наивная байесовская модель имеет более высокую полноту, но меньшую точность, тогда как модель логистической регрессии имеет более высокую точность, но меньшую полноту. Таким образом, эти модели не могут быть ранжированы по этим измерениям, используя только порядковый номер.

Как правило, практикующие специалисты пытаются свести эти множественные метрики к одной метрике для сравнения. Процесс получения этих составных, точных метрик требует механического применения математических правил. Например, можно полагаться на составную метрику, такую как F1-оценка (т.е. гармоническое среднее точности и запоминаемости). В этом примере классификаторы логистической регрессии и наивного Байеса имеют одинаковые значения F1, что означает, что люди (или алгоритмы), полагающиеся на это дословное правило, будут безразличны между ними. Напротив, Метод опорных векторов имеет самый высокий балл F1 из трех моделей.

Означает ли это, что метод опорных векторов является лучшей моделью? Несмотря на то, что люди кодируют несколько уровней представления параллельно, мы предпочитаем принимать решения на основе имеющегося опыта, когда это возможно. Эти параметры не являются произвольными, а соответствуют значимым различиям. В случае моделей машинного обучения мы используем эти модели для достижения цели. В приведенном выше примере классификатор использовался для выявления вредоносного поведения в Интернете. В контексте этой задачи имеет смысл отдавать предпочтение точности, а не запоминанию и аккуратности, поскольку последствия ложноотрицательного результата значительно хуже, чем последствия ложноположительного. Новичок может слепо применить это правило и таким образом выбрать метод опорных векторов. Однако эксперт-человек не обязательно будет это делать. Учтите, что метод опорных векторов имеет точность 100% – «идеальный результат». Хотя кто-то, полагающийся на дословное представление, например, неопытный студент, может решить, что это наилучший возможный показатель точности, опытный специалист по моделированию поймет, что такое высокое значение может быть индикатором проблемы в реализации алгоритма. Например, можно достичь идеальной точности, если правильно классифицировать лишь очень небольшое число случаев. Соответствующая суть была бы "слишком хороша, чтобы быть правдой". Как описано выше, классификатор kNN может быть исключен, потому что он не имеет точности, которая, независимо от точности, является проблематичной. Таким образом, эксперт-человек может полагаться на порядковый номер для выбора модели с «лучшей» точностью – модели логистической регрессии – потому что контекстуальные подсказки указывают на то, что две другие модели уступают функциональному назначению, т. е. цели задачи машинного обучения. Исследования, основанные на теории нечетких следов, показали, что модели, которые подчеркивают суть, например, отображают выходные данные таким образом, чтобы пользователи могли сделать значимые выводы, вызывают большее доверие, уверенность и понимание, в этом случае ИИ будто потакает своему реальному собеседнику. Это подразумевает четкую цель проектирования для проектировщиков систем машинного обучения, которых интересует интерпретируемость – вывод системы должен передавать суть.

Один из ключевых принципов теории нечетких следов заключается в том, что люди кодируют множественные ментальные представления. В то время как интерпретации – это ментальные репрезентации, которые сообщают о новых категориальных инсайтах, объяснения – это подробные ментальные репрезентации, которые сообщают о механизмах реализации, приведших к определенному результату.

Некоторые теории объяснения подчеркивают важность вывода «причинно-следственной цепи», ведущей к выходу конкретной модели. Обзор объяснений в человеческом познании, сделанный Ломброзо, также указывает на то, что каузальные структуры являются одним из факторов, способствующих объяснимости. Например, Хоффман и Кляйн связывают объяснение с каузальным выводом, особенно утверждая, что люди объясняют вещи, создавая перспективные (т.е. предсказательные) каузальные объяснения и подчеркивая пробел в литературе вокруг этого конкретного типа объяснения, вместо этого утверждая, что большинство предыдущих работ было сосредоточено на физической причинности и ретроспективной причинности. Хоффман с соавторами описывает предыдущую работу по выделению различных структур причинно-следственных цепей, относящихся к событиям по всему миру, а Кляйн развивает эту тему, утверждая, что причинно-следственные сети могут и должны быть основой для передачи объяснений. Наконец, Хоффман подчеркивает роль исследования в формировании каузальных объяснений, дифференцируя глобальные и локальные объяснения, которые согласуются с ментальными моделями пользователей, и подчеркивая потребность локальных объяснений в контрастивных или контрфактических подходах; неявно помещая причинно-следственные структуры в центр объяснения. Согласно этим ученым, объяснение по своей сути является каузальной ментальной моделью.

Эти утверждения подкрепляются обширными предыдущими работами в области психолингвистики и нарративного мышления, особенно в юридической сфере. В нескольких предыдущих работах в области психолингвистики подчеркивалась роль построения каузальной структуры в создании «ситуационной модели», т.е. структурированного ментального представления данного текста. Аналогичная иерархия может быть построена и для выходных данных ML-модели.

Причинно-следственные связи относятся к числу наиболее важных (хотя, конечно, не единственных) типов выводов, которые извлекаются из повествовательных текстов читателями, стремящимися понять текст. Кроме того, исследования в области психолингвистики определили причинно-следственную связность повествования как ключевой фактор, определяющий понятность истории. Несмотря на то, что было выявлено несколько измерений связности повествования, в литературе существует консенсус о том, что когерентные нарративы позволяют читателям строить модели причинно-следственных ситуаций описываемых событий. Можно было бы ожидать, что пользователям, стремящимся понять или объяснить выходные данные модели, будут помогать когерентные причинно-следственные объяснения, как система пришла к определенному выводу.

Такая интерпретация подкрепляется обширным объемом работ по ментальным моделям, в которых изучается, как технические эксперты представляют сложные системы и принимают решения по ним. Несмотря на то, что полный обзор этой литературы выходит за рамки данной статьи, ученые сходятся во мнении, что ментальные модели «представляют (воспринимаемую) причинно-следственную динамику явления», тем самым помогая людям делать прогнозы. Таким образом, литература, которая стремится получить причинно-следственные описания функционирования сложных систем, согласуется с классическими теориями ментальных моделей. Наконец, эти каузальные представления также широко используются в юридическом обосновании. Например, «модель истории» принятия решений присяжными заседателями обычно предполагает, что присяжные совместно конструируют причинно-следственную историю в отношении фактов судебного дела, и что эти причинно-следственные связи затем сопоставляются с вердиктами. Подобные методы построения «когнитивных карт» были применены в таких разнообразных областях, как политология и проектирование электростанций. Таким образом, несколько областей независимо друг от друга пришли к одному и тому же выводу – что постижение механизмов облегчается структурированной причинно-следственной моделью. Тем не менее, эти области также согласны с тем, что применение этих механизмов к реальным проблемам должно выходить за рамки причинно-следственных рассуждений. В модели истории присяжные должны сопоставлять структуру истории со знаниями о вердиктах. В литературе по ментальным моделям иерархия абстракций Расмуссена широко применялась для демонстрации случайности каузальных представлений по функциональному назначению. Наконец, в литературе по постижению нарратива причинно-следственные структуры существуют на нескольких уровнях, с несколькими подструктурами. Кроме того, наиболее значимые уровни в этих подструктурах взаимодействуют с другими элементами повествования, связанными с предпочтениями или персональными целями. Важно отметить, что в каждом из этих случаев более поздние исследования документально подтвердили, что причинно-следственные объяснения интерпретируются до принятия решения. Помимо абстракционной иерархии Расмуссена, которая применяется к каузальным ментальным моделям, исследователи в области правовой аргументации обнаружили, что суммы, присуждаемые в качестве компенсации за судебные вердикты, зависят от категориальных и порядковых контекстуальных сигналов, которые позволяют присяжным сравнивать суммы до значимой точки отсчета.

Таким образом, хотя можно подумать, что осмысленная интерпретация является следствием однозначного или иного точного объяснения, теоретики нечетких следов показали, что различные ментальные представления кодируются параллельно. Это означает, что ментальная репрезентация, которая дает интерпретацию, может отличаться от ментальной репрезентации, дающей объяснение, и наоборот. Как будет обсуждаться в следующих разделах, выбор ментальной репрезентации, на которую следует опираться, также является функцией индивидуальных различий в навыках и личностных чертах. Осмысленные интерпретации и механистические объяснения часто не вытекают друг из друга или из точных стенографических данных. Выбор ментальной репрезентации, на которую опирается человек, также является функцией индивидуальных различий в навыках и личностных качествах.

Люди отличаются друг от друга систематическим образом. Некоторые из этих различий являются вопросом мастерства. Например, профессиональный специалист по информатике с многолетним опытом обучения наделен набором навыков, которые сильно отличаются от навыков профессионального ученого-юриста. Люди с соответствующими навыками могут предпочесть полагаться на более точные уровни ментальной репрезентации, если у них есть способность их обрабатывать. Например, «умение считать» – математические способности – позволяет людям осмысливать сложные числовые данные, такие как проценты и дроби, так что они менее подвержены статистической предвзятости при принятии решений. Аналогичным образом, в контексте машинного обучения обнаружилось, что пользователи с образованием в области компьютерных наук (и особенно с докторской степенью) с большей вероятностью согласятся с тем, что система полезна и заслуживает доверия, если они понимают, как работает система. И наоборот, те, кто обладает более соответствующими базовыми знаниями, были лучше способны извлекать суть из нарративов с плохо определенными причинно-следственными структурами. Эти процессы интерпретации связаны с экспертизой в предметной области – отличительной чертой обработки сущности.

Другие различия связаны с чертами характера. Например, некоторые люди предпочитают полагаться на свои «интуитивные чувства», то есть на свои интуитивные суждения, при принятии решения, в то время как другие предпочитают участвовать в обширных размышлениях. Тест на когнитивную рефлексию является мерой этой черты (хотя она также коррелирует со счетом и интеллектом), и исследователи обнаружили, что люди с высоким уровнем когнитивной рефлексии менее восприимчивы к предубеждениям при принятии решений, которые противостоят интуитивным и совещательным способам мышления (например, хорошо известный «эффект фрейминга»). Аналогичным образом, шкала потребности в познании измеряет предпочтения испытуемых в отношении умственных усилий. Например, известны описывания доказательства модели повествовательного понимания, в которой закодировано несколько уровней ментальной репрезентации, причем некоторые читатели предпочитают использовать стратегии построения когерентности, полагаясь на трудоемкое чтение «близкого к тексту», а те, кто использует более интерпретативную стратегию, которая находится «дальше» от текста. Исследователи обнаружили, что люди с высокими интеллектуальными показателями с большей вероятностью решат несколько рискованных задач, по-видимому, потому, что они прилагают усилия, чтобы заметить сходства или противоречия между различными задачами с похожей структурой. Это объяснение этих результатов подкрепляется доказательствами того, что внутрисубъектные сравнения стимулов могут привести к тому, что испытуемые будут подвергать цензуре основные реакции при обнаружении противоречий, тем самым побуждая испытуемых сосредоточиться на более детальных характеристиках. Аналогичным образом, исследования показали, что некоторые люди испытывают трудности с определением того, являются ли модели «честными» или «справедливыми» – обе категориальные суть – абстрактно (т.е. без важного контекста), и вместо этого сравнивают эти объяснения с предыдущим опытом или со второй системой, что позволяет проводить порядковые сравнения («более честные/справедливые» против «менее справедливых/справедливых»). По этой причине Миттельштадт и его коллеги утверждают, что модели должны быть контрастными, чтобы облегчить интерпретируемость. Тем не менее, эти авторы также стараются подчеркнуть, что такие контрастивные объяснения часто упускают важный контекст, т.е. они стимулируют зависимость от вырванных из контекста дословных представлений.

Вышеприведенное обсуждение подразумевает, что не существует единого критерия интерпретируемости или объяснимости, применимого ко всем людям. Тем не менее, может существовать мера, которая может быть определена относительно ожидаемого распределения навыков и личностных черт для каждой целевой аудитории. Поэтому будущая работа должна быть сосредоточена на характеристике этих факторов в сообществах пользователей.

Выше мы заявили, что большинство людей рассуждают, помнят и предпочитают полагаться на менее точные представления при принятии решений. Эта опора на суть-репрезентацию является особенностью развития человеческого познания: по сравнению с неспециалистами, эксперты с большей вероятностью полагаются на выборочную репрезентации в своих областях компетенции. Таким образом, теория нечетких следов проводит различие между механическим знанием – дословным воспоминанием фактов или ассоциаций – и проницательным опытом. По сравнению с новичками, эксперты лучше могут извлечь суть, или наиболее актуальную информацию, и игнорируют менее значимые детали. Поэтому эксперты разработали интуитивные категориальные представления стимулов, которые являются простыми, но мощными и позволяют им принимать решения. Например, инженеры космической отрасли полагаются на категориальные определения «затратно» или «бесплатно» при принятии решений о запуске грузовых миссий, в то время как опытные врачи полагаются на категориальные определения риска, отражающие разумный стратегический выбор, который учитывает очень низкую вероятность, но не пренебрежимо малую вероятность того, что пациенту может потребоваться антибиотикотерапия, при лечении очень больных пациентов, которым могут потребоваться антибиотики.

Теория нечетких следов выходит за рамки альтернативных теорий, которые можно найти в литературе по искусственному интеллекту и психологии.

Несколько предшествующих теорий можно разделить на две большие группы: теории схем и ассоциативные теории. Теории схем утверждают, что люди используют структуры данных более высокого уровня, называемые «схемами» или «фреймами», которые навязывают «нисходящую» структуру воспоминаниям и опыту, придавая смысл мировым стимулам и, таким образом, навязывая предубеждения. В противоположность этому, ассоциативные теории предполагают, что значение возникает «снизу вверх» из часто наблюдаемых паттернов, которые одновременно встречаются в мире. Вместо того, чтобы осмыслить эти закономерности совместного возникновения, ассоциационистские теории утверждают, что значение является просто функцией статистической регулярности. Еще в 1983 году Альба и Хашер обнаружили, что человеческая память обладает характеристиками как схематических, так и ассоциационистских теорий. Тем не менее, элементы обеих моделей также неоднократно фальсифицировались, а это означает, что ни схематические, ни ассоциационистские теории не могли объяснить все экспериментальные результаты.

Теория нечетких следов объясняет эти противоречивые выводы основным теоретическим различием между сущностными и дословными ментальными представлениями, которые закодированы отчетливо, но параллельны (сущностные представления не являются производными от дословных представлений). Хотя люди предпочитают полагаться на зыбкие смыслы, они также кодируют и, следовательно, могут распознавать дословные представления. В отличие от них, алгоритмы являются дословными по самой своей природе. Таким образом, люди, работающие вместе с алгоритмами машинного обучения, могут получить лучшее из обоих миров, применяя структурированные фоновые знания, основанные на сути, для интерпретации алгоритмических выходных данных, основанных на ассоциациях.

Ключевая конструкция теории нечетких следов, суть, также выходит за рамки других теорий, которые полагаются на интуитивное суждение. Исследовательская парадигма «эвристики и предубеждения» также признает роль интуиции в поведении человека, но считает интуитивные суждения примитивными и, следовательно, связанными с плохим принятием решений. Эта традиция указывает на рутинные нарушения человеком статистических данных и аксиом принятия решений в качестве доказательства этого утверждения. Тем не менее, развитая образованная интуиция часто приводит к лучшим результатам, даже когда эксперты могут достичь этих результатов по причинам, которые внешний наблюдатель может счесть «неправильными». Например, опытный врач может принять правильное решение о том, как лечить пациента по результатам анализов, даже если его математические расчеты относительно числовых вероятностей, которые он присваивает различным результатам лечения, могут быть неверными. Действительно, основные представления сложных проблем позволяют экспертам принимать решения, основанные на контексте, основанном на обширных базовых знаниях. Такой контекст позволяет экспертам при принятии решений сосредоточиться на сути информации, пренебрегая менее важными особенностями, которые не дают понимания. Таким образом, представления сути, когда они основаны на экспертных знаниях, основаны не только на механическом упрощении, но и на глубоких упрощениях, которые имеют значение для лиц, принимающих решения.

Свидетельства в пользу теории нечетких следов показывают, что эта теория является как научно экономной, так и обладает большей предсказательной точностью, чем теория кумулятивных перспектив – ведущая теоретическая теория в традиции эвристики и предубеждений – которая, тем не менее, не может объяснить ключевые экспериментальные эффекты, которые объясняет теория нечетких следов.

Натуралистическое принятие решений, еще одна ведущая концепция, которая особенно популярна в литературе по инженерии человеческих факторов и сильного ИИ, утверждает, что люди опираются на свой предыдущий опыт для распознавания закономерностей, которые, в свою очередь, управляют решениями. Как натуралистическое принятие решений, так и теория нечетких следов признают роль интуиции в улучшении процесса принятия решений; однако решения, основанные на интуиции сути, не являются просто «решениями, основанными на распознавании», как это утверждается в традиции натуралистического принятия решений. Скорее, контекстные сигналы (например, когда испытуемых поощряют думать о проблеме с медицинской или статистической точки зрения) могут влиять на уровень ментальной репрезентации, а это означает, что распознавание не гарантирует, что решение будет основываться на интуиции эксперта. В то время как распознавание является механической дословной стратегией (теоретизированной ассоциационизмом), основные представления привносят фоновые знания, контекстуализируя сценарии таким образом, чтобы они имели смысл, и, следовательно, предоставляя понимание человеку, принимающему решения. На самом деле, обширная литература показывает, что люди могут распознавать как суть, так и дословное представление параллельно, и все же предпочитают полагаться на суть при принятии решений.

Таким образом, обширная литература поддерживает утверждение о том, что теория нечетких следов является более экономной и более предсказательной, чем конкурирующие теоретические подходы о роли интерпретации в суждениях и решениях. Эти результаты применимы как к текстам, которые можно найти в области юридического обоснования, так и к числовым стимулам, таким как в области инженерии или сгенерированным моделями машинного обучения.

В приведенном выше обсуждении подчеркивается, что интерпретируемость и объяснимость являются функциями пользователя, сценария использования и других контекстуальных факторов, в той же мере, в какой они являются функциями используемой системы. Тем не менее, психометрические свойства пользователей, как правило, не находятся под контролем дизайнеров. В этой статье мы обсудим современное состояние объяснимых алгоритмов ИИ и то, как можно спроектировать системы для повышения интерпретируемости и объяснимости.

В то время как люди генерируют несколько ментальных представлений параллельно, алгоритмы «поверхностного обучения» генерируют одну модель или распределение моделей из одного математического семейства при представлении набора данных – дословный процесс. Помимо поверхностного обучения, некоторые методы машинного обучения действительно генерируют несколько представлений. Например, ансамблевое обучение – это процесс, в ходе которого генерируется несколько моделей, а затем в конечном итоге агрегируется для формирования одной гипотезы. Однако эти модели не отличаются друг от друга по уровню точности – они просто применяют разные семейства математических операторов к одному и тому же набору признаков. В отличие от этого, многозадачные алгоритмы обучения стремятся воспроизвести гибкость человеческих представлений о сути, обучая модель генерировать общее представление нескольких стимулов из разных областей, тем самым обеспечивая «дальнюю передачу». В случае успеха эти модели могут обучаться более абстрактным представлениям, которые внешне похожи на основные представления; тем не менее, они по-прежнему генерируют только одну модель. Наконец, глубокие нейронные сети генерируют несколько представлений набора данных; однако они делают это, выводя абстрактные представления из более конкретных представлений, в то время как люди кодируют эти представления одновременно и параллельно, а это означает, что люди не получают более простых интерпретаций из более детальных представлений.

В недавнем всестороннем обзоре литературы о вычислительных подходах к объяснимому ИИ отмечается, что для специалистов по информатике понятия интерпретируемости и объяснимости «тесно связаны». Эти авторы утверждают, что «непреложные системы объяснимы, если их действия могут быть поняты людьми». Несмотря на то, что объяснимость и интерпретируемость иногда используются как взаимозаменяемые в литературе по информатике, в этом обзоре приводятся данные, подтверждающие утверждение о том, что «в сообществе машинного обучения термин «интерпретируемый» используется чаще, чем «объяснимый»», особенно по сравнению с использованием этих терминов широкой публикой. В соответствии с изложенными выше психологическими определениями, этот вывод может указывать на то, что производители продуктов ИИ более способны интерпретировать выходные данные этих систем, поскольку они обладают специализированными базовыми знаниями. Действительно, Бхатт и др. утверждают, что это различие может скрывать разницу в целях проектирования этих групп пользователей: разработчики алгоритмов обычно ищут объяснения, чтобы они могли отлаживать или иным образом улучшать свои алгоритмы, и поэтому они могут разрабатывать объяснимые инструменты ИИ для этой цели. Таким образом, объяснение обычно понимается специалистами по информатике как указание на то, как вычислительная система пришла к определенному выводу или сгенерировала его. Хорошее объяснение часто является причинно-следственным и оправданным по отношению к реализации системы – например, «алгоритм смещен в сторону отказа в визе, потому что данные обучения несбалансированы». Такого рода объяснения весьма полезны для отладки этих сложных систем, но только в том случае, если пользователь обладает соответствующими базовыми знаниями и техническими знаниями для этого. Например, приведенное выше объяснение приведет к тому, что разработчик соберет более сбалансированные данные и переобучит алгоритм, но не предложит конечному пользователю немедленного действия, за исключением, возможно, отказа от использования алгоритма.

Большая часть работы в области объяснимого искусственного интеллекта направлена на то, чтобы помочь разработчикам определить простые механические дословные связи между входами и выходами с целью помочь им сделать вывод о потенциальных причинно-следственных механизмах. Например, парадигма важности локального признака может быть наиболее популярным способом взаимодействия практиков с техническими объяснениями. Этот подход направлен на то, чтобы объяснить, как небольшие изменения в конкретных элементах могут привести к изменениям в конкретных выходных данных модели.

Локальные интерпретируемые модельно-независимые объяснения, – один из ведущих алгоритмов, использующих парадигму важности локальных признаков, стремится «объяснить поведение любого классификатора или регрессора верным образом, аппроксимируя его локально с помощью интерпретируемой модели… представляя текстовые или визуальные артефакты, которые обеспечивают качественное понимание взаимосвязи между компонентами экземпляра (например, словами в тексте, пятнами на изображении) и прогнозом модели». Такой подход может помочь разработчикам понять, как изменения в отдельных признаках могут повлиять на выходные данные модели вокруг конкретного прогноза. В той степени, в которой эти выводы обобщают и основаны на значимых признаках, они могут помочь разработчикам сделать вывод о причинно-следственных механизмах модели; однако эти подходы также могут ввести в заблуждение, если они становятся подверженными ложным корреляциям. Этот классификатор, по-видимому, фокусируется на свойствах автора (например, на том факте, что он является выходцем из академического учреждения, на что указывает .edu в его адресе электронной почты) и конкретных стилометрических характеристиках (например, использование слов «иметь» и «там»), а не на словах, которые могут указывать на содержание.

При этом данный подход обращает внимание пользователей на конкретные функции, которые модель использует для создания конкретного прогноза, тем самым связывая конкретный выход с упрощенным представлением модели, которая сгенерировала этот результат. Например, классификатор, разработанный для определения разницы между волками и лайками, классифицировал конкретное изображение на основе наличия снега на заднем плане (а не на основе анатомических особенностей, которые на самом деле отличают эти два вида). Специалист по обработке и анализу данных, обладающий соответствующими знаниями в предметной области, сможет использовать эту информацию для изменения или иной отладки этой ошибочной классификации.

Таким образом, этот процесс имеет некоторое сходство с представленным выше определением объяснения, однако есть и важные отличия. Во-первых, описанный метод не предоставляет пользователю объяснение модели как таковой, а скорее предоставляет пользователям упрощенную модель, которая приближается к более сложной модели, которую пытается объяснить алгоритм. По сути, этот метод заменяет сложное, причинно-следственное описание внутренней работы модели более простым описанием другой модели, результаты которой коррелируют только с исходной моделью. Например, не предоставляя никакой информации о том, что нарисован, волк или хаски, классификатор будет делать точные прогнозы на изображениях, на фоне которых нет снега.

Авторы этого подхода утверждают, что упрощенные модели (например, регрессионные модели с небольшим числом коэффициентов) по своей сути более интерпретируемы, потому что они «обеспечивают качественное понимание между входными переменными и реакцией». Хотя эта цель в целом согласуется с определением сути в теории нечетких следов, при обучении фиксирует мнение эксперта о том, какие признаки с наибольшей вероятностью следует обобщать. Такие методы, могут помочь людям в создании этих представлений, и действительно, предварительные эксперименты, по-видимому, предполагают, что люди могут использовать эти методы для удаления признаков, которые мешают точности прогнозирования, т.е. они могут создать лучший классификатор, и что небольшая выборка людей с опытом в области науки о данных (и, в частности, знакомство с концепцией ложной корреляции) могли бы использовать ограниченные знания для получения более точных объяснений.

Другой подход исходит из предпосылки, что «лучшим объяснением простой модели является сама модель», и поэтому пытается представить сложные модели с помощью более простых моделей. Таким образом возвращая оценки важности для каждого объекта, которые аналогичны коэффициентам регрессии. Для данного прогноза оценки показывают, в какой степени любая из этих функций повлияла на этот прогноз.

Хотя и с возможностью обобщения на более крупный класс моделей машинного обучения. Эти модели являются дословными в самом конкретном смысле – они выводят набор правил (оценки важности признаков), которые могут быть применены в механическом порядке для создания постфактум описания желаемого прогноза. Однако они не связывают причинно-следственные механизмы и подвержены неизвестным ошибкам, поскольку модель применяется за пределами локальной окрестности конкретного прогноза. Отдельные люди, являющиеся субъектами исследования, такие как информированные специалисты, которые имеют желание и возможность глубоко изучить эти результаты, могут использовать свои собственные базовые знания для создания объяснения, но это не предоставляет достаточно информации, чтобы помочь этим специалистам выяснить, когда модель больше не применима. По сути, методы предоставляют пользователям только стимул, который они затем должны объяснить или интерпретировать, в то время как настоящие модели «черного ящика» даже не предоставляют этого стимула.

В то время как разные подходы стремятся объяснить сложные модели с помощью регрессионной парадигмы (т.е. линейной аддитивной функции), объяснимые нейронные сети используют более общую формулировку, основанную на «аддитивной модели индекса». Здесь алгоритм стремится вернуть функцию, описывающую, как прогнозы модели изменяются при изменении отдельных параметров (или, в последнее время, пар параметров). Эти модели могут помочь специалистам по обработке и анализу данных при соответствующем обучении понять, как изменение конкретного признака может изменить прогноз модели, хотя и с риском вывода о ложных корреляциях. Эти подходы особенно широко применяются к моделям глубоких нейронных сетей, в которых одна нейронная сеть используется для упрощенного представления другой, а затем отображается в виде таблицы, аналогичной дисперсионному анализу, показывающей основные эффекты и, в некоторых случаях, двусторонние взаимодействия.

Тем не менее, описанный подход не лишен ограничений: объяснения, которые аналитики могут сделать из применения этих инструментов, могут сами по себе основываться на ложных корреляциях или могут порождать ложную уверенность в предсказаниях моделей, выходящих за рамки непосредственной окрестности точки данных, которую модель пытается объяснить. Хуже того, эти вводящие в заблуждение объяснения могут быть сфабрикованы противниками, стремящимися извлечь выгоду из склонности людей приписывать причинно-следственную связь там, где ее нет.

Градиентно-взвешенное отображение активации классов – это метод, предназначенный для объяснения моделей компьютерного зрения, использующих архитектуры глубокого обучения (в частности, сверточные нейронные сети – в настоящее время самая современная архитектура для компьютерного зрения). В частности, метод «использует градиенты любого целевого понятия (скажем, «собака» в сети классификации или последовательности слов в сети подписей), перетекающих в конечный сверточный слой, для создания грубой карты локализации, выделяющей важные области изображения для прогнозирования понятия». Метод использует преимущества многоуровневой архитектуры для определения тех областей изображения, которые наиболее диагностически для конкретного прогноза. Например, выходные данные могут привлечь внимание пользователя к той части изображения, которая является диагностической для конкретного прогноза, который пользователь хочет объяснить. Это визуальная версия парадигмы важности признаков, где признаки представляют собой ансамбли определенных пикселей с несколькими соответствующими преимуществами и ограничениями.

Рудин подверг резкой критике методы, направленные на создание простых объяснений сложных моделей, утверждая, что они могут запутать фактическую внутреннюю работу этих моделей таким образом, что это введет в заблуждение лиц, принимающих решения, и аналитиков. Модели, которые являются локально точными, не предоставляют информации о степени этой точности или о том, является ли ее снижение плавным или внезапным. Вместо того, чтобы пытаться аппроксимировать более сложные модели более простыми, Рудин утверждает, что более простые модели следует использовать напрямую, потому что они более «интерпретируемы» (т.е. учеными данных), особенно когда ставки высоки. Обоснование этого подхода заключается в том, что специалисты по обработке и анализу данных, по крайней мере, могут понять внутреннюю работу модели.

Масштабируемые байесовские списки правил. Списки байесовских правил Скалабале являются одним из примеров метода, направленного на то, чтобы избежать усложнения модели. В отличие от описанных выше методов, которые стремятся обеспечить непрерывное представление сложных моделей, масштабируемые байесовские списки правил явно не пытаются конкурировать с классификаторами «черного ящика», такими как нейронные сети, методы опорных векторов, градиентный бустинг или случайные леса. Это полезно, когда инструменты машинного обучения используются в качестве помощи в принятии решений людям, которым необходимо понимать модель, чтобы доверять ей и принимать решения на основе данных». Таким образом, модель как правило не нацелены на достижение высокой точности прогнозирования и объяснимости; скорее, они стремятся предоставить набор упрощенных (дословно) вероятностных правил, которые могут быть использованы для разбиения данных.

Один из подходов, который может ответить на критику Рудина, основан на использовании обобщенных аддитивных моделей с парными взаимодействиями – класса моделей, которые ограничивают «вклад одного признака в итоговый прогноз», чтобы он зависел только от этого признака. Цель этих моделей состоит в том, чтобы отделить каждый признак от всех других признаков таким образом, чтобы их можно было оценивать независимо друг от друга.

В первую очередь корреляционный характер и может помочь экспертам в предметной области выбрать особенности – например, авторы модели отмечают, что риск повторной госпитализации пневмонии снижается, а не увеличивается при астме – парадоксальный вывод. Эта модель выявляет этот вывод. Тем не менее, эксперты в предметной области должны затем объяснить этот вывод следующим образом: пациенты с астмой в анамнезе, у которых была пневмония, обычно госпитализировались не только в больницу, но и непосредственно в отделение интенсивной терапии. Хорошая новость заключается в том, что агрессивная помощь, которую получали пациенты с астматической пневмонией, была настолько эффективной, что снижала риск смерти от пневмонии по сравнению с населением в целом. Плохая новость заключается в том, что, поскольку прогноз для этих пациентов лучше среднего, модели, обученные на данных, неверно узнают, что астма снижает риск, тогда как на самом деле риск астматиков гораздо выше (если они не госпитализированы).

Приведенное выше обсуждение показывает, что эти опасения относятся к объяснимости, где цель состоит в том, чтобы помочь специалисту по обработке и анализу данных понять, как работает модель, но могут быть менее применимы к интерпретируемости, где цель в основном состоит в том, чтобы помочь лицу, принимающему решение, связать выходные данные модели со значимым различием, которое позволит ему использовать свои ценности. цели и предпочтения для выбора. В частности, приведенное выше объяснение может помочь пользователю отладить модель или даже решить, стоит ли доверять модели; тем не менее, он может не предоставлять пользователю в явном виде значимую информацию, которая может помочь ему принять окончательное решение о лечении.

Монотонно ограниченные градиентные бустинговые машины стремятся использовать ансамбль «слабых учеников», т.е. моделей с низкой прогностической точностью, для совместного составления точных прогнозов. Такой подход приводит к значительному улучшению возможностей прогнозирования за счет усложнения модели. Чтобы справиться с этой сложностью, монотонно ограниченные градиентно-бустящие машины накладывают ограничение, согласно которому любой данный элемент в модели должен иметь монотонную связь с выходом. Предполагается, что это повышает объяснимость, потому что эти монотонные отношения ограничивают отношения между признаками и предсказаниями, чтобы иметь четкие качественные направления – увеличение признака должно постоянно приводить либо к увеличению, либо к уменьшению точности предсказания. Как и выше, эти модели предполагают, что более простые функциональные формы по своей сути более объяснимы. Однако эти модели в их нынешнем виде могут просто применять форму регуляризации, которая не обязательно основана на знании предметной области. Монотонность может быть уместна в некоторых случаях, например, в кривой «доза-реакция», но не в других, например, при моделировании волн или другого синусоидального поведения. Знание предметной области требуется для определения того, являются ли подходящими ограничения монотонности или любые другие ограничения. При отсутствии знаний в этой области применение таких ограничений действительно может упростить модель, но может сделать это вводящим в заблуждение образом, что может способствовать выводу неправильных объяснений.

Вообще говоря, предположение о том, что упрощенные модели по своей природе интерпретируемы, предполагает некоторую степень знания предметной области со стороны пользователей моделей, т.е. что они обладают достаточным опытом в науке о данных, чтобы разобраться в линейных моделях, деревьях решений, списках правил и т. д. Кроме того, эти «интерпретируемые» модели могут не предоставлять пользователям достаточного контекста для применения их ценностей, целей и принципов для принятия решений. Эти методы действительно дословны в том смысле, что они предоставляют правило, но не дают представления о фактическом механизме алгоритма. Они обеспечивают корреляцию, но не причинно-следственную связь. Тем не менее, они могут помочь профильным экспертам или специалистам по обработке и анализу данных сделать вывод о причинно-следственной связи. Эти методы могут побудить экспертов, обладающих соответствующими базовыми знаниями, более глубоко изучить механизмы, с помощью которых была произведена конкретная классификация, хотя, и не делая эти механизмы явными. Таким образом, технический эксперт, возможно, может использовать свои базовые знания о типе алгоритма, используемого для вывода причинно-следственной связи из этих инструментов. Это может позволить им построить объяснение таким же образом, как присяжный или читатель могут сделать вывод о связной структуре из связного текста. Однако, в конечном счете, именно человек приписывает объяснение выходным данным модели. Описанные выше методы не обеспечивают явного представления причинно-следственных механизмов или взаимодействия с ценностями, целями или предпочтениями пользователей. Скорее, они должны полагаться на базовые знания человека для своей полезности. Таким образом, эти модели предполагают большую часть работы наблюдателя, включая потенциально значимые знания в предметной области относительно значения технических терминов (таких как «гематокрит» в примере с диагнозом пневмонии), способность различать непрерывные и дискретные переменные и т. д. Аналогичным образом, субъекты должны обладать обширными знаниями в предметной области, чтобы быть в состоянии распознать, например, что предыдущий анамнез астмы не должен быть связан с более низким риском пневмонии. Таким образом, модель сама по себе не может быть интерпретирована или объяснена в том смысле, в каком психологи понимают эти термины, но может помочь пользователям, обладающим соответствующими базовыми знаниями и готовностью к исследованию, сделать более значимые и точные выводы.

Поскольку эти модели являются корреляционными по своей природе, они могут быть подвержены ложным ассоциациям. Действительно, в социальных науках уже давно признано, что идентификация значимой структуры в данных (например, из-за корреляции или регрессии) является лишь первым шагом в вменении причинного механизма и при отсутствии контрфакта (например, экспериментальной контрольной группы) не может быть использована для выдвижения каузальных утверждений.

Таким образом, подходы, упрощающие сложные модели путем сведения их к набору монотонных отношений, могут ввести пользователей в заблуждение, заставив их приписывать причинно-следственный механизм в рамках модели там, где его нет. Эта проблема не ограничивается вычислительными системами, а является общей особенностью сложной инженерной системы с множеством взаимодействующих частей. Таким образом, будущая работа в области объяснимого искусственного интеллекта может быть продуктивно сосредоточена на том, как помочь специалистам по обработке и анализу данных и экспертам в предметной области точно вменять причинно-следственные связи, избегая при этом выводов, основанных на ложной корреляции.

В целом, описанные выше подходы направлены на повышение объяснимости, помогая пользователям понять, как изменения в конкретном признаке могут повлиять на выходные данные модели. Несмотря на то, что теоретически они повышают объяснимость, когда специалист по обработке и анализу данных может использовать их для вывода причинно-следственных механизмов о том, как работает алгоритм, эти методы могут быть менее эффективными для установления интерпретируемости, т.е. значения в контексте для конечного пользователя. В то время как разработчикам необходимо знать, как работает система, чтобы они могли выявлять недостатки в ее реализации и исправлять их, представителям общественности или экспертам из других областей, как правило, не хватает глубокой технической подготовки и опыта специалистов по информатике. Например, иммиграционный адвокат может захотеть узнать о юридических последствиях алгоритма рассмотрения визы, а финансовый аналитик может захотеть узнать о финансовых последствиях алгоритма кредитного рейтинга. Часто эти пользователи просто предполагают, что алгоритм был реализован правильно, и что обучающие данные были достаточно репрезентативными. Наконец, соискатели работы/визы/кредита, естественно, захотят знать стандарты, по которым их оценивают, и конкурентоспособны ли они для конкретной должности. Эти пользователи должны знать, почему система сгенерировала свой результат. То есть они стремятся придать смысл выходным данным модели таким образом, чтобы они могли контекстуализировать их в терминах, которые имеют для них значение.

В некоторых случаях графические пользовательские интерфейсы, такие как инструмент «Что, если» от Google, могут быть объединены с выходными данными модели, чтобы помочь пользователям с ограниченными знаниями в области счета или статистики «понять суть». Например, существует множество работ в области принятия медицинских решений, изучающих индивидуальные различия в уровне грамотности персонала и методы, которые могут быть использованы для преодоления этих различий для передачи сути сложной медицинской информации. Тем не менее, дизайнеры должны позаботиться о том, чтобы не предполагать, что графический формат обязательно более интерпретируем. Скорее, графический вывод должен быть контекстуализирован соответствующими представлениями базовых ставок, пороговых значений и других индикаторов значимых категориальных различий, которые во многих случаях могут потребоваться получить от пользователей. В конечном счете, машинные интерпретации должны быть контекстуализированы с точки зрения фоновых знаний и целей, а также адаптированы к индивидуальным различиям, если они хотят быть эффективными.

Тематические модели представляют собой семейство алгоритмов байесовского вывода, которые широко применяются к текстовым данным для поиска информации и обобщения документов. Наиболее широко применяемый из этих алгоритмов, латентное распределение Дирихле, выводит латентные «темы», которые должны содержать семантический контент, общий для нескольких документов. На практике эти темы фактически представляют собой распределение вероятностей по словам в корпусе текста, на котором обучается модель. Люди используют тематические модели, проверяя основные слова или лучшие документы по любой данной теме, а затем присваивая значение этим темам, а некоторые даже заходят так далеко, что утверждают, что тематические модели явно измеряют суть текста. Тем не менее, более поздние работы показали, что люди испытывают трудности при интерпретации некоторых выходных данных тематической модели, особенно когда они не знакомы с тем, как работает алгоритм. Несмотря на то, что специалисты по информатике разработали меры по улучшению согласованности (предположительно для повышения интерпретируемости) выходных данных тематической модели, полученные выходные данные не предоставляют явной интерпретации для пользователей-людей, а остаются списком слов с соответствующими тематическими вероятностями, которые люди должны интерпретировать. Тем не менее, тематические модели, возможно, уникальны среди алгоритмов машинного обучения тем, что их пользователи попытались явно спроектировать интерпретируемость в их структуре и выводе с помощью задач, которые оцениваются неопытными людьми, не имеющими представления о том, как работает алгоритм. Будущая работа должна быть сосредоточена на оценке этого подхода и потенциальном применении его к другим алгоритмическим парадигмам.

Как можно оценить объяснимость и интерпретируемость систем ИИ таким образом, чтобы это было психологически правдоподобно? Как мы могли бы разработать системы, удовлетворяющие этим психологическим определениям? Методы машинного обучения отражают противоречие между двумя различными подходами к оценке качества математических моделей и «рациональным» поведением в более широком смысле.

Первый подход, который Хаммонд назвал «когерентностью», подчеркивает процесс, с помощью которого достигается результат. Согласно этому подходу, результат оценивается в зависимости от того, получен ли он путем следования логическим правилам, которые исходят из общепринятых аксиом. Ранние системы ИИ, особенно системы, основанные на правилах, демонстрировали высокую степень согласованности и, как следствие, объяснимости в соответствии с психологическими определениями в этой статье. К сильным сторонам когерентного подхода можно отнести его гарантии логической полноты – если аксиомы верны, а правила соблюдаются безошибочно, то выводы обязательно должны быть правильными. Тем не менее, эти системы подвергались критике за их хрупкость в процессе принятия решений в реальном мире. На практике они могут потерпеть неудачу, если аксиомы неверны (но, по крайней мере, можно определить, как был сделан этот вывод). Например, классическая экспертная система обычно строится путем получения правил от экспертов; тем не менее, эти правила могут применяться «бездумно» (например, без соответствующих базовых знаний, таких как о времени, анатомии человека или важных исключениях, как в случае медицинской экспертной системы, основанной на правилах). В той мере, в какой эти правила верны, рекомендации системы должны быть правильными; тем не менее, процесс установления этих правил может привести к возникновению источников ошибок, которые могут сделать результаты недействительными, например, когда пациенты не раскрывают всю релевантную информацию алгоритму, поскольку они не знают, что алгоритм требует этого, или потому что они не доверяют алгоритму в использовании этой информации надлежащим образом. Действительно, традиционные системы ИИ, основанные на правилах, отличаются строгим соблюдением стенографических правил, что иногда приводит к неправильным выводам. Попытки чрезмерного упрощения моделей машинного обучения, основанные на чисто алгоритмических соображениях, в некоторых обстоятельствах могут привести к вредным предубеждениям.

Модели с белым ящиком. Как и человеческие процессы принятия решений, подчеркивающие согласованность, модели машинного обучения «белого ящика» прозрачны, и люди могут легко понять, как они работают, потому что они следуют набору прозрачных правил. Примерами моделей белого ящика являются линейные модели, которые можно легко преобразовать из входных данных в прогноз путем умножения на четко определенные значения коэффициентов. Эти модели также, по-видимому, согласуются с определением интерпретируемости Рудина. Кроме того, объяснимые методы ИИ, по-видимому, предназначены для того, чтобы сделать модели «черного ящика» более похожими на модели «белого ящика» (с риском введения потенциальных ложных корреляций).

Обычно считается, что объяснимость и точность прогнозирования должны противопоставляться друг другу. В соответствии с этой воспринимаемой дихотомией, Хаммонд определил «корреспонденционные» подходы как те, которые делают акцент на эмпирической точности. Здесь решение считается хорошим, если оно приводит к хорошему результату, независимо от того, каким образом этот результат получен. Это аналогично парадигме машинного обучения, которая делает акцент на прогнозировании, а не на объяснении. Стандартные методы машинного обучения направлены на оптимизацию определенных прогностических показателей, таких как точность, точность, полнота, F-оценка и т. д. Кроме того, может быть использовано любое количество алгоритмов независимо от того, является ли лежащая в основе алгоритма теория хорошим описанием процесса, генерирующего данные. Этот подход согласуется с определением соответствия Хаммонда, поскольку он отдает предпочтение предсказательной точности над конкретной каузальной теорией. Глубокие нейронные сети, в частности, подвергались критике, но также и превозносились, потому что они часто достигают значительной предсказательной эффективности за счет объяснимости. Таким образом, как и в машинном обучении, слабые стороны корреспонденционного подхода фундаментально связаны с низкой объяснимостью – метод может получить правильные ответы по неправильным причинам – т.е. из-за ложной корреляции – таким образом, нет уверенности в том, что будущие результаты модели будут правильными. Как утверждает Хаммонд: «научные исследования стремятся как к последовательности, так и к соответствию, но получают и то, и другое только в продвинутой, успешной работе. Большинство научных дисциплин вынуждены мириться с противоречивыми фактами и конкурирующими теориями… Но политикам гораздо труднее, чем исследователям, жить с этим напряжением, потому что от них ожидают, что они будут действовать на основе информации».

Как и подходы к принятию решений, благоприятствующие соответствию, «модели черного ящика» – это модели, внутренняя работа которых недоступна и, следовательно, непостижима для пользователей, потому что они делают акцент на точности прогнозирования, а не на объяснимости. Эти модели можно оценивать только по их прогностическим качествам, и нужно просто «верить», что они продолжат работать в реальном мире так же, как они работают на обучающих данных. Типичными примерами моделей черного ящика являются глубокие нейронные сети.

В рассуждениях Хаммонда подчеркивается, что нынешнее противоречие между объяснением и прогнозированием в машинном обучении и статистике на самом деле является давней особенностью научного метода, которая, тем не менее, может противоречить политическим и юридическим требованиям к принятию решений на основе данных. Действительно, по-видимому, существует распространенное мнение, что модели, обладающие высоким соответствием, скорее всего, будут иметь низкую когерентность, и наоборот. Тем не менее, приведенное выше обсуждение подчеркивает, что объяснения в основном связаны с предоставлением согласованных результатов, описывающих процесс, с помощью которого модель достигла заданного результата. В отличие от этого, интерпретации подчеркивают, как стимул (либо выходные данные модели, либо точка данных, либо набор данных, либо описание самой модели) контекстуализируется в более широком контексте мира и, таким образом, может быть оценен относительно критериев соответствия.

Проводя различие между интерпретацией и объяснением, мы предполагаем, что суть человеческих экспертов может рассматриваться как аналогичная «модели серого ящика», для которой полное механистическое объяснение (т.е. модель белого ящика) недоступно, но для которой также не требуется слепое доверие (т.е. модель черного ящика). Этот средний путь достигается за счет того, что эксперты сообщают суть своих процессов принятия решений, а не пытаются объяснить все детали своих структурированных ментальных моделей. В частности, эксперты могут объяснить, как то, что они делают, согласуется с ценностями пользователей в простых для понимания категорических терминах, не обязательно обладая способностью описывать точные механизмы во всех деталях. Мы предлагаем проектирование модели серого ящика в качестве цели для интерпретируемого ИИ.

Принятие решений человеком демонстрирует различную степень согласованности и соответствия. В частности, представления экспертов о сути, как правило, соответствуют лучшим результатам в реальном мире, демонстрируя соответствие; тем не менее, эксперты могут нарушить когерентность, т.е. они могут дать объяснение действию в определенном контексте, но это объяснение не обязательно может распространяться на все контексты, что примерно аналогично линейной оценке нелинейной модели. В отличие от этих линейных оценок, которые обеспечивают объяснительную силу в узком диапазоне параметров, у экспертов можно спрашивать об их обосновании. Приведенное выше обсуждение подчеркивает, что высокая корреспонденция с низкой объяснимостью не только не является уникальной особенностью моделей машинного обучения, но и может быть характерной чертой некоторых видов человеческого опыта. На самом деле, существует значительный объем литературы по инженерному менеджменту, в которой обсуждается «неявная» природа человеческого опыта. Другими словами, как и в случае с самыми сложными моделями, эксперты-люди могут не осознавать, как они получили определенный результат. Тем не менее, они часто могут описать, почему они сделали то, что сделали – например, опытные теннисисты с большей вероятностью оправдывали свои действия относительно целей игры, в то время как новички сосредоточили более осознанное внимание на механике выполнения конкретных маневров. Таким образом, решения экспертов демонстрируют высокую степень эмпирического соответствия, несмотря на подверженность «смещениям» в предсказуемых обстоятельствах. Кроме того, эксперты в предметной области, как правило, полагаются на результаты модели, которые интерпретируют, а не объясняют релевантные результаты, потребляют и предпочитают их использовать.

Это обсуждение предполагает, что дизайнеры могут повысить интерпретируемость путем создания «моделей серого ящика», которые могут предоставить обоснование для данного решения в отношении набора функциональных требований. Благая цель согласуется с аналогичными проблемами при попытке интегрировать крупномасштабные системы из нескольких различных сложных областей знаний в общий артефакт, который будет использоваться потребителями, включая политиков, с различными уровнями технической сложности.

Можно утверждать, что разработка объяснимой или интерпретируемой системы ИИ сводится к выбору соответствующего уровня абстракции, на котором будут передаваться выходные данные системы с учетом потребностей пользователя. Здесь мы рассматриваем исследования в области психологии и системной инженерии, подтверждающие это утверждение. В научной литературе основное внимание уделяется проведению аналогии между понятием ментальной репрезентации и уровнями абстракции.

Успешная работа информатики зависит от последовательных уровней абстракции просто потому, что операции вычислительных систем слишком сложны на физическом уровне, чтобы их можно было объяснить даже самым опытным специалистам в области информатики. Предположим, что компьютер сам по себе является абстракцией – «машиной Тьюринга», которая реализуется с помощью другой абстракции – битов, которые сами реализуются в кремниевых полупроводниках. Эбботт указывает, что биты сами по себе являются абстракциями, и в той степени, в которой абстракция не нарушается (например, из-за физических ограничений, таких как слишком большое количество тепла), разработчикам систем не нужно понимать механизм (например, физические закономерности), лежащие в основе реализации вычислительной системы, которую они используют. Аналогичная логика применима и к разработке программного обеспечения. Хотя в некоторых случаях при проектировании программного обеспечения, безусловно, полезно понимать архитектуру компьютера, большинству разработчиков программного обеспечения не требуется детальное понимание реализации кода, лежащего в основе операционной системы конкретного компьютера, при проектировании приложения. Кролл даже утверждает, что объяснения, которые сосредоточены на механизмах работы системы ИИ, на самом деле скрывают способность пользователей понять, как система функционирует в ее социальном контексте (например, в структуре власти). Действительно, пользователи обычно используют приложения, например, в Интернете, без подробных объяснений того, как эти приложения работают. Скорее, они знакомы с набором функций, для выполнения которых предназначено приложение, и, поскольку эти функции выполняются таким образом, чтобы не создавать чрезмерных внешних эффектов, пользователю обычно не нужно или даже не нужно знать о деталях реализации. Именно эти внешние эффекты лежат в основе потребности в интерпретируемости системы. Таким образом, Эбботт предоставляет раздел, относящийся к «управлению платформой», в котором представлен обзор некоторых исследований по управлению общими ресурсами, которые могут быть продуктивно адаптированы к алгоритмической объяснимости и интерпретируемости, и особенно к разработке стандартов в этой области. В частности, эти стандарты могут быть сформулированы в терминах высокоуровневых требований с мерами эффективности для интерпретируемых и объяснимых систем.

Различие между уровнями ментальной репрезентации «как» и «почему» теоретически мотивировано и эмпирически обосновано в литературе по психологии. Теория конструального уровня, ведущая теория абстракции в человеческой психологии, проводит различие между ментальными репрезентациями в терминах их «психологической дистанции». В данном случае менее отдаленная репрезентация влечет за собой память о вещах, которые находятся либо в пространстве, либо во времени, в то время как более отдаленная репрезентация влечет за собой память о вещах, которые находятся на более отдаленных расстояниях. Вопросы, которые задают «как» – то, что мы называем объяснениями – психологически более близки, чем вопросы, которые задают «почему» – интерпретации. Кроме того, модель характеризует различие между более и менее удаленными представлениями с точки зрения уровня их абстракции.

Наконец, последние результаты показывают, что увеличение психологической дистанции, в том числе за счет предоставления более абстрактных представлений, приводит к лучшим решениям, потому что эти более отдаленные представления используют интерпретации сути. Это имеет прямое значение для дизайна: интерпретируемые системы ИИ, то есть те, которые помогают конечным пользователям принимать значимые решения, на самом деле могут быть менее объяснимыми, и наоборот, по крайней мере, для конечных пользователей, не обладающих опытом в области науки о данных.

Идея о том, что объяснения – обоснованные относительно реализации системы – и интерпретации – оправданные по отношению к целям системы – отличаются друг от друга, также подтверждается обширной литературой по инженерии человеческого фактора. В этой статье было описано, как теория нечетких следов утверждает, что эти представления кодируются четко и параллельно, при этом эксперты предпочитают полагаться на более абстрактные описания. В этом разделе обсуждается, как эти понятия абстракции используются в инженерном проектировании практикующими инженерами. В частности, основная конструкция – иерархия абстракций, различающая более детальные вопросы «как», которые определены относительно конкретных реализаций и, следовательно, менее значимые по отношению к системным целям – и менее детализированные, но более значимые вопросы «почему» – была предвосхищена в литературе по инженерии человеческих факторов и системной инженерии в работе Йенса Расмуссена. Работа Расмуссена, которая проводилась исключительно с техническими экспертами (в основном инженерами-электриками, принимающими важные решения, относящиеся к сложным системам, таким как атомные электростанции), определила иерархию абстракций как такую, в которой «… Функциональные свойства технической системы представлены в нескольких уровнях функциональной абстракции по размеру средство-цель» – континуум представлений, ограниченный снизу «физической формой» системы (в данном случае, аналогично реальной физической реализации алгоритма машинного обучения на компьютере, в терминах которого переворачиваются биты), вплоть до «обобщенной» и «абстрактной функции» системы (аналогично программным функциям, реализуемым конкретным машинным обучением системы, которые дают результаты, обоснованные относительно этих функций), которые определяют причинно-следственную структуру системы и/или топологию информационных потоков и ограничены выше «функциональным назначением» системы, т.е. ее целями относительно конечных пользователей. Далее Расмуссен и Линд отмечают, что, имея дело со сложностью, инженеры часто полагаются на несколько уровней представления, даже переключаясь между ними с целью диагностики, причем более высокие уровни указывают на функциональные требования, объясняющие, почему реализуются более низкие уровни, а более низкие уровни указывают на конкретную реализацию того, как выполняются требования более высокого уровня. Таким образом, пользователи и проектировщики могут понимать вывод системы только в той степени, в которой они обладают техническими или предметными знаниями, необходимыми для использования соответствующих уровней иерархии абстракций. В целом, переход между уровнями абстракции требует понимания этого уровня абстракции на его собственных условиях и использования соответствующих фоновых знаний. Таким образом, форма абстракции, которую мы здесь обсуждаем, имеет некоторое сходство с определением сложности Колмогорова [78] – это упрощенное представление, которое может быть выражено с помощью краткого описания, где длина описания определяется относительно заранее определенного знания.

Тем не менее, термин «абстракция» сам по себе многозначен, и мы подчеркиваем, что форма абстракции, о которой мы говорим, является не просто упрощением, а скорее дополнением к базовым знаниям пользователя.

Иерархия абстракций предполагает, что системы следует оценивать с точки зрения их «требований», а не конкретных технических характеристик. Хорошие требования являются «нейтральными к решению» – в них не указываются детали реализации, а только функция, которую должна выполнять система. Цель состоит в том, чтобы как можно яснее определить эту функцию, не ограничивая при этом техническую конструкцию самой системы. Например, в требовании, нейтральном по отношению к решению, может быть указано, что система должна достичь точности не менее 0,85, без указания конкретного используемого алгоритма. Таким образом, требования определяются в терминах показателей эффективности или показателей результативности, которые имеют значение с точки зрения конечной функции системы; а не его реализация. Эта форма проектирования знакома исследователям машинного обучения, которые часто используют несколько разных алгоритмов для получения одной и той же функции. Например, функция может быть классификацией, которая имеет четко определенные метрики – точность, полнота, точность и т. д. – с лучшей метрикой, выбранной на основе задачи. Учитывая требуемую функцию и эталон метрики, который система должна достичь (т.е. требование), проектировщики системы могут использовать любое количество алгоритмов для достижения этой функции. Для классификации алгоритмы-кандидаты могут включать классификаторы логистической регрессии, наивные байесовские классификаторы, классификаторы опорных векторов, классификаторы k-ближайших соседей, сверточные нейронные сети и т. д., все они выполняют одну и ту же функцию, но используют очень разные реализации.

Концепция нейтральности решения в равной степени знакома ученым-юристам и регуляторам, а также ученым-юристам, которые имеют значительный опыт оценки сложных систем, таких как взаимодействие человека и лекарств, в других высокотехнологичных областях. Таким образом, ключом к хорошему дизайну является соответствие метрики оценки системы целям конечного пользователя. Стандартные метрики машинного обучения, такие как определенные выше, могут быть недостаточными для удовлетворения функциональных требований системы. Системная инженерия, и особенно инженерия требований, – это дисциплина, которая фокусируется на оценке потребностей конечных пользователей и преобразовании их в набор показателей. Однако для достаточно сложных систем группы инженеров должны объединить свои знания для достижения лучших результатов проектирования. Попытки создания унифицированных моделей, органично интегрирующих входные данные из различных областей инженерии, дали неоднозначные результаты. В отличие от этого, методы, направленные на перевод значимой информации между инженерными специальностями, более широко принимаются практикующими инженерами. Хотя нет никакой гарантии, что эти методы приводят к оптимальным результатам, они, как минимум, приемлемы. Таким образом, в других областях инженерии разработаны методы, гарантирующие, что экспертный вклад из нескольких областей может быть интегрирован в более крупный и сложный проект. В частности, системная инженерия – это область инженерии, которая занимается координацией этих многочисленных экспертов из разных областей. Поскольку в настоящее время ни один человек не может быть экспертом во всех областях человеческих исследований, системные инженеры разработали набор инструментов и методов, чтобы повысить уверенность в использовании опыта при разработке сложных систем.

Наш опыт подсказывает, что объяснимость и интерпретируемость должны быть отдельными требованиями для систем машинного обучения, причем первые в первую очередь представляют ценность для разработчиков, которые стремятся отлаживать системы или иным образом улучшать их дизайн, а вторые более полезны для регулирующих органов, политиков и обычных пользователей. Однако эта дихотомия не является абсолютной – индивидуальные различия могут быть связаны с зависимостью от одного представления системы в большей степени, чем от другого. Для разработчиков объяснение может быть очень похоже на интерпретацию – подобно тому, как люди с нумерацией принимают решения, основанные на дословных вычислениях, – однако, если разработчикам не хватает опыта в предметной области, они могут быть не в состоянии контекстуализировать свои интерпретации в терминах, значимых для конечных пользователей. Точно так же конечные пользователи, которым не хватает опыта разработчиков, могут быть не в состоянии понять, как система пришла к своему выводу (но они также могут не захотеть этого делать).

История современной инженерии показывает, что системы могут быть спроектированы таким образом, чтобы облегчить как объяснимость, так и интерпретируемость, и, действительно, примеры этого есть на протяжении всей недавней истории, начиная от разрешений на лекарства и заканчивая автомобильным сектором. Несмотря на то, что значительные усилия были направлены на разработку автоматизированных подходов к созданию объяснений алгоритмов ИИ, сравнительно мало внимания уделялось интерпретируемости. Поскольку интерпретации у разных людей различаются, необходимы дополнительные исследования, чтобы определить, как лучше всего связать выходные данные модели с конкретными gist, чтобы пользователи могли надлежащим образом контекстуализировать эти выходные данные. Вопрос о том, в какой степени этот процесс может быть полностью автоматизирован или потребует курирования экспертами в предметной области, остается открытым.

Приведенное выше обсуждение указывает на то, что интерпретируемые алгоритмы – это алгоритмы, которые контекстуализируют данные, помещая их в контекст структурированных фоновых знаний, представляя их в простой форме, которая фиксирует существенные, проницательные различия, а затем обосновывает соответствующий вывод относительно значений, полученных от пользователей-людей. Такие представления контекстуализируют выходные данные модели и придают смысл пользователю в терминах значений, хранящихся в долговременной памяти. Как правило, эти ценности (или подобные конструкции, генерирующие предпочтения, такие как цели) не могут быть получены непосредственно из данных, основанных на механических, хрупких, дословных ассоциациях. Таким образом, методы упрощения сложных моделей, вероятно, будут иметь ту же хрупкость. В отличие от них, представления сути просты, но в то же время гибки и проницательны; они задействуют контекстуальные элементы, такие как цели и ценности, которые явно не представлены в данных. Таким образом, будущая работа может быть продуктивно сосредоточена на выявлении этих основных представлений от экспертов в форме сопоставлений структурированных фоновых знаний со значимыми, но простыми категориями, связанными с целями, ценностями, принципами или другими предпочтениями. Предыдущие «экспертные системы» не имели возможности масштабирования именно из-за трудностей с выявлением этих существенных различий. Чтобы выйти из этого тупика, обсуждение в этой статье подчеркивает необходимость учета нескольких уровней ментальной репрезентации при создании интерпретируемых выходных данных ИИ. Короче говоря, вместо того, чтобы ассимилировать человеческое познание с машинным обучением, мы могли бы извлечь выгоду из разработки моделей машинного обучения, которые лучше отражают эмпирические представления о человеческом познании. Между дословным подходом, основанным на данных, и негибким нисходящим схематическим подходом находится подход, в котором пользователи-люди участвуют в процессе контекстуализации выходных данных модели, которые затем используются для выбора между существующими структурами фоновых знаний и их уточнения. Есть некоторые предварительные свидетельства того, что эти «коммуникативные» подходы, в которых пользователи взаимодействуют с системами ИИ и курируют их результаты, могут оказаться многообещающими. Кроме того, потребности пользователей варьируются в зависимости от индивидуальных различий, например, в метапознании и обучении. Поэтому будущая работа должна быть сосредоточена на характеристике этих факторов в сообществах пользователей. Данный обзор обеспечивает теоретическую основу для такого подхода и дает четкие указания для будущей работы: такие подходы должны доводить суть данных до пользователя.

Этическая составляющая искусственного интеллекта

Начнем с предостережения Бреннана о важнейшем характере процедур установления фактов: для опытных юристов общеизвестно, что исход судебного разбирательства и, следовательно, защита законных прав чаще зависят от того, как устанавливающий факты оценивает факты, чем от спорного толкования закона или толкования ряда прецедентов. Таким образом, процедуры, с помощью которых устанавливаются обстоятельства дела, приобретают столь же важное значение, как и действительность применяемой материальной нормы права. И чем важнее поставлены на карту права, тем важнее должны быть процессуальные гарантии, связанные с этими правами. «Вопрос о том, какая степень доказательства требуется… Это тот вопрос, который традиционно оставлялся на усмотрение судебной системы…»

В общих чертах, стандарт доказывания отражает риск выигрыша или проигрыша в данном разбирательстве против противника или, иными словами, уверенность, с которой сторона, несущая бремя доказывания, должна убедить лицо, устанавливающее факты.

Как пояснил Харлан в своем согласии по делу Уиншипа, выбор надлежащего бремени доказывания в значительной степени зависит от оценки обществом ставок, связанных с судебным разбирательством.

В судебном разбирательстве, в котором идет спор о фактах какого-то более раннего события, лицо, устанавливающее факты, не может получить неопровержимо точное знание о том, что произошло. Вместо этого все, что может приобрести специалист по установлению фактов, – это вера в то, что, вероятно, произошло. Интенсивность этого убеждения – степень, в которой человек, устанавливающий факты, убежден в том, что данное действие действительно имело место, – конечно, может варьироваться. В этом отношении стандарт доказывания представляет собой попытку проинструктировать лицо, устанавливающее факты, о той степени доверия, которое, по мнению нашего общества, он должен иметь в правильности фактических выводов для определенного типа судебного разбирательства. Несмотря на то, что фразы «преобладание доказательств» и «доказательство вне разумного сомнения» являются количественно неточными, они сообщают лицу, ищущему факты, различные представления о степени уверенности, которую он должен иметь в правильности своих фактических выводов.

Таким образом, бремя доказывания в любом конкретном классе случаев лежит в континууме от низкой вероятности до очень высокой вероятности.

Преобладающие доказательства:

Как правило, «перевес доказательств» [или] более вероятный, чем нестандартный, полагается в гражданских исках, где закон безразличен в отношениях между истцами и ответчиками, но стремится свести к минимуму вероятность ошибки.

Например, в гражданском иске между двумя частными лицами о возмещении денежного ущерба мы считаем не более серьезным в целом ошибочный вердикт в пользу ответчика, чем ошибочный вердикт в пользу истца. Таким образом, преобладание стандарта доказательств представляется особенно уместным; как объясняется наиболее разумно, он просто требует, чтобы лицо, оценивающее факт, «верило в то, что существование факта более вероятно, чем его отсутствие, прежде чем (он) сможет вынести решение в пользу стороны, на которую возложена обязанность убедить (судью) в существовании факта».

При количественном определении стандарт преобладания будет равен 50+% вероятности.

Четкие и убедительные доказательства:

В некоторых гражданских процессах, где подразумевается моральная распущенность, суды используют стандарт «ясных и убедительных доказательств», тест несколько более строгий, чем преобладание доказательств.

В тех случаях, когда доказательство другого преступления используется в качестве соответствующего доказательства в соответствии с Правилами 401-404 Федеральных правил доказывания, наиболее распространенным критерием является некая форма стандарта «ясности и убедительности».

При количественной оценке вероятности могут составлять порядка 70% при наличии ясных и убедительных доказательств.

Четкие, недвусмысленные и убедительные доказательства:

«В ситуациях, когда различные интересы общества противостоят ограничениям свободы личности, часто навязываются более жесткие стандарты, такие как доказательство четкими, недвусмысленными и убедительными доказательствами». Верховный суд применил этот более строгий стандарт к процедурам депортации, делам о денатурализации и делах об экспатриации. Конечно, процедура депортации не является уголовным преследованием. Но из этого из силлогически не следует, что лицо может быть выслано из этой страны только на основании доказательств более высокой степени, чем та, которая применяется в случае небрежности. Настоящий Суд не закрывает глаза на те серьезные лишения, которые могут последовать, когда наше правительство вынуждает жителя этой страны отказаться от всех уз, заключенных здесь, и уехать в чужую страну, где у него часто нет современного удостоверения личности.

В процентном соотношении вероятность получения четких, недвусмысленных и убедительных доказательств может составлять порядка 80% в соответствии с этим стандартом.

Доказательства, не вызывающие разумных сомнений:

Стандарт «доказательства вне разумных сомнений» конституционно закреплен в отношении элементов уголовного преступления. Выступая от имени большинства Бреннан перечислил «убедительные причины», по которым «стандарт «обоснованного сомнения» играет жизненно важную роль в американской системе уголовного судопроизводства» и «является основным инструментом для снижения риска вынесения обвинительных приговоров на основании фактической ошибки».

Обвиняемый во время уголовного преследования имеет огромное значение как из-за возможности того, что он может потерять свою свободу в случае осуждения, так и из-за уверенности в том, что он будет стигматизирован в результате осуждения. Соответственно, общество, которое дорожит добрым именем и свободой каждого человека, не должно осуждать человека за совершение преступления, когда есть обоснованные сомнения в его виновности. «В судебном разбирательстве всегда существует предел погрешности, представляющий собой ошибку в установлении фактов, которую обе стороны должны учитывать. В тех случаях, когда на карту поставлен интерес, выходящий за рамки ценности обвиняемого по уголовному делу, – его свобода, – эта погрешность в отношении нее уменьшается в результате возложения на другую сторону бремени… убеждение лица, устанавливающего факты, в конце судебного разбирательства в его виновности вне всяких разумных сомнений. Надлежащая правовая процедура предписывает, что никто не может потерять свою свободу, если правительство не взяло на себя бремя… убедив следователя в своей вине».

Более того, использование стандарта обоснованного сомнения необходимо для того, чтобы вызвать уважение и доверие общества к применению уголовного права. Крайне важно, чтобы моральная сила уголовного права не была разбавлена стандартом доказывания, который оставляет людей в сомнениях в том, что невиновные люди были осуждены.

В делах, караемых смертной казнью, стандарт отсутствия разумных сомнений использовался для установления фактов, необходимых для вынесения смертного приговора после установления вины.

Многие суды штатов, толкуя законы штатов о рецидиве, постановили, что доказательства прошлых преступлений должны быть установлены вне разумных сомнений.

В делах о гражданских обязательствах, где ставки больше всего напоминают ставки риска в уголовном процессе, некоторые суды постановили, что требуется стандарт отсутствия разумных сомнений.

При количественной оценке стандарт вне разумных сомнений может находиться в диапазоне 95+% вероятности.

Руководство по определению вероятности причинно-следственной связи и методы реконструкции дозы облучения в соответствии с Законом 2000 года о Программе компенсации работникам в связи с профессиональными заболеваниями реализует отдельные положения Закона о Программе компенсации профессиональным заболеваниям работников энергетики от 2000 года «EEOICPA». Закон требует обнародования руководящих принципов в форме нормативных актов для определения того, может ли лицо, больное раком, быть признано, «по крайней мере, с такой же вероятностью, как и нет», иметь этот рак в результате воздействия ионизирующего излучения при выполнении обязанностей по программам производства ядерного оружия Министерства энергетики и его предшественников. Руководящие принципы будут применяться Министерством труда США, которое отвечает за определение того, следует ли присуждать компенсацию лицам, желающим получить федеральную компенсацию в соответствии с Законом.

В соответствии с EEOICPA, работник, на которого распространяется действие страховки, претендующий на компенсацию в связи с раком, не являющийся членом общества специального воздействия, требующей компенсации в связи с конкретным видом рака, имеет право на компенсацию только в том случае, если Министерство труда определит, что рак был «по меньшей мере столь же вероятным, как и нет» (50% или более вероятности) вызван дозами облучения, полученными при исполнении служебных обязанностей во время работы в Министерстве энергетики и/или на объекте работодателя по производству атомного оружия . Эти руководящие принципы предоставляют Министерству труда процедуру для принятия таких определений, а также указывают информацию, которую Министерство труда будет использовать.

Вероятность причинно-следственной связи – это технический термин, обычно означающий оценку процента случаев заболевания, вызванного опасностью для здоровья, среди группы лиц, подвергшихся опасности. Эта оценка используется в компенсационных программах в качестве оценки вероятности или вероятности того, что болезнь отдельного члена этой группы была вызвана воздействием опасности для здоровья. Другие термины для этого понятия включают «присвоенную акцию» и «процент относящегося риска».

Согласно этому правилу, потенциальную опасность представляет ионизирующее излучение, воздействию которого подвергались американские ядерщики при исполнении служебных обязанностей; заболевания представляют собой специфические виды рака. Вероятность причинно-следственной связи рассчитывается как риск развития рака, связанный с облучением, деленный на сумму исходного риска развития рака для населения в целом плюс риск, связанный с облучением, а затем умножается на 100 процентов. Этот расчет дает процентную оценку в диапазоне от 0 до 100 процентов, где 0 означает 0 вероятности того, что радиация вызвала рак, а 100 означает 100-процентную уверенность в том, что радиация вызвала рак.

Ученые оценивают вероятность того, что радиация вызывает рак у работника, используя медицинские и научные знания о взаимосвязи между конкретными типами и уровнями дозы облучения и частотой раковых заболеваний в популяциях, подвергшихся облучению. Проще говоря, если исследования определяют, что определенный тип рака встречается чаще среди населения, подвергающегося более высокому уровню радиации, чем сопоставимая популяция (население с меньшим облучением, но схожее по возрасту, полу и другим факторам, которые играют роль в здоровье), и если уровни радиационного облучения известны в этих двух популяциях, Затем можно оценить долю раковых заболеваний в популяции, подвергшейся облучению, которые могли быть вызваны данным уровнем радиации.

Если ученые сочтут это исследование достаточным и приемлемого качества, они могут затем перевести его в серию математических уравнений, которые оценивают, насколько риск развития рака в популяции будет увеличиваться по мере увеличения дозы радиации, получаемой этой популяцией. Серия уравнений, известная как модель «доза-реакция» или модель количественной оценки риска, может также учитывать другие факторы здоровья, потенциально связанные с риском развития рака, такие как пол, история курения, возраст на момент облучения (облучения) и время, прошедшее с момента облучения. Модели риска могут быть затем применены в качестве несовершенного, но разумного подхода к определению вероятности того, что рак у отдельного работника был вызван его или ее дозой облучения.

В 1985 году, в ответ на очевидную брешь в Законе об орфанных препаратах, комиссия, созданная Национальными институтами здравоохранения, разработала набор радиоэпидемиологических таблиц. Таблицы служат справочным инструментом, обеспечивающим оценку вероятности причинно-следственной связи для лиц с онкологическими заболеваниями, подвергшихся воздействию ионизирующего излучения. Использование таблиц требует информации о дозе заболевания, поле, возрасте на момент заражения, дате постановки диагноза рака и других соответствующих факторах. Эти таблицы используются Департаментом по делам ветеранов для принятия решений о компенсации ветеранам, больным раком, которые при исполнении служебных обязанностей подверглись воздействию радиации от взрывов атомного оружия.

Основным источником данных для таблиц 1985 года являются исследования смертей от рака, произошедших среди выживших после японской атомной бомбардировки во время Второй мировой войны.

Таблицы 1985 года в настоящее время обновляются Национальным институтом рака и Центрами по контролю и профилактике заболеваний, чтобы учесть прогресс в исследованиях взаимосвязи между радиацией и риском рака. Проект обновления был рассмотрен Национальным исследовательским советом и будет использовать обновленную версию таблиц с изменениями, важными для претензий в соответствии с EEOICPA, в качестве основы для определения вероятности причинно-следственной связи для работников, подпадающих под EEOICPA.

Основным научным изменением, достигнутым благодаря этому обновлению, является использование моделей риска, разработанных на основе данных о заболеваемости раком (случаях заболевания), а не на частоте смертей от рака среди выживших после японской атомной бомбардировки. Модели рисков еще больше совершенствуются за счет того, что они основаны на более актуальных данных. В пересмотренном отчете было смоделировано гораздо больше видов рака. Новые модели риска также учитывают факторы, которые изменяют воздействие радиации на рак, связанные с типом дозы облучения, величиной дозы и временем ее приема.

Основным технологическим изменением, сопровождающим это обновление, которое представляет собой научное усовершенствование, является создание компьютерной программы для вычисления вероятности причинно-следственной связи. Эта программа, получившая название IREP, позволяет пользователю применять модели риска онкологических заболеваний непосредственно к данным об отдельном сотруднике. Это позволяет оценить вероятность причинно-следственной связи с использованием более совершенных количественных методов, чем те, которые могли бы быть включены в печатные таблицы. В частности, IREP позволяет пользователю учитывать неопределенность в отношении используемой информации для оценки вероятности причинно-следственной связи. Как правило, существует неопределенность в отношении уровней дозы облучения, воздействию которых подвергался человек, а также неопределенность в отношении уровней получаемой дозы с уровнями риска развития рака, наблюдаемыми в исследуемых популяциях.

Учет неопределенности важен, поскольку он может оказать большое влияние на вероятность оценок причинно-следственной связи. Используя радиоэпидемиологические таблицы 1985 года, использует оценки вероятности причинно-следственных связей, найденные в таблицах, на верхнем 99-процентном пределе достоверности. Это означает, что, когда эксперт определяет, был ли рак у ветерана с большей вероятностью вызван радиацией, они используют оценку, которая на 99% больше вероятности, которая была бы рассчитана, если бы информация о дозе и модель риска были абсолютно точными. Аналогичным образом, в этих рекомендациях в соответствии с требованиями EEOICPA, будет использоваться верхний 99-процентный предел доверия для определения того, являются ли раковые заболевания сотрудников по крайней мере столь же вероятными, как и не вызваны их профессиональными дозами облучения. Это поможет свести к минимуму возможность отказа в компенсации заявителям в соответствии с EEOICPA для тех сотрудников, у которых рак, вероятно, был вызван профессиональным радиационным облучением.

Модели риска, разработанные для IREP, обеспечивают основную основу для разработки рекомендаций по оценке вероятности причинно-следственной связи в соответствии с EEOICPA. Они непосредственно направлены на борьбу с 33 видами рака и большинством видов радиационного облучения, имеющих отношение к сотрудникам, на которых распространяется EEOICPA. Эти модели учитывают тип рака сотрудника, год рождения, год постановки диагноза рака и информацию о воздействии, такую как годы облучения, а также дозу, полученную от гамма-излучения, рентгеновского излучения, альфа-излучения, бета-излучения и нейтронов в течение каждого года. Кроме того, модель риска рака легких учитывает историю курения, а модель риска рака кожи учитывает расовую/этническую принадлежность. Ни одна из моделей риска не учитывает воздействие других канцерогенов, вызывающих профессиональную, экологическую или пищевую деятельность. Модели, учитывающие эти факторы, не были разработаны и, возможно, не могут быть разработаны на основе существующих исследований. Более того, эксперт не может последовательно и эффективно получать новые данные, необходимые для использования таких моделей.

Модели IREP не включают рак в том виде, в каком он определен на ранних стадиях. Эти поражения становятся все более диагностируемыми, поскольку использование инструментов скрининга рака, таких как маммография, увеличилось среди населения в целом. Факторы риска и методы лечения часто аналогичны таковым для злокачественных новообразований, и, несмотря на противоречивость, появляется все больше доказательств того, что КИС представляет собой самую раннюю обнаруживаемую фазу злокачественных новообразований.

Раковые опухоли, идентифицированные по их вторичным локализациям (участкам, на которые распространился злокачественный рак), когда первичный очаг неизвестен, поднимают еще одну проблему для применения IREP. Такая ситуация чаще всего возникает, когда информация о свидетельстве о смерти является основным источником диагноза рака. В медицине принято считать, что канцерогенные агенты, такие как ионизирующее излучение, вызывают первичный рак. Это означает, что в случае, когда первичный очаг рака неизвестен, первичный очаг должен быть установлен путем умозаключения для оценки вероятности причинно-следственной связи.

Сотрудники, у которых диагностировано два или более первичных онкологических заболевания, также поднимают специальный вопрос для определения вероятности причинно-следственной связи. Даже если предположить, что биологические механизмы, вызывающие каждый вид рака, не связаны между собой, оценки неопределенности уровня радиации, доставляемой в каждую раковую зону, будут связаны. Хотя полное понимание этой ситуации требует статистической подготовки, последствия этого имеют простые, но важные последствия. Этот подход важен для заявителя, потому что он определит более высокую вероятность причинно-следственной связи, чем та, которая была бы определена для каждого вида рака в отдельности.

При принятии медицинских решений, будь то для себя или в соответствии с рекомендуемой практикой в целом, всегда существует компромисс между пользой и риском. Хотя обычно это не поддается определению в контексте случайных переменных, где выбор может быть сделан на основе того, была ли игра честной или нечестной в нашу пользу, некоторый тип взвешивания возможных исходов все же необходим. Принимая лекарство, например, мы можем рассмотреть исход «улучшения состояния» по сравнению с «побочным эффектом». Как мы все с болью осознаем, в средствах массовой информации постоянно (24 часа в сутки 7 дней в неделю) освещаются такого рода вопросы.

Помимо вопросов личного медицинского риска, мы регулярно сталкиваемся с различными ситуациями, связанными со ставками и азартными играми. Некоторые из них включают в себя покупку страховки, финансовые вложения и ценность информации в целом для принятия обоснованных решений.

Показательным в некотором смысле являлся выносимый в судебном порядке вердикт о продолжении деятельности Американской психиатрической ассоциации. Вопросы, поставленные в данном деле, являются логическим следствием двух предыдущих решений этого суда. В первом, суд рассматривал ту же процедуру вынесения приговора, о которой идет речь в данном случае. Суд отклонил конституционное возражение по вопросу о «будущей опасности», постановив, что установленный законом стандарт не является непозволительно расплывчатым. Признавая трудность, связанную с прогнозированием будущего поведения, Суд постановил, что «задача, которую присяжные должны выполнить… в принципе ничем не отличается от задачи, выполняемой бесчисленное количество раз каждый день во всей системе уголовного правосудия». Таким образом, суд поддержал использование статутного вопроса, но не рассмотрел виды доказательств, которые могут быть представлены присяжным для целей настоящего определения. Впоследствии суд снова рассмотрел схему вынесения приговора – на этот раз в контексте психиатрической экспертизы для определения дееспособности обвиняемого предстать перед судом. Суд постановил, что предусмотренная привилегия против самооговора применима к таким психиатрическим обследованиям, по крайней мере, в той мере, в какой психиатр обвинения впоследствии дает показания относительно будущей опасности для обвиняемого. Суд рассудил, что, хотя обвиняемый не имеет общего конституционного права хранить молчание во время психиатрической экспертизы, должным образом ограниченной вопросами вменяемости или дееспособности, в отношении показаний о будущей опасности должны быть вынесены полные предупреждения по делу из-за «серьезности решения, которое должно быть принято на этапе наказания… Таким образом, решение позволяет обвиняемому, запретить проведение государственной психиатрической экспертизы по вопросу о будущей опасности. Дело поднимает два вопроса, которые остались нерешенными. Во-первых, можно ли когда-либо разрешить психиатру, дающему показания в качестве эксперта-медицинского свидетеля, делать прогноз относительно долгосрочной опасности для обвиняемого, приговоренного в будущем. Второй вопрос заключается в том, могут ли такие показания быть получены на основе гипотетических вопросов, даже если не существует общего запрета на использование экспертных психиатрических заключений по вопросу долгосрочной опасности в будущем. Возможно, на оба этих вопроса следует ответить отрицательно.

Психиатрам не должно быть позволено делать прогнозы относительно долгосрочной будущей опасности обвиняемого в деле о смертной казни, по крайней мере, в тех обстоятельствах, когда психиатр претендует на то, чтобы давать показания в качестве медицинского эксперта, обладающего прогностическими знаниями в этой области. Хотя психиатрические обследования могут позволить краткосрочные прогнозы насильственного или агрессивного поведения, медицинские знания просто не продвинулись до такой степени, чтобы долгосрочные прогнозы – тип свидетельских показаний, о которых идет речь в данном случае – могли быть сделаны даже с разумной точностью. Большое количество исследований в этой области показывает, что даже при самых благоприятных условиях психиатрические прогнозы долгосрочной опасности в будущем неверны, по крайней мере, в двух из каждых трех случаев.

Прогноз будущего насильственного поведения со стороны обвиняемого является, по сути, непрофессиональным определением, а не экспертным психиатрическим заключением. В той мере, в какой такие прогнозы имеют какую-либо обоснованность, они могут быть сделаны только на основе, по существу, актуарных данных, к которым психиатры, как психиатры, не могут привнести специальных навыков интерпретации. С другой стороны, использование психиатрических показаний по данному вопросу наносит серьезный ущерб подсудимому. Если облечь актуарные данные в «экспертное» заключение, показания психиатра, скорее всего, получат чрезмерный вес. Кроме того, это позволяет присяжным избежать сложных актуарных вопросов, ища убежища в медицинском диагнозе, который создает ложную ауру уверенности. По этим причинам показания психиатров о будущей опасности недопустимо искажают процесс установления фактов в делах, например, караемых смертной казнью.

Даже если психиатрам при определенных обстоятельствах разрешается выносить экспертное медицинское заключение по вопросу о будущей опасности, что им никогда не должно быть позволено делать это, если они не провели психиатрическое обследование обвиняемого. Из свидетельских показаний по этому делу очевидно, что ключевым клиническим определением, на которое опирались оба психиатра, был их диагноз «социопатия» или «антисоциальное расстройство личности». Однако такой диагноз просто не может быть поставлен на основании гипотетического вопроса. При отсутствии углубленного психиатрического обследования и оценки психиатр не может исключить альтернативные диагнозы. Он также не может гарантировать, что необходимые критерии для постановки рассматриваемого диагноза соблюдены. В результате он не может вынести медицинское заключение с разумной степенью уверенности.

Эти недостатки лишают психиатрические показания всякой ценности в данном контексте. Даже если предположить, что диагноз антисоциального расстройства личности является доказательством будущей опасности – предположение, с которым мы не согласны, – тем не менее, ясно, что ограниченные факты, приведенные в гипотетическом исследовании, не опровергают другие болезни, которые явно не указывают на общую склонность к совершению преступных деяний. Более того, эти другие заболевания могут быть более поддающимися лечению, что может еще больше снизить вероятность агрессивного поведения обвиняемого в будущем.

Психиатрические категории практически не имеют связи с насилием, и их использование часто затмевает невпечатляющие статистические или интуитивные основания для прогнозирования.

Таким образом, ошибка может быть в некоторой степени переложена на ответчика. Обсуждая гражданские процедуры заключения под стражу, основанные на определении опасности, заявляется, что в свете ненадежности психиатрических прогнозов, «потеря мониторинга, частое наблюдение и готовность изменить свое мнение о рекомендациях и распоряжениях по лечению для склонных к насилию лиц, будь то в рамках правовой системы или за ее пределами, является единственной приемлемой практикой, если психиатр должен играть полезную роль в этих оценках опасности».

Вопрос о различиях, которые могут существовать между различными человеческими расами, или между различными подвидами одной и той же расы, или между политическими объединениями людей в национальные группы, может легко стать предметом самой ожесточенной дискуссии. Антропологи Франции и Германии вскоре после окончания франко-прусской войны вели еще одну национальную войну, но в небольшом масштабе. Трудно не допустить расовой ненависти и антипатии в самых научных исследованиях в этой области. Спор становится особенно ожесточенным, когда речь заходит о психических особенностях. Никто не может сильно возмущаться, обнаружив, что его раса классифицируется по размерам черепа, росту или цвету волос, но стоит человеку обнаружить, что его раса неразумна или эмоционально нестабильна, и он сразу же будет готов к битве.

До недавнего времени у нас не было доступных методов научного измерения умственных способностей, так что литература о расовых различиях состоит в основном из мнений студентов, которые очень склонны к предвзятости, когда, покидая твердую область физических измерений, вступают в более неуловимую область оценки умственных способностей.

Постепенно, однако, различные исследователи, используя более или менее тонкие психологические измерения, начали собирать массив данных, который когда-нибудь достигнет приличных размеров. С 1910 года мы стали свидетелями замечательного развития в методах проверки интеллекта, и эти методы стали применяться для изучения расовых различий. Разрозненные исследования сообщают и сравнивают показатели интеллекта детей белых, негритянских или индейских родителей, а иногда и оценки детей различных национальностей или групп происхождения. Однако результаты этих исследований почти невозможно соотнести, так как они были сделаны разными методами, разными измерительными шкалами, на детях самых разных хронологических возрастов и, прежде всего, на сравнительно небольших группах испытуемых, так что выводы на основе исследований не имеют высокой степени достоверности.

Армейские умственные тесты позволяют нам анализировать элементы, проникающие в американскую разведку. В нашем распоряжении имеются данные об испытаниях интеллекта уроженцев коренных народов, иностранцев и негров. Эти документы заслуживают самого серьезного изучения. Но прежде, чем рассматривать результаты армейских испытаний, человек должен быть хорошо осведомлен о характере испытаний и о том, как они были построены.

Армейские психологические тесты включали в себя три вида обследования:

(А) Групповой экзамен альфа, который включал в себя восемь различных видов тестов, большинство из которых включали умение читать.

(Б) Групповой экзамен бета, который включал в себя семь различных видов тестов, ни один из которых не включал в себя способность читать или понимать разговорный язык, тесты, состоящие из картинок, рисунков и т. д., и даваемые в виде инструкций в пантомиме.

(В) Индивидуальные обследования двух видов:

(А) Те, которые включают использование родного языка, и

(Б) Те, которые не связаны с родным языком, состоят из сборных головоломок и т. д., инструкции даются жестами, «шкалой производительности».

Когда отряд явился на психологическое обследование, первым шагом было отделение грамотных от тех, кто неграмотен. Тем, кто говорил был грамотным, была дана экзамен альфа. Все остальные были отправлены в бета-версию. По окончании экзамена альфа все мужчины, набравшие низкие баллы, были отправлены в бета-версию. После того, как была проведена бета-версия, экзаменаторы попытались вызвать для индивидуальных обследований всех мужчин, набравших низкий балл в бета-версии. В спешке экзаменов было невозможно отозвать всех мужчин для индивидуальных экзаменов, которым следовало бы дать специальные экзамены, и некоторые мужчины были оценены по альфе, которые должны были быть оценены по бете, и наоборот, но большинство мужчин были правильно оценены грубыми методами, которые использовались. На каждом из экзаменов разброс баллов был настолько велик, что большинство мужчин имели возможность набрать баллы.

Большой вклад комитета, который первым разработал методы экзаменов в армии, и людей, которые впоследствии разработали дополнительные методы в армии, состоял в создании и стандартизации групповых экзаменов альфа и бета. Методы индивидуального обследования уже существовали, шкала Стэнфорда-Бине была развитием шкалы «умственного возраста» Бине, а тесты шкалы производительности были более или менее полностью разработаны другими исследователями. Задача обследования людей в больших группах была впервые успешно выполнена в армии. До первой мировой войны многие психологи насмехались над идеей обследования двухсот или трехсот человек одновременно, выдавая им буклеты с различными видами тестов, но обследования в больших группах стали повседневным делом. Групповые тесты впоследствии были опробованы в школах и на промышленных предприятиях с отличными результатами с точки зрения проведения тестов. Действительно, когда в октябре 1919 года в Университете штата Огайо проводился армейский экзамен по альфе, практически весь студенческий состав, числом 6000 человек, был проверен пятью экзаменаторами за восемь часов. В службе было установлено, что один экзаменатор может с легкостью управлять группой из 200 человек. Экзаменатор прочитал инструкции для альфы, и мужчины приказали стартовать и останавливаться в нужное время. Бета-тест был более сложным в проведении и проводился в небольших группах.

Статистические методы обработки результатов армейских испытаний, использованные в данном исследовании, довольно сложны, но их принципы легко понять. Прежде всего, надо откровенно признать, что в трех видах проводимых обследований были допущены незначительные ошибки. Мы не можем исправить тип тестов, которые использовались, но мы можем скорректировать метод их оценки. Большая часть трудностей с подсчетом баллов возникает из-за того, что использовались разные типы измерительных шкал. Во время войны различные шкалы были преобразованы в одну общую шкалу буквенных оценок (A, B, C+, C, C−, D и D−). Этот метод был грубым, и, хотя он отвечал целям армии того времени, его нельзя использовать ни в какой научной интерпретации результатов.

Экзамен альфа оценивался путем нахождения баллов по каждому из восьми тестов, сложения для получения общей суммы, а затем преобразования общей суммы в буквенную оценку. Бета была оценена аналогичным образом. Очевидно, что некоторые тесты в альфа-версии могут быть сложнее других, что некоторые тесты в бета-версии могут быть проще, чем любые другие тесты в альфа-версии, и что могут произойти изменения, которые невозможно было предсказать на момент проведения исследований. Осознав эти факты, армейские статистики разработали другой метод подсчета результатов, который устраняет все эти источники ошибок. Этот метод известен как комбинированная шкала, теоретическая шкала интеллекта от 0 до 25, в которую можно преобразовать альфа, бета и индивидуальные экзаменационные баллы, так что в итоге мы получим одно измерение вместо трех.

Психологические измерения включают в себя гораздо больше, чем создание тестов и проведение тестов. После того, как все результаты получены, у нас все еще есть проблема интерпретации результатов, и эта интерпретация в значительной степени является статистической проблемой. Нельзя не отдать должное сотрудникам психологического отдела Главного хирургического управления, которые продолжали службу еще долго после окончания войны, терпеливо изучая и анализируя результаты. Объединенная шкала в значительной степени была работой двух молодых психологов, Карла Р. Брауна и Марка А. Мэя, и их работа над этой проблемой… Это, без сомнения, величайший вклад, который был сделан до сих пор в статистические аспекты науки о ментальных измерениях.

Теория, лежащая в основе комбинированной шкалы, заключается в том, что каждый тест альфа и бета рассматривается как отдельная шкала измерения. Одна группа людей, включающая 1047 мужчин, родившихся в англоязычных странах, была обследована на альфу, повторно обследована на бете и, если возможно, снова обследована по шкале Стэнфорда-Бине. Эта группа из 1047 случаев составила основу, на основе которой был эмпирически разработан метод объединения отдельных тестов в комбинированную шкалу.

С этого момента, в ходе изучения протоколов армейских испытаний, мы должны рассматривать альфа и бета как две брошюры, содержащие в общей сложности пятнадцать различных шкал измерения интеллекта.

На протяжении всего этого исследования все измерения проводились в терминах средних значений и вариабельности относительно среднего значения. Интерпретируя средние значения, мы никогда не должны забывать, что они обозначают целое распределение. Беспечные мыслители склонны выбирать один или два ярких примера способностей из определенной группы, а затем твердо полагаться на убеждение, что они опровергли аргумент, основанный на общем распределении способностей. Шаги, которые должны быть предприняты для сохранения или увеличения нынешнего интеллектуального потенциала, должны, конечно, быть продиктованы наукой, а не политической целесообразностью.

Может быть полезно определить некоторые из наиболее эзотерических юридических терминов, которые используются: действовать целесообразно подразумевает психическое состояние, охватывающее намерение обманывать, манипулировать или обманывать; стандарт разумного человека относится к гипотетическому индивидууму, проявляющему среднюю осмотрительность, навыки и суждение в поведении; разумный человек выступает в качестве сравнительного стандарта для определения ответственности; нечто является диспозитивным, когда оно является решающим или окончательным и, например, разрешает спор или вопрос; когда вы приводите доводы по делу любой из сторон, говорят, что кто-то выступает в суде; что-то имеет существенность, если оно имеет отношение и имеет последствия для обсуждаемого вопроса. Она не обязательно должна быть «статистически значимой», чтобы быть существенной. В любом судебном постановлении суд может заявить: «упущенный факт является существенным, если существует значительная вероятность того, что разумный акционер сочтет его важным при принятии решения о том, как голосовать»;

Правило яркой линии является абсолютным критерием; в данном случае статистическая значимость не является таким правилом яркой линии при принятии решения о раскрытии доказательств инвесторам.

За последние 15 лет этот суд трижды признавал недействительными части системы вынесения приговоров. Призрак расовой дискриминации был признан, сославшись на исследования, предполагающие вынесение смертного приговора с расовой дискриминацией, а нестандартные законодательные акты на рассмотрении суда «чреваты дискриминацией». Подтверждением тому являются статистические данные, свидетельствующие о том, что негров казнят гораздо чаще, чем белых, в процентном отношении к их процентному соотношению к населению. Исследования показывают, что, хотя более высокий уровень казней среди негров отчасти объясняется более высоким уровнем преступности, существуют свидетельства расовой дискриминации. Например, к 1977 году в Джорджии было казнено 62 мужчины за изнасилование с тех пор, как федеральное правительство начало собирать статистику в 1930 году. Из этих мужчин 58 были чернокожими и 4 белыми. Три года спустя суд в деле Годфри признал один из статутных отягчающих обстоятельств штата неконституционным расплывчатым, поскольку он привел к «нестандартному и необоснованному вынесению смертных приговоров по неконтролируемому усмотрению в основном необученных присяжных.... Судья Маршалл, соглашаясь с решением, отметил, что позорные искажающие последствия расовой дискриминации и бедности по-прежнему болезненно проявляются при вынесении смертных приговоров.

Этот исторический обзор уголовного законодательства Джорджии не является обвинительным актом, призывающим государство к ответу за прошлые преступления. Ссылка на прошлые практики не оправдывает автоматического осуждения нынешних. Но было бы нереалистично игнорировать влияние истории при оценке правдоподобных выводов системами искусственного интеллекта. Американцы делятся с миром историческим опытом, который привел к тому, что люди в этой культуре повсеместно придают значение расе, которое является иррациональным и часто выходит за рамки их сознания.

Продолжающееся влияние истории признается, как отмечает большинство, в «непрекращающихся усилиях по искоренению расовых предрассудков из системы уголовного правосудия». Эти усилия, однако, означают не устранение проблемы, а ее сохранение. Дела отражают осознание множества возможностей влияния расовых соображений на уголовное судопроизводство: в осуществлении императивных отводов, в выборе большого жюри, в выборе малого жюри, в осуществлении прокурорского усмотрения, в ведении прений, а также в сознательной или неосознанной предвзятости присяжных.

Дискреционные полномочия, предоставленные прокурорам и присяжным заседателям в системе вынесения смертных приговоров в Джорджии, создают такие возможности. Нет никаких руководящих принципов, регулирующих решения прокуратуры о вынесении смертного приговора, и судебная система не предоставляет присяжным ни перечня отягчающих и смягчающих факторов, ни каких-либо стандартов для их сопоставления друг с другом. Как только присяжные определяют один отягчающий фактор, они имеют полное право выбора жизни или смерти, и им не нужно формулировать свои основания для выбора пожизненного заключения.

12 июля 1974 года был подписан Закон о национальных исследованиях, в соответствии с которым была создана Национальная комиссия по защите людей в области биомедицинских и поведенческих исследований. Одна из задач, поставленных перед Комиссией, состояла в том, чтобы определить основные этические принципы, которые должны лежать в основе проведения биомедицинских и поведенческих исследований с участием человека, и разработать руководящие принципы, которым следует следовать, чтобы гарантировать, что такие исследования проводятся в соответствии с этими принципами. При проведении вышеизложенного Комиссии было поручено рассмотреть: (i) границы между биомедицинскими и поведенческими исследованиями и принятой и рутинной медицинской практикой, (ii) роль оценки критериев риска и пользы в определении целесообразности исследований с участием людей, (iii) соответствующие руководящие принципы для отбора людей для участия в таких исследованиях и (iv) природу и определение информированного согласия в различных исследовательских условиях.

В докладе Бельмонта предпринята попытка обобщить основные этические принципы, выявленные Комиссией в ходе ее обсуждений. Она является результатом интенсивного четырехдневного периода обсуждений, которые состоялись в феврале 1976 года в конференц-центре Бельмонта Смитсоновского института, и дополнен ежемесячными обсуждениями Комиссии, которые проводились в течение почти четырех лет. Это заявление об основных этических принципах и руководящих принципах, которые должны помочь в решении этических проблем, связанных с проведением исследований с участием человека.

Этические принципы и руководящие принципы для исследований с участием человека:

Научные исследования принесли существенные социальные выгоды. Это также поставило некоторые тревожные этические вопросы. Общественное внимание к этим вопросам привлекли сообщения о злоупотреблениях в отношении людей в биомедицинских экспериментах, особенно во время Второй мировой войны. Во время Нюрнбергского процесса над военными преступниками Нюрнбергский кодекс был составлен в виде набора стандартов для оценки врачей и ученых, проводивших биомедицинские эксперименты над узниками концентрационных лагерей. Этот кодекс стал прототипом многих более поздних кодексов, призванных гарантировать, что исследования с участием людей в качестве субъектов будут проводиться этичным образом.

Кодексы состоят из правил, одни из которых являются общими, другие конкретными, которыми руководствуются исследователи или рецензенты исследований в своей работе. Такие правила часто недостаточны для охвата сложных ситуаций; иногда они вступают в противоречие, и их часто трудно интерпретировать или применить. Более широкие этические принципы обеспечат основу, на которой могут быть сформулированы, подвергнуты критике и интерпретированы конкретные правила.

В этом заявлении определены три принципа, или общих предписывающих суждений, которые имеют отношение к исследованиям с участием человека. Другие принципы также могут иметь значение. Тем не менее, эти три документа являются всеобъемлющими и сформулированы на уровне обобщения, который должен помочь ученым, испытуемым, рецензентам и заинтересованным гражданам понять этические проблемы, присущие исследованиям с участием человека. Эти принципы не всегда могут быть применены для решения конкретных этических проблем. Цель состоит в том, чтобы обеспечить аналитическую основу, которая будет направлять решение этических проблем, возникающих в результате исследований с участием человека.

Важно проводить различие между биомедицинскими и поведенческими исследованиями, с одной стороны, и практикой принятой терапии, с другой, знать, какие виды деятельности должны быть подвергнуты экспертизе для защиты человека – объекта исследования. Различие между исследованием и практикой размыто отчасти потому, что оба они часто происходят вместе (как в исследованиях, предназначенных для оценки терапии), а отчасти потому, что заметные отклонения от стандартной практики часто называют «экспериментальными», когда термины «экспериментальный» и «исследование» не имеют четкого определения.

По большей части, термин «практика» относится к вмешательствам, которые предназначены исключительно для улучшения благополучия отдельного пациента или клиента и которые имеют разумные ожидания успеха. Целью медицинской или поведенческой практики является постановка диагноза, профилактическое лечение или терапия конкретным людям. В противоположность этому, термин «исследование» обозначает деятельность, направленную на проверку гипотезы, создание условий для получения выводов и тем самым на развитие или внесение вклада в обобщаемое знание (выраженное, например, в теориях, принципах и утверждениях о взаимосвязях). Исследование обычно описывается в официальном протоколе, в котором излагается цель и набор процедур, разработанных для достижения этой цели.

Когда клиницист существенно отклоняется от стандартной или принятой практики, инновация сама по себе не является исследованием. Тот факт, что процедура является «экспериментальной» в смысле новой, непроверенной или иной, не помещает ее автоматически в категорию исследований. Однако радикально новые процедуры такого рода должны стать объектом формального исследования на ранней стадии, чтобы определить, являются ли они безопасными и эффективными. Таким образом, комитеты по медицинской практике обязаны, например, настаивать на том, чтобы крупное новшество было включено в официальный исследовательский проект.3

Исследования и практика могут проводиться одновременно, когда исследования направлены на оценку безопасности и эффективности терапии. Это не должно вызывать путаницы в отношении того, требует ли деятельность проверки; Общее правило заключается в том, что если в деятельности присутствует какой-либо элемент исследования, то эта деятельность должна быть подвергнута проверке на предмет защиты людей-субъектов.

Выражение «основные этические принципы» относится к тем общим суждениям, которые служат основным обоснованием многих конкретных этических предписаний и оценок человеческих действий. Три основных принципа, среди общепринятых в нашей культурной традиции, особенно актуальны для этики исследований с участием людей: принципы уважения к личности, благодеяния и справедливости.

1. Уважение к личности. – Уважение к личности включает в себя, по крайней мере, два этических убеждения: во-первых, что к людям следует относиться как к автономным агентам, а во-вторых, что лица с ограниченной автономией имеют право на защиту. Таким образом, принцип уважения к личности делится на два отдельных моральных требования: требование признания автономии и требование защиты тех, кто обладает ограниченной автономией.

Автономная личность – это индивид, способный обдумывать личные цели и действовать в соответствии с этим руководством. Уважать автономию означает придавать вес взвешенным мнениям и выбору автономных людей, воздерживаясь при этом от препятствования их действиям, если они не наносят явного ущерба другим. Проявлять неуважение к автономному агенту – значит отвергать взвешенные суждения этого человека, отказывать индивиду в свободе действовать в соответствии с этими взвешенными суждениями или утаивать информацию, необходимую для вынесения взвешенного суждения, когда для этого нет веских причин.

Однако не каждый человек способен к самоопределению. Способность к самоопределению созревает в течение жизни человека, и некоторые люди теряют эту способность полностью или частично из-за болезни, умственной отсталости или обстоятельств, которые сильно ограничивают повышения благосостояния конкретного человека и, в то же время, предоставления определенной пользы другим (например, вакцинация, которая защищает как вакцинируемого человека, так и общество в целом). Тем не менее, тот факт, что некоторые формы практики имеют элементы, отличные от непосредственной пользы для человека, получающего вмешательство, не должен смешивать общее различие между исследованием и практикой. Даже в тех случаях, когда процедура, применяемая на практике, может принести пользу другому лицу, она остается вмешательством, направленным на повышение благосостояния конкретного лица или группы лиц; таким образом, это практика и не нуждается в пересмотре как исследование.

Поскольку проблемы, связанные с социальными экспериментами, могут существенно отличаться от проблем биомедицинских и поведенческих исследований, Комиссия в настоящее время специально отказывается принимать какие-либо политические решения в отношении таких исследований. Скорее, Комиссия считает, что эта проблема должна быть решена одним из ее органов-преемников.

Уважение к незрелым и недееспособным может потребовать их защиты по мере взросления или во время их недееспособности.

Некоторые лица нуждаются в широкой защите, вплоть до того, что их не допускают к деятельности, которая может причинить им вред; Другие лица не нуждаются в особой защите, кроме того, чтобы они осуществляли свою деятельность свободно и осознавали возможные негативные последствия. Степень предоставляемой защиты должна зависеть от риска причинения вреда и вероятности получения пользы. Суждение о том, что какому-либо индивиду не хватает автономии, должно периодически пересматриваться и будет меняться в разных ситуациях.

В большинстве случаев исследований с участием людей уважение к личности требует, чтобы субъекты участвовали в исследовании добровольно и обладали адекватной информацией. Однако в некоторых ситуациях применение этого принципа не является очевидным. Поучительным примером является привлечение заключенных в качестве объектов исследования. С одной стороны, представляется, что принцип уважения к личности требует, чтобы заключенные не были лишены возможности добровольно участвовать в научных исследованиях. С другой стороны, в условиях содержания в тюрьме они могут подвергаться тонкому принуждению или необоснованному влиянию для участия в исследовательской деятельности, к которой в противном случае они бы не вызвались. Уважение к личности в этом случае диктует необходимость защиты заключенных. Позволить заключенным «добровольно» или «защищать» их – это дилемма. Уважение к личности в большинстве сложных случаев часто является вопросом уравновешивания конкурирующих требований, вызванных самим принципом уважения.

К людям относятся этичным образом, не только уважая их решения и защищая их от вреда, но и прилагая усилия для обеспечения их благополучия. Такое обращение подпадает под принцип благодеяния. Термин «благодеяние» часто понимается как охватывающий акты доброты или благотворительности, выходящие за рамки строгого обязательства. В этом документе благодеяние понимается в более сильном смысле, как обязательство. В качестве взаимодополняющих выражений благодетельных действий в этом смысле были сформулированы два общих правила: (1) не причиняйте вреда и (2) максимизируйте возможные выгоды и минимизируйте возможный вред.

Максима Гиппократа «не навреди» долгое время стала основополагающим принципом медицинской этики. Клод Бернар расширил эту область до области исследований, сказав, что нельзя причинять вред одному человеку, независимо от того, какую пользу могут получить другие. Однако даже для того, чтобы избежать вреда, необходимо узнать, что является вредным, и в процессе получения этой информации люди могут подвергаться риску причинения вреда. Кроме того, клятва Гиппократа требует, чтобы врачи приносили пользу своим пациентам «в соответствии с их здравым смыслом». Чтобы узнать, что на самом деле принесет пользу, может потребоваться подвергнуть людей риску. Проблема, связанная с этими императивами, заключается в том, чтобы решить, когда оправдано стремление к определенным выгодам, несмотря на связанные с этим риски, а когда от выгод следует отказаться из-за рисков.

Обязательства благодеяния затрагивают как отдельных исследователей, так и общество в целом, поскольку они распространяются как на отдельные исследовательские проекты, так и на всю исследовательскую деятельность. В случае конкретных проектов исследователи и сотрудники их учреждений обязаны заранее предусмотреть максимизацию выгод и снижение риска, которые могут возникнуть в результате исследовательского исследования. В случае научных исследований в целом, члены общества в целом обязаны осознавать долгосрочные выгоды и риски, которые могут возникнуть в результате улучшения знаний и разработки новых медицинских, психотерапевтических и социальных процедур.

Принцип благодеятельности часто играет четко определенную обосновывающую роль во многих областях исследований с участием человека. В качестве примера можно привести исследования с участием детей. Эффективные способы лечения детских болезней и содействия здоровому развитию – это преимущества, которые служат оправданием исследований с участием детей, даже если отдельные объекты исследований не являются прямыми бенефициарами. Исследования также позволяют избежать вреда, который может быть причинен в результате применения ранее принятых рутинных практик, которые при ближайшем рассмотрении оказываются опасными. Но роль принципа благодеяния не всегда столь однозначна. Остается сложной этической проблемой, например, в отношении исследований, которые представляют собой более чем минимальный риск без непосредственной перспективы прямой пользы для детей. Некоторые утверждают, что такие исследования недопустимы, в то время как другие указывают, что этот предел исключит многие исследования, обещающие большую пользу детям в будущем. И здесь, как и во всех трудных случаях, различные требования, подпадающие под действие принципа благодеяния, могут вступать в противоречие и вынуждать к трудному выбору.

Кто должен получать пользу от исследований и нести их бремя? Это вопрос справедливости в смысле «честности при распределении» или «того, что заслужено». Несправедливость имеет место, когда человеку отказывают в какой-либо льготе, на которую он имеет право, без уважительной причины или когда какое-либо бремя возлагается необоснованно. Другой способ понимания принципа справедливости заключается в том, что к равным следует относиться одинаково. Однако это утверждение требует пояснения. Кто равный, а кто неравный? Какие соображения оправдывают отход от равного распределения? Почти все комментаторы допускают, что различия, основанные на опыте, возрасте, недостатках, компетентности, заслугах и должности, иногда являются критериями, оправдывающими дифференцированное обращение для определенных целей. Поэтому необходимо объяснить, в каких отношениях к людям следует относиться одинаково. Существует несколько широко распространенных формулировок о том, как именно распределять бремя и выгоды. В каждой формулировке упоминается некое релевантное свойство, на основе которого следует распределять бремя и выгоды. Эти формулировки таковы: (1) каждому человеку равная доля, (2) каждому человеку в соответствии с индивидуальными потребностями, (3) каждому человеку в соответствии с индивидуальными усилиями, (4) каждому человеку в соответствии с вкладом в общество и (5) каждому человеку в соответствии с заслугами.

Вопросы справедливости долгое время ассоциировались с такими социальными практиками, как наказание, налогообложение и политическое представительство. До недавнего времени эти вопросы, как правило, не были связаны с научными исследованиями. Тем не менее, они предвосхищаются даже в самых ранних размышлениях об этике исследований с участием человека. Например, в XIX и начале XX веков бремя работы в качестве объектов исследований ложилось в основном на бедных пациентов палат, в то время как преимущества улучшенного медицинского обслуживания распространялись в основном на частных пациентов. Впоследствии эксплуатация невольных заключенных в качестве объектов исследования в нацистских концентрационных лагерях была осуждена как особенно вопиющая несправедливость. В 1940-х годах в исследовании сифилиса в Таскиги участвовали обездоленные чернокожие сельские мужчины для изучения нелеченого течения болезни, которая ни в коем случае не ограничивается этой группой населения. Эти испытуемые были лишены явно эффективного лечения, чтобы не прерывать проект, спустя долгое время после того, как такое лечение стало общедоступным.

На этом историческом фоне можно увидеть, как концепции справедливости связаны с исследованиями с участием людей. Например, выбор объектов исследования должен быть тщательно изучен для того, чтобы определить, не отбираются ли некоторые классы (например, пациенты социальных учреждений, определенные расовые и этнические меньшинства или лица, помещенные в учреждения) просто из-за их легкодоступности, скомпрометированного положения или манипулируемости, а не по причинам, непосредственно связанным с изучаемой проблемой. Наконец, во всех случаях, когда исследования, поддерживаемые государственными фондами, приводят к разработке терапевтических устройств и процедур, справедливость требует, чтобы они не приносили преимуществ только тем, кто может себе это позволить, и чтобы такие исследования не вовлекали в себя необоснованно людей из групп, которые вряд ли войдут в число бенефициаров последующих применений исследований.

Применение общих принципов к проведению исследований приводит к рассмотрению следующих требований: информированное согласие, оценка риска/пользы и выбор объектов исследования.

1. Информированное согласие: Уважение к личности требует, чтобы субъектам, в той степени, в которой они способны, была предоставлена возможность выбирать, что с ними должно или не должно происходить. Такая возможность предоставляется при соблюдении адекватных стандартов информированного согласия.

В то время как важность информированного согласия не подвергается сомнению, споры преобладают над природой и возможностью информированного согласия. Тем не менее, широко распространено мнение о том, что процесс получения согласия можно анализировать как состоящий из трех элементов: информации, понимания и добровольности.

Информация: Большинство исследовательских кодексов устанавливают конкретные пункты для раскрытия, предназначенные для обеспечения того, чтобы субъекты получали достаточную информацию. Эти пункты обычно включают в себя: процедуру исследования, его цели, риски и ожидаемую пользу, альтернативные процедуры (где речь идет о терапии) и заявление, предлагающее испытуемому возможность задавать вопросы и в любое время отказаться от участия в исследовании. Были предложены дополнительные пункты, в том числе порядок отбора тем, ответственное за проведение исследования и т.д.

Однако простое перечисление пунктов не дает ответа на вопрос о том, каким должен быть стандарт для определения того, сколько и какого рода информации следует предоставлять. Один из стандартов, на который часто ссылаются в медицинской практике, а именно информация, обычно предоставляемая практикующими врачами в данной местности или в данной местности, является неадекватным, поскольку исследования проводятся именно тогда, когда нет общего понимания. Другой стандарт, в настоящее время популярный в законодательстве о врачебных ошибках, требует, чтобы практикующий врач раскрывал информацию, которую разумные люди хотели бы знать, чтобы принять решение о своем лечении. Этого также недостаточно, поскольку испытуемый, будучи, по сути, добровольцем, может захотеть знать значительно больше о рисках, на которые они идут необоснованно, чем пациенты, которые отдают себя в руки врача для получения необходимой помощи. Возможно, что следует предложить стандарт «разумного добровольца»: объем и характер информации должны быть такими, чтобы люди, зная, что процедура не является необходимой для их ухода и, возможно, полностью понята, могли решить, хотят ли они участвовать в распространении знаний. Даже в тех случаях, когда предполагается некоторая прямая выгода для них, испытуемые должны четко понимать диапазон риска и добровольный характер участия.

Особая проблема согласия возникает в тех случаях, когда информирование субъектов о каком-либо аспекте, имеющем отношение к делу, может ухудшить достоверность исследования. Во многих случаях достаточно сообщить испытуемым, что их приглашают к участию в исследовании, некоторые особенности которого не будут раскрыты до тех пор, пока исследование не будет завершено. Во всех случаях исследований, связанных с неполным раскрытием информации, такое исследование оправдано только в том случае, если ясно, что (1) неполное раскрытие информации действительно необходимо для достижения целей исследования, (2) нет нераскрытых рисков для субъектов, которые превышают минимальные, и (3) существует адекватный план подведения итогов для субъектов, когда это уместно, и для распространения среди них результатов исследований. Информация о рисках никогда не должна утаиваться с целью добиться сотрудничества со стороны испытуемых, а на прямые вопросы об исследовании всегда должны даваться правдивые ответы. Следует проявлять осторожность при проведении различия между случаями, в которых разглашение может уничтожить или сделать недействительным исследование, и случаями, в которых разглашение просто доставило бы неудобства исследователю.

Способ и контекст, в котором передается информация, так же важны, как и сама информация. Например, представление информации в неорганизованном и быстром виде, предоставление слишком мало времени для обдумывания или ограничение возможностей для вопросов – все это может отрицательно сказаться на способности субъекта сделать осознанный выбор.

Поскольку способность субъекта понимать является функцией интеллекта, рациональности, зрелости и языка, необходимо адаптировать представление информации к способностям субъекта. Следователи несут ответственность за то, чтобы убедиться в том, что субъект усвоил информацию. Несмотря на то, что всегда существует обязательство удостовериться в том, что информация о риске для субъектов является полной и адекватно понятой, когда риски становятся более серьезными, это обязательство возрастает. Иногда может быть целесообразно провести несколько устных или письменных тестов на понимание.

Особые меры могут потребоваться в тех случаях, когда понимание сильно ограничено, например, из-за незрелости или умственной отсталости. Каждый класс субъектов, которые можно считать недееспособными (например, младенцы и маленькие дети, пациенты с умственными недостатками, неизлечимо больные и находящиеся в коме), должен рассматриваться в своих собственных терминах. Однако даже для этих людей уважение требует предоставления им возможности выбирать, в той степени, в которой они могут, участвовать или не участвовать в исследованиях. Возражения этих субъектов против участия должны быть учтены, если только исследование не влечет за собой предоставление им терапии, недоступной в других местах. Уважение к личности также требует получения разрешения других сторон для защиты подданных от причинения вреда. Таким образом, такие лица уважаются как путем признания их собственных желаний, так и путем использования третьих лиц для защиты их от вреда.

Третьими сторонами должны быть выбраны те, кто с наибольшей вероятностью поймет ситуацию некомпетентного субъекта и будет действовать в его интересах. Лицу, уполномоченному действовать от имени субъекта, должна быть предоставлена возможность наблюдать за ходом исследования, чтобы иметь возможность отстранить субъекта от исследования, если такое действие отвечает наилучшим интересам субъекта.

Добровольность: Согласие на участие в исследовании является действительным согласием только в том случае, если оно было дано добровольно. Этот элемент информированного согласия требует условий, свободных от принуждения и неправомерного влияния. Принуждение происходит, когда одно лицо намеренно представляет открытую угрозу причинения вреда другому с целью добиться согласия. Неправомерное влияние, напротив, происходит через предложение чрезмерного, необоснованного, неуместного или ненадлежащего вознаграждения или другую инициативу с целью добиться согласия. Кроме того, побуждения, которые обычно приемлемы, могут стать неуместным влиянием, если субъект особенно уязвим.

Неоправданное давление обычно происходит, когда лица, занимающие руководящие должности или обладающие влиянием, особенно когда речь идет о возможных санкциях, настаивают на том, что субъект должен действовать. Тем не менее, существует континуум таких влияющих факторов, и невозможно точно сказать, где заканчивается оправданное убеждение и начинается неправомерное влияние. Однако неправомерное влияние может включать в себя такие действия, как манипулирование выбором человека с помощью контролирующего влияния близкого родственника и угроза отказа от медицинских услуг, на которые в противном случае человек имел бы право.

Оценка рисков и выгод требует тщательного сбора соответствующих данных, включая, в некоторых случаях, альтернативные способы получения выгод, искомых в исследовании. Таким образом, оценка представляет собой как возможность, так и ответственность за сбор систематической и всесторонней информации о предлагаемом исследовании. Для исследователя это средство проверить, правильно ли спланировано предлагаемое исследование. Для комитета по рассмотрению это метод определения того, оправданы ли риски, которые будут предъявлены субъектам. Для потенциальных субъектов оценка поможет определить, участвовать или нет.

Требование о том, чтобы исследования были обоснованы на основе благоприятной оценки риска/пользы, тесно связано с принципом благодеяния точно так же, как моральное требование о получении информированного согласия вытекает в первую очередь из принципа уважения к личности. Термин «риск» относится к возможности причинения вреда. Однако, когда используются такие выражения, как «небольшой риск» или «высокий риск», они обычно относятся (часто двусмысленно) как к вероятности (вероятности) причинения вреда, так и к серьезности (величине) предполагаемого вреда.

Термин «польза» используется в контексте исследования для обозначения чего-то положительного, связанного со здоровьем или благосостоянием. В отличие от «риска», «выгоды» – это не тот термин, который выражает вероятности. Риск правильно противопоставляется вероятности пользы, а польза правильно противопоставляется вреду, а не риску причинения вреда. Соответственно, так называемая оценка риска/пользы связана с вероятностями и величинами возможного вреда и ожидаемой пользы. Необходимо учитывать множество видов возможного вреда и пользы. Существуют, например, риски психологического вреда, физического вреда, юридического вреда, социального вреда и экономического вреда и соответствующих выгод. В то время как наиболее вероятными видами вреда для субъектов исследования являются психологические или физические боли или травмы, не следует упускать из виду и другие возможные виды.

Риски и преимущества исследования могут влиять на отдельных субъектов, семьи отдельных субъектов и общество в целом (или на особые группы субъектов в обществе). Предыдущие кодексы и федеральные правила требовали, чтобы риски для субъектов были перевешены суммой как ожидаемой пользы для субъекта, если таковая имеется, так и ожидаемой пользы для общества в виде знаний, которые будут получены в результате исследования. При уравновешивании этих различных элементов риски и преимущества, влияющие на непосредственный объект исследования, обычно имеют особый вес. С другой стороны, интересы, отличные от интересов субъекта, могут в некоторых случаях быть достаточными сами по себе, чтобы оправдать риски, связанные с исследованием, при условии, что права субъектов были защищены. Таким образом, благодеяние требует, чтобы мы защищались от риска причинения вреда субъектам, а также чтобы мы были обеспокоены потерей существенных преимуществ, которые могли бы быть получены от исследований.

Обычно говорят, что выгоды и риски должны быть «сбалансированы» и показываться «в благоприятном соотношении». Метафорический характер этих терминов обращает внимание на сложность вынесения точных суждений. Лишь в редких случаях количественные методы будут доступны для тщательного изучения протоколов исследований. Тем не менее, по мере возможности следует следовать идее систематического, непроизвольного анализа рисков и выгод. Этот идеал требует, чтобы те, кто принимает решения об обоснованности исследования, тщательно собирали и оценивали информацию обо всех аспектах исследования, а также систематически рассматривали альтернативы. Эта процедура делает оценку исследований более строгой и точной, в то же время делая общение между членами наблюдательного совета и исследователями менее подверженным неверному толкованию, дезинформации и противоречивым суждениям. Таким образом, в первую очередь должно быть определено обоснованность предпосылок исследования; тогда характер, вероятность и величина риска должны быть разграничены с максимально возможной ясностью. Метод определения рисков должен быть явным, особенно в тех случаях, когда нет альтернативы использованию таких расплывчатых категорий, как малый или незначительный риск. Также следует определить, являются ли обоснованными оценки исследователя вероятности вреда или пользы, если судить об этом на основании известных фактов или других доступных исследований.

Наконец, оценка оправданности исследования должна отражать, по крайней мере, следующие соображения: (i) Жестокое или бесчеловечное обращение с людьми никогда не является морально оправданным. (ii) Риски должны быть снижены до уровня, необходимого для достижения цели исследования. Следует определить, действительно ли вообще необходимо использовать людей. Риск, возможно, никогда не может быть полностью устранен, но его часто можно снизить, уделяя пристальное внимание альтернативным процедурам. (iii) Когда исследование сопряжено со значительным риском серьезного ухудшения здоровья, комитеты по обзору должны быть чрезвычайно настойчивы в обосновании риска (обычно обращая внимание на вероятность пользы для объекта исследования или, в некоторых редких случаях, на явную добровольность участия). (iv) В тех случаях, когда уязвимые группы населения привлекаются к исследованиям, должна быть продемонстрирована целесообразность их вовлечения. На такие суждения влияет ряд переменных, в том числе характер и степень риска, состояние конкретной вовлеченной популяции, а также характер и уровень ожидаемых выгод. (v) Соответствующие риски и выгоды должны быть тщательно изложены в документах и процедурах, используемых в процессе информированного согласия.

Подобно тому, как принцип уважения к личности находит выражение в требованиях к согласию и принцип благодетельства при оценке риска/выгоды, принцип справедливости порождает моральные требования о том, чтобы при выборе объектов исследования были справедливые процедуры и результаты.

Справедливость имеет отношение к выбору предметов исследования на двух уровнях: социальном и индивидуальном. Индивидуальная справедливость при выборе объектов требует от исследователей проявления справедливости: таким образом, они не должны предлагать потенциально полезные исследования только некоторым пациентам, которые в их пользу, или выбирать только «нежелательных» лиц для рискованных исследований. Социальная справедливость требует, чтобы проводилось различие между классами субъектов, которые должны и не должны участвовать в каком-либо конкретном виде исследований, основываясь на способности членов этого класса нести бремя и на уместности возложения дополнительного бремени на уже обремененных людей. Таким образом, с точки зрения социальной справедливости можно считать тот факт, что при выборе классов субъектов существует определенный порядок предпочтения (например, взрослые перед детьми) и что некоторые классы потенциальных субъектов (например, психически больные или заключенные) могут быть привлечены в качестве объектов исследования, если это вообще возможно, только при определенных условиях.

Несправедливость может проявиться в выборе тем, даже если отдельные объекты справедливо выбраны исследователями и справедливо рассматриваются в ходе исследования. Таким образом, несправедливость возникает из социальных, расовых, сексуальных и культурных предрассудков, институционализированных в обществе. Таким образом, даже если отдельные исследователи справедливо относятся к объектам своих исследований и даже если IRB заботятся о том, чтобы объекты выбирались справедливо в рамках конкретного учреждения, тем не менее могут проявиться несправедливые социальные модели в общем распределении бремени и выгод от исследований. Несмотря на то, что отдельные учреждения или исследователи могут быть не в состоянии решить проблему, которая широко распространена в их социальной среде, они могут учитывать распределительную справедливость при выборе объектов исследования.

Некоторые группы населения, особенно те, которые находятся в специализированных учреждениях, уже во многом обременены своими немощами и окружающей средой. Когда предлагается исследование, которое сопряжено с рисками и не включает терапевтический компонент, другие, менее обремененные классы лиц должны быть призваны в первую очередь принять эти риски исследования, за исключением случаев, когда исследование непосредственно связано с конкретными условиями рассматриваемого класса. Кроме того, даже несмотря на то, что государственные средства на исследования часто могут течь в тех же направлениях, что и государственные средства на здравоохранение, представляется несправедливым, что группы населения, зависящие от общественного здравоохранения, составляют пул предпочтительных объектов исследований, в то время как более благополучные группы населения, вероятно, будут получателями выгод.

Один из особых примеров несправедливости является результатом вовлечения уязвимых субъектов в исследования негативных последствий применения систем искусственного интеллекта общего назначений. Определенные группы, такие как расовые меньшинства, экономически неблагополучные, очень больные и лица, находящиеся в лечебных учреждениях, могут постоянно рассматриваться в качестве объектов исследования из-за их доступности в условиях, где проводятся исследования. Учитывая их зависимый статус и часто поставленную под угрозу способность к свободному согласию, они должны быть защищены от опасности участия в исследованиях исключительно ради административного удобства или потому, что ими легко манипулировать в результате их болезни или социально-экономического положения.

Теоретические аспекты создания генеративных систем искусственного интеллекта

Эта глава представляет собой всеобъемлющее, хорошо структурированное руководство по основным аспектам создания генеративных систем искусственного интеллекта. Обязательна к прочтению для любого профессионала, желающего масштабировать ИИ в масштабах всего предприятия.

Базовые модели позволили сегодня реализовать множество новых сценариев использования ИИ, одновременно снизив барьеры для входа в создание продуктов ИИ. Это превратило ИИ из эзотерической дисциплины в мощный инструмент разработки, которым может пользоваться каждый, в том числе и те, у кого нет опыта работы с ИИ.

Каждый инженер по искусственному интеллекту, создающий реальные приложения, должен прочитать эту главу. Это жизненно важное руководство по комплексному проектированию систем искусственного интеллекта, от разработки и оценки модели до широкомасштабного развертывания и эксплуатации.

В отличие от других книг, которые сосредоточены на инструментах или текущих тенденциях, которые постоянно меняются, тут предоставляются вечные фундаментальные знания. Независимо от того, являетесь ли вы менеджером по продукту или инженером, эта глава эффективно устраняет разрыв в сотрудничестве между кросс-функциональными командами, что делает ее обязательной к прочтению для всех, кто занимается разработкой ИИ.

Когда появился ChatGPT многие мои коллеги был дезориентированы. Что меня удивило, так это не размер модели или возможности. Уже несколько десятков лет сообщество ИИ знает, что масштабирование модели улучшает ее. В 2012 году отмечалось, что все эксперименты показывают, как результаты можно улучшить, просто дождавшись появления более быстрых графических процессоров и больших наборов данных.

Новые возможности ИИ не только увеличили спрос на приложения ИИ, но и снизили входной барьер для разработчиков. Начать создание приложений ИИ стало очень просто. Можно даже создать приложение, не написав ни одной строки кода. Этот сдвиг превратил ИИ из специализированной дисциплины в мощный инструмент разработки, которым может пользоваться каждый.

Несмотря на то, что внедрение ИИ сегодня кажется новым, оно основано на методах, которые существуют уже некоторое время. Статьи о моделировании языков вышли еще в 1950-х годах. Приложения с расширенной генерацией поиска (RAG) построены на технологии поиска, которая использовалась в поисковых и рекомендательных системах задолго до того, как был придуман термин RAG. Рекомендации по развертыванию традиционных приложений машинного обучения – систематическое экспериментирование, тщательная оценка, неустанная оптимизация для более быстрых и дешевых моделей – по-прежнему остаются лучшими практиками для работы с приложениями на основе базовых моделей.

Знакомость и простота использования многих методов инженерии ИИ могут ввести людей в заблуждение, заставив их думать, что в инженерии ИИ нет ничего нового. Но в то время, как многие принципы создания приложений ИИ остаются прежними, масштаб и расширенные возможности модели ИИ открывают возможности и создают проблемы, требующие новых решений. В этой главе представлена основа для адаптации базовых моделей, которые включают в себя как большие языковые модели (LLM), так и большие мультимодальные модели (LMM), к конкретным приложениям.

Существует множество различных способов создания приложения. В этой книге описываются различные решения, а также поднимаются вопросы, которые вы можете задать, чтобы оценить наилучшее решение для ваших нужд. Вот некоторые из многих вопросов, на которые эта книга может помочь вам ответить: стоит ли создавать это приложение с искусственным интеллектом? Как оценить мою заявку? Могу ли использовать ИИ для оценки результатов ИИ? Что вызывает галлюцинации? Как обнаружить и смягчить галлюцинации? Каковы лучшие практики для оперативного проектирования? Почему RAG работает? Какие существуют стратегии проведения RAG? Что такое агент? Как создать и оценить агента? Когда следует выполнять тонкую настройку модели? Когда не следует выполнять тонкую настройку модели? Какой объем данных мне нужен? Как проверить качество данных? Как сделать модель быстрее, дешевле и безопаснее? Как создать цикл обратной связи, чтобы постоянно улучшать мое приложение?

Книга в целом также поможет вам сориентироваться в ошеломляющем ландшафте искусственного интеллекта: типах моделей, оценочных тестах и, казалось бы, бесконечном количестве вариантов использования и шаблонов приложений.

Содержание этой книги проиллюстрировано с помощью тематических исследований, тщательно изучено экспертами из самых разных областей.

Инструменты быстро устаревают, но теоретические основы должны служить дольше.

DMLS фокусируется на создании приложений на основе традиционных моделей машинного обучения, что включает в себя больше табличных аннотаций данных, проектирование признаков и обучение моделей. AIE специализируется на создании приложений на основе моделей фундаментов, что включает в себя более быстрое проектирование, построение контекста и точную настройку с эффективностью параметров. Обе книги являются самостоятельными и модульными, поэтому вы можете читать любую из них по отдельности.

Поскольку базовые модели являются моделями машинного обучения, некоторые концепции имеют отношение к работе с обеими моделями. Если тема имеет отношение к AIE, но широко обсуждалась в DMLS, она все равно будет освещена в этой книге, но в меньшей степени, с указанием соответствующих ресурсов.

Обратите внимание, что многие темы рассматриваются в DMLS, но не в AIE, и наоборот. В первой главе этой книги также рассматриваются различия между традиционной инженерией машинного обучения и инженерией искусственного интеллекта. Реальная система часто включает в себя как традиционные модели машинного обучения, так и базовые модели, поэтому часто необходимы знания о работе с обеими моделями.

Однако определить, прослужит ли что-то долго, часто бывает непросто. Во-первых, что касается проблемы, как определить, является ли она результатом фундаментальных ограничений работы ИИ или она исчезнет с более совершенными моделями. Во-вторых, можно консультироваться с обширной сетью исследователей и инженеров, которые умнее, о том, что они считают наиболее важными проблемами и решениями.

Иногда можно полагаться на закон Линди, который предполагает, что ожидаемая продолжительность жизни технологии в будущем пропорциональна ее текущему возрасту. Так что, если что-то существует какое-то время, то это будет существовать еще какое-то время.

Несмотря на то, что можно создавать приложения на основе базовых моделей без опыта в области машинного обучения, базовое понимание машинного обучения и статистики может помочь вам создавать более качественные приложения и избавить вас от ненужных страданий. Вы можете прочитать эту книгу без какого-либо предварительного опыта в области машинного обучения. Тем не менее, вы будете более эффективны при создании приложений ИИ, если будете знать следующие концепции: вероятностные концепции, такие как выборка, детерминизм и распределение; концепции машинного обучения, такие как супервизия, самоконтроль, логарифмическое правдоподобие, градиентный спуск, обратное распространение, функция потерь и настройка гиперпараметров; различные архитектуры нейронных сетей, включая с прямой связью, рекуррентные и трансформаторные; такие метрики, как точность, F1, точность, полнота, косинусное сходство и пересечение, энтропия. Если вы еще не знакомы с ними, не волнуйтесь – в этой книге есть либо краткие, высокоуровневые объяснения, либо указатели на ресурсы, которые могут помочь вам быстро войти в курс дела.

Эта книга предназначена для всех, кто хочет использовать базовые модели для решения реальных проблем. Это техническая книга, поэтому язык этой книги ориентирован на технические роли, включая инженеров по искусственному интеллекту, инженеров по машинному обучению, специалистов по обработке и анализу данных, менеджеров по инженерам и технических менеджеров по продуктам. Эта книга для вас, если вы можете соотнести себя с одним из следующих сценариев: Вы создаете или оптимизируете приложение ИИ, независимо от того, начинаете ли вы с нуля или хотите перейти от этапа демонстрации к этапу подготовки к производству. Вы также можете столкнуться с такими проблемами, как галлюцинации, безопасность, задержка или затраты, и нуждаетесь в целенаправленных решениях. Вы хотите оптимизировать процесс разработки ИИ в своей команде, сделав его более систематическим, быстрым и надежным. Вы хотите понять, как ваша организация может использовать базовые модели для улучшения итоговых показателей бизнеса и как создать команду для этого.

Вы также можете извлечь пользу из книги, если принадлежите к одной из следующих групп: Разработчики инструментов, которые хотят определить недостаточно обслуживаемые области в инженерии ИИ, чтобы позиционировать свои продукты в экосистеме. Исследователи, которые хотят лучше понять варианты использования ИИ. Кандидаты на работу, которым нужна ясность в отношении навыков, необходимых для продолжения карьеры инженера по искусственному интеллекту. Всем, кто хочет лучше понять возможности и ограничения ИИ, а также то, как он может повлиять на различные роли.

Некоторые разделы погружаются немного глубже в техническую сторону. Хотя многим ранним читателям нравятся детали, они могут быть не для всех. Не стесняйтесь пропустить вперед, если вы чувствуете себя слишком запутавшимся. Книга структурирована таким образом, чтобы следовать типичному процессу разработки приложения ИИ.

Вот как выглядит этот типичный процесс и как каждая глава вписывается в него. Поскольку эта книга является модульной, вы можете пропустить любой раздел, с которым вы уже знакомы или который менее актуален для вас.

Прежде чем принять решение о создании приложения ИИ, необходимо понять, что включает в себя этот процесс, и ответить на такие вопросы, как: необходимо ли это приложение? Нужен ли ИИ? Нужно ли создавать это приложение самостоятельно? Хотя опыт машинного обучения не является необходимым для создания приложений ИИ, понимание того, как работает базовая модель, полезно для получения максимальной отдачи от нее. Далее анализируется создание базовой модели и проектные решения, оказывающие значительное влияние на последующие приложения, включая рецепт обучающих данных, архитектуру и масштабы модели, а также то, как модель обучается в соответствии с предпочтениями человека. Затем обсуждается, как модель генерирует ответ, который помогает объяснить кажущееся непонятным поведение модели, такое как непоследовательность и галлюцинации. Изменение настроек поколения модели также часто является дешевым и простым способом значительно повысить производительность модели. После того как вы приступили к созданию приложения на основе базовых моделей, оценка будет неотъемлемой частью каждого шага на этом пути. Оценка – одна из самых сложных, если не самая сложная задача в области разработки искусственного интеллекта. Качество ответа модели зависит от следующих аспектов (помимо настройки генерации модели): инструкция о том, как должна вести себя модель; контекст, который модель может использовать для ответа на запрос; сама модель. Благодаря наличию множества фреймворков тонкой настройки, сам процесс тонкой настройки часто бывает простым. Однако получить данные для тонкой настройки сложно.

Если описать ИИ после 2020 года только одним словом, то это было бы слово масштаб. Модели искусственного интеллекта, лежащие в основе таких приложений, как ChatGPT, Google Gemini и Midjourney, настолько масштабны, что они потребляют нетривиальную часть мировой электроэнергии, и мы рискуем остаться без общедоступных интернет-данных для их обучения.

Масштабирование моделей ИИ имеет два основных последствия. Во-первых, модели ИИ становятся все более мощными и способными выполнять больше задач, что позволяет использовать больше приложений. Все больше людей и команд используют ИИ для повышения производительности, создания экономической ценности и улучшения качества жизни.

Во-вторых, для обучения больших языковых моделей (LLM) требуются данные, вычислительные ресурсы и специализированные таланты, которые могут позволить себе лишь немногие организации. Это привело к появлению модели как услуги: модели, разработанные этими несколькими организациями, становятся доступными для использования другими в качестве услуги. Любой, кто хочет использовать ИИ для создания приложений, теперь может использовать эти модели для этого без необходимости вкладывать средства в создание модели.

Короче говоря, спрос на приложения ИИ вырос, в то время как барьер для входа в создание приложений ИИ снизился. Это превратило инженерию ИИ – процесс создания приложений на основе готовых моделей – в одну из самых быстрорастущих инженерных дисциплин.

Создание приложений на основе моделей машинного обучения (ML) не является чем-то новым. Задолго до того, как LLM стали популярными, ИИ уже использовался во многих приложениях, включая рекомендации по продуктам, обнаружение мошенничества и прогнозирование оттока. В то время как многие принципы создания приложений ИИ остаются прежними, новое поколение крупномасштабных, легкодоступных моделей открывает новые возможности и ставит новые задачи, которые и находятся в центре внимания этой книги.

Эта глава начинается с обзора базовых моделей, которые стали ключевым катализатором бурного развития инженерии искусственного интеллекта. По мере того, как возможности ИИ расширяются с каждым днем, прогнозировать его будущие возможности становится все сложнее. Тем не менее, существующие шаблоны приложений могут помочь раскрыть возможности сегодня и дать подсказки о том, как ИИ может продолжать использоваться в будущем.

Базовые модели возникли из больших языковых моделей, которые, в свою очередь, возникли как просто языковые модели. Хотя может показаться, что такие приложения, как ChatGPT и Copilot от GitHub, появились из ниоткуда, они являются кульминацией десятилетий технологического прогресса, первые языковые модели которого появились в 1950-х годах. В этом разделе прослеживаются ключевые прорывы, которые позволили совершить эволюцию от языковых моделей к инженерии искусственного интеллекта.

Несмотря на то, что языковые модели существуют уже некоторое время, они смогли вырасти до таких масштабов, как сегодня, только благодаря самоконтролю. В этом разделе дается краткий обзор того, что означают языковая модель и самоконтроль. Если вы уже знакомы с ними, не стесняйтесь пропустить этот раздел.

Языковая модель кодирует статистические данные об одном или нескольких языках. Интуитивно эта информация говорит нам о том, насколько вероятно появление слова в данном контексте. Например, учитывая контекст «Мой любимый цвет – __», языковая модель, кодирующая английский язык, должна предсказывать «синий» чаще, чем «автомобиль».

Статистическая природа языков была открыта столетия назад. В рассказе 1905 года «Пляшущие человечки» Шерлок Холмс использовал простую статистическую информацию на английском языке для расшифровки последовательностей загадочных фигурок. Поскольку самая распространенная буква в английском языке – E, Холмс пришел к выводу, что самая распространенная фигурка из палочек должна обозначать E.

Позже Клод Шеннон использовал более сложную статистику для расшифровки сообщений врагов во время Второй мировой войны. Его работа о моделировании английского языка была опубликована в 1951 году в его знаковой статье «Предсказание и энтропия печатного английского языка». Многие концепции, представленные в этой статье, включая энтропию, до сих пор используются для моделирования языка.

В первые дни языковая модель включала в себя один язык. Однако сегодня языковая модель может включать в себя несколько языков.

Основной единицей языковой модели является лексем. Лексема может быть символом, словом или частью слова (например, -ция), в зависимости от модели. Например, GPT-4, модель, лежащая в основе ChatGPT, разбивает фразу на токены. Разные модели OpenAI токенизируют текст по-разному. Процесс разбиения исходного текста на токены называется токенизацией. Для GPT-4 средний токен составляет примерно 3/4 длины слова. Таким образом, 100 токенов – это примерно 75 слов.

Набор всех лексем, с которыми может работать модель, – это словарь модели. Вы можете использовать небольшое количество лексем для создания большого количества отдельных слов, подобно тому, как вы можете использовать несколько букв алфавита для создания множества слов. Модель Mixtral 8x7B имеет словарный запас 32 000. Размер словарного запаса GPT-4 составляет 100 256 токенов. Метод токенизации и размер словаря определяются разработчиками модели.

Почему языковые модели используют токен в качестве единицы измерения, а не слово или символ? Можно выделить три основные причины:

1. По сравнению с символами, токены позволяют модели разбивать слова на значимые компоненты. Например, слово «телевизор» можно разбить на «теле» и «визор», причем оба компонента несут в себе некоторое значение исходного слова.

2. Поскольку уникальных лексем меньше, чем уникальных слов, это уменьшает размер словаря модели, что делает модель более эффективной.

3. Лексемы также помогают модели обрабатывать неизвестные слова. Например, такое придуманное слово, как «чебурнет», можно разделить на «чебур» и «нет», что поможет модели понять его структуру. Токены балансируют между меньшим количеством единиц, чем словами, сохраняя при этом больше значения, чем отдельные символы.

Существует два основных типа языковых моделей: маскированные языковые модели и авторегрессионные языковые модели. Они различаются в зависимости от того, какую информацию они могут использовать для прогнозирования токена:

Замаскированная языковая модель

Маскированная языковая модель обучается прогнозировать отсутствующие лексемы в любом месте последовательности, используя контекст как до, так и после отсутствующих лексем. По сути, замаскированная языковая модель обучается заполнять пробелы. Например, учитывая контекст «Мой любимый __ – синий», замаскированная языковая модель должна предсказать, что пропуск, скорее всего, является «цветом». Хорошо известным примером замаскированной языковой модели являются двунаправленные представления энкодеров от трансформаторов.

Замаскированные языковые модели обычно используются для негенеративных задач, таких как анализ тональности и классификация текста. Они также полезны для задач, требующих понимания общего контекста, таких как отладка кода, где модель должна понимать как предыдущий, так и последующий код для выявления ошибок.

Языковая модель с авторегрессией обучается прогнозировать следующую лексему в последовательности, используя только предыдущие лексемы. Он предсказывает, что будет дальше в строке «Мой любимый цвет – __». Модель авторегрессии может постоянно генерировать один маркер за другим. В настоящее время авторегрессионные языковые модели являются моделями выбора для генерации текста, и по этой причине они гораздо популярнее, чем замаскированные языковые модели.

Выходные данные языковых моделей являются открытыми. Языковая модель может использовать свой фиксированный, конечный словарь для создания бесконечного количества возможных выходных данных. Модель, которая может генерировать открытые выходные данные, называется генеративной, отсюда и термин «генеративный ИИ».

Языковую модель можно представить себе как машину для завершения: получив текст (подсказку), она пытается дополнить этот текст. Вот пример:

Подсказка (от пользователя): "Быть или не быть"

Завершение (из языковой модели): "вот в чем вопрос."

Важно отметить, что завершения – это прогнозы, основанные на вероятностях, и не гарантируется, что они верны. Эта вероятностная природа языковых моделей делает их одновременно и захватывающими, и разочаровывающими в использовании.

Как бы просто это ни звучало, завершение невероятно мощно. Многие задачи, включая перевод, обобщение, кодирование и решение математических задач, можно сформулировать как задачи на завершение. Например, если у вас есть подсказка: «Как дела на французском…», языковая модель может дополнить ее словами: «Comment ça va», эффективно переводя с одного языка на другой. В качестве другого примера, учитывая подсказку:

Вопрос: Является ли это письмо вероятным спамом? Вот электронное письмо: <содержимое электронной почты> Ответьте:

Языковая модель может дополнить его следующим образом: "Вероятный спам", что превращает эту языковую модель в классификатор спама.

Хотя завершение – это мощная сила, завершение – это не то же самое, что участие в разговоре. Например, если вы зададите вопрос машине для завершения, она может дополнить то, что вы сказали, добавив еще один вопрос вместо ответа на вопрос.

Языковое моделирование – это лишь один из многих алгоритмов машинного обучения. Также есть модели для обнаружения объектов, тематического моделирования, рекомендательных систем, прогнозирования погоды, прогнозирования цен на акции и т.д. Что особенного в языковых моделях, что сделало их центром подхода к масштабированию, вызвавшего момент ChatGPT?

Ответ заключается в том, что языковые модели можно обучать с помощью самоконтроля, в то время как многие другие модели требуют контроля. Супервизия – это процесс обучения алгоритмов машинного обучения с использованием размеченных данных, получение которых может быть дорогостоящим и медленным. Самоконтроль помогает преодолеть это узкое место в маркировке данных и создать более крупные наборы данных для обучения моделей, что позволяет эффективно масштабировать модели. Вот как это сделать.

При контроле вы помечаете примеры, чтобы показать поведение, которое должна изучить модель, а затем обучаете модель на этих примерах. После обучения модель может быть применена к новым данным. Например, для обучения модели обнаружения мошенничества используются примеры транзакций, каждая из которых помечена как «мошенничество» или «не мошенничество». После того как модель извлечет уроки из этих примеров, ее можно использовать для прогнозирования того, является ли транзакция мошеннической.

Успех моделей ИИ в 2010-х годах заключался в контроле. Модель AlexNet, положившая начало революции в глубоком обучении, была курируемая и обучалась тому, как классифицировать более 1 миллиона изображений в наборе данных ImageNet, в результате классифицировала каждое изображение по одной из 1000 категорий, таких как «автомобиль», «воздушный шар» или «обезьяна».

Недостатком контроля является то, что маркировка данных является дорогостоящей и трудоемкой задачей. Если один человек стоит 5 центов, чтобы пометить одно изображение, то пометить миллион изображений для ImageNet будет стоить 50 000 долларов. Если вы хотите, чтобы два разных человека помечали каждое изображение, чтобы вы могли перепроверить качество этикетки, это будет стоить в два раза дороже. Поскольку мир содержит более 1000 объектов, чтобы расширить возможности моделей по работе с большим количеством объектов, вам потребуется добавить метки большего количества категорий. Чтобы масштабировать до 1 миллиона категорий, стоимость маркировки увеличится до 50 миллионов долларов.

Маркировка предметов повседневного обихода – это то, что большинство людей могут делать без предварительной подготовки. Следовательно, это можно сделать относительно дешево. Однако не все задачи по маркировке так просты. Генерация переводов с латыни для модели с английского на латиницу обходится дороже. Определение того, показывает ли компьютерная томография признаки рака, было бы астрономическим по стоимости.

Самоконтроль помогает преодолеть узкое место в маркировке данных. При самоконтроле вместо того, чтобы требовать явных меток, модель может выводить метки из входных данных. Языковое моделирование является самоконтролируемым, так как каждая входная последовательность предоставляет как метки (маркеры, подлежащие прогнозированию), так и контексты, которые модель может использовать для прогнозирования этих меток. Например, предложение «Я люблю уличную еду» дает шесть обучающих выборок, как показано ниже:

Ввод (контекст) Вывод (следующий токен)

<BOS>я<EOS>

<BOS>я, любовь<EOS>

<BOS>я, люблю, улица<EOS>

<BOS>я, любовь, улица, пища<EOS>

<BOS>я, любовь, улица, еда<EOS>

<BOS>я, люблю, улицу, еду<EOS>

В <BOS> и <EOS> обозначают начало и конец последовательности. Эти маркеры необходимы для работы языковой модели с несколькими последовательностями. Каждый маркер обычно рассматривается моделью как один специальный маркер. Маркер конца последовательности особенно важен, так как он помогает языковым моделям понять, когда следует закончить свои ответы.

Самоконтроль отличается от ненадзора. При самоконтролируемом обучении метки выводятся из входных данных. При обучении без учителя вам вообще не нужны ярлыки.

Самоконтролируемое обучение означает, что языковые модели могут обучаться на основе текстовых последовательностей, не требуя маркировки. Поскольку текстовые последовательности присутствуют повсюду – в книгах, сообщениях в блогах, статьях и комментариях на Reddit – можно создать огромное количество обучающих данных, что позволяет масштабировать языковые модели и превращаться в LLM.

Однако LLM вряд ли является научным термином. Насколько большой должна быть языковая модель, чтобы ее можно было считать большой? То, что сегодня является большим, завтра может считаться крошечным. Размер модели обычно измеряется количеством ее параметров. Параметр – это переменная в модели машинного обучения, которая обновляется в процессе обучения. В целом, хотя это и не всегда верно, чем больше параметров у модели, тем больше ее способность обучаться желаемому поведению.

Когда в июне 2018 года вышла первая генеративная модель предварительно обученного трансформатора (GPT) от OpenAI, она насчитывала 117 миллионов параметров, и это считалось большим. В феврале 2019 года, когда OpenAI представила GPT-2 с 1,5 миллиардами параметров, 117 миллионов были понижены, чтобы считаться небольшими. На момент написания этой книги модель со 100 миллиардами параметров считается большой. Возможно, однажды, такой размер будет считаться маленьким.

Почему же большим моделям нужно больше данных? Более крупные модели обладают большей способностью к обучению, и, следовательно, им потребуется больше обучающих данных для максимизации их производительности. Вы также можете обучить большую модель на небольшом наборе данных, но это будет пустой тратой вычислительных ресурсов. Вы могли бы достичь аналогичных или лучших результатов на этом наборе данных с меньшими моделями.

В то время как языковые модели способны выполнять невероятные задачи, они ограничены текстом. Как люди, мы воспринимаем мир не только через язык, но и через зрение, слух, осязание и многое другое. Возможность обрабатывать данные, выходящие за рамки текста, имеет важное значение для работы ИИ в реальном мире.

По этой причине языковые модели расширяются для включения большего количества модальностей данных. GPT-4V и Claude 3 могут понимать изображения и тексты. Некоторые модели даже понимают видео, 3D-ресурсы, структуры белков и так далее. Включение большего количества модальностей данных в языковые модели делает их еще более эффективными. В 2023 году OpenAI отметила в своей системной карте GPT-4V, что «включение дополнительных модальностей (таких как ввод изображений) в LLM рассматривается некоторыми как ключевой рубеж в исследованиях и разработках в области искусственного интеллекта».

В то время как многие люди до сих пор называют Gemini и GPT-4V LLM, их лучше охарактеризовать как базовые модели. Слово «фундамент» означает как важность этих моделей в приложениях ИИ, так и тот факт, что они могут быть построены для различных потребностей.

Базовые модели знаменуют собой прорыв по сравнению с традиционной структурой исследований в области искусственного интеллекта. В течение долгого времени исследования в области искусственного интеллекта были разделены по модальностям данных. Обработка естественного языка (NLP) имеет дело только с текстом. Компьютерное зрение имеет дело только со зрением. Текстовые модели можно использовать для таких задач, как перевод и обнаружение спама. Модели, содержащие только изображения, могут использоваться для обнаружения объектов и классификации изображений. Модели Audioonly могут обрабатывать распознавание речи (преобразование речи в текст или STT) и синтез речи (преобразование текста в речь или TTS).

Модель, которая может работать с более чем одной модальностью данных, также называется мультимодальной моделью. Генеративная мультимодальная модель также называется большой мультимодальной моделью (LMM). Если языковая модель генерирует следующую лексему, обусловленную только текстовыми лексемами, то мультимодальная модель генерирует следующую лексему, обусловленную как текстовыми, так и графическими лексемами, или любыми другими модальностями, поддерживаемыми моделью.

Как и языковые модели, мультимодальные модели требуют данных для масштабирования. Самоконтроль работает и для мультимодальных моделей. Например, OpenAI использовала вариант самоконтроля, называемый наблюдением за естественным языком, для обучения своей модели языка и изображений CLIP (OpenAI, 2021). Вместо того, чтобы вручную генерировать метки для каждого изображения, они нашли пары (изображение, текст), которые одновременно встречались в Интернете. Они смогли сгенерировать набор данных из 400 миллионов пар (изображения, текст), что в 400 раз больше, чем у ImageNet, без затрат на ручную маркировку. Этот набор данных позволил CLIP стать первой моделью, которая могла обобщать задачи классификации изображений без необходимости дополнительного обучения.

Термин «базовые модели» используется для обозначения как больших языковых моделей, так и больших мультимодальных моделей. Обратите внимание, что CLIP не является генеративной моделью – он не был обучен генерировать открытые выходные данные. CLIP – это встраиваемая модель, обученная производить совместное встраивание текстов и изображений. В статье «Введение во встраивание» на стр. 134 подробно обсуждаются встраивания. На данный момент встраивания можно рассматривать как векторы, целью которых является захват значений исходных данных. Мультимодальные модели встраивания, такие как CLIP, являются основой генеративных мультимодальных моделей, таких как Flamingo, LLaVA и Gemini (ранее Bard).

Базовые модели также знаменуют собой переход от моделей, специфичных для конкретных задач, к моделям общего назначения. Раньше модели часто разрабатывались для конкретных задач, таких как анализ тональности или перевод. Модель, обученная анализу тональности, не сможет выполнять перевод, и наоборот.

Модели фундаментов, благодаря своим масштабам и способу их обучения, способны выполнять широкий спектр задач. Готовые модели общего назначения могут относительно хорошо работать для многих задач. Магистр права может заниматься как анализом тональности, так и переводом. Тем не менее, часто можно настроить модель общего назначения, чтобы максимизировать ее производительность при выполнении конкретной задачи. Представьте, что вы работаете с розничным продавцом над созданием приложения для создания описаний продуктов для их веб-сайта. Готовая модель может быть способна генерировать точные описания, но может не улавливать голос бренда или выделять его сообщение. Сгенерированные описания могут быть даже полны маркетинговых речей и клише.

Существует несколько методов, которые вы можете использовать, чтобы заставить модель генерировать то, что вы хотите. Например, вы можете составить подробную инструкцию с примерами желаемых описаний товаров. Такой подход является оперативным проектированием. Модель можно подключить к базе данных отзывов клиентов, которую модель может использовать для создания более качественных описаний. Использование базы данных в дополнение к инструкциям называется извлеченной дополненной генерацией (RAG). Вы также можете выполнить тонкую настройку (дальнейшее обучение) модели на основе набора данных с высококачественными описаниями продуктов.

Оперативное проектирование, RAG и тонкая настройка – это три очень распространенных метода проектирования ИИ, которые вы можете использовать для адаптации модели к своим потребностям. В оставшейся части книги все они будут подробно рассмотрены.

Адаптировать существующую мощную модель к задаче, как правило, намного проще, чем создавать модель для задачи с нуля – например, десять примеров и один уик-энд против 1 миллиона примеров и шести месяцев. Базовые модели удешевляют разработку приложений ИИ и сокращают время выхода на рынок. Какой именно объем данных необходим для адаптации модели, зависит от используемого метода. В этой книге также будет затронут этот вопрос при обсуждении каждой техники. Тем не менее, у моделей для конкретных задач есть еще много преимуществ, например, они могут быть намного меньше, что делает их более быстрыми и дешевыми в использовании.

Создавать собственную модель или использовать существующую – это классический вопрос, на который командам придется ответить самостоятельно. Обсуждения на протяжении всей книги могут помочь в принятии этого решения.

Инженерия искусственного интеллекта – это процесс создания приложений поверх моделей фундаментов. Люди создают приложения ИИ уже более десяти лет – процесс, часто известный как ML-инженерия или MLOps (сокращение от ML operations). Почему мы говорим об искусственном интеллекте сейчас?

Если традиционная инженерия машинного обучения включает в себя разработку моделей машинного обучения, то инженерия искусственного интеллекта использует существующие. Наличие и доступность мощных базовых моделей приводят к трем факторам, которые в совокупности создают идеальные условия для быстрого роста инженерии ИИ как дисциплины:

Фактор 1: Возможности ИИ общего назначения.

Базовые модели эффективны не только потому, что они могут лучше справляться с существующими задачами. Они также мощные, потому что могут выполнять больше задач. Приложения, которые ранее считались невозможными, теперь возможны, и появляются приложения, о которых раньше не думали. Даже приложения, которые не считались возможными сегодня, могут стать возможными завтра. Это делает ИИ более полезным для большего количества аспектов жизни, значительно увеличивая как пользовательскую базу, так и спрос на приложения ИИ.

Например, поскольку ИИ теперь может писать так же хорошо, как и человек, иногда даже лучше, ИИ может автоматизировать или частично автоматизировать каждую задачу, требующую общения, а это практически все. ИИ используется для написания электронных писем, ответов на запросы клиентов и объяснения сложных контрактов. Любой, у кого есть компьютер, имеет доступ к инструментам, которые могут мгновенно генерировать персонализированные высококачественные изображения и видео для создания маркетинговых материалов, редактировать профессиональные снимки головы, визуализировать художественные концепции, иллюстрировать книги и так далее. ИИ можно даже использовать для синтеза обучающих данных, разработки алгоритмов и написания кода, и все это поможет обучать еще более мощные модели в будущем.

Фактор 2: Увеличение инвестиций в ИИ.

Успех ChatGPT вызвал резкий рост инвестиций в ИИ, как со стороны венчурных капиталистов, так и со стороны предприятий. По мере того, как приложения ИИ становятся дешевле в создании и быстрее выходят на рынок, отдача от инвестиций в ИИ становится все более привлекательной. Компании спешат внедрить ИИ в свои продукты и процессы. Мэтт Росс, старший менеджер по прикладным исследованиям в Scribd, рассказал мне, что предполагаемая стоимость ИИ для его сценариев использования снизилась на два порядка с апреля 2022 года по апрель 2023 года.

По оценкам Goldman Sachs Research, к 2025 году инвестиции в ИИ могут приблизиться к 100 миллиардам долларов в США и 200 миллиардам долларов во всем мире. ИИ часто упоминается в качестве конкурентного преимущества. FactSet обнаружила, что каждая третья компания S&P 500 упомянула ИИ в своих отчетах о прибылях и убытках за второй квартал 2023 года, что в три раза больше, чем годом ранее.

По данным WallStreetZen, компании, которые упомянули ИИ в своих отчетах о прибылях и убытках, увидели рост цены своих акций больше, чем те, которые этого не делали: в среднем на 4,6% по сравнению с 2,4%. Неясно, является ли это причинно-следственной связью (ИИ делает эти компании более успешными) или корреляцией (компании успешны, потому что быстро адаптируются к новым технологиям).

Фактор 3: Низкий порог входа для создания приложений ИИ.

Подход «модель как услуга», популяризированный OpenAI и другими поставщиками моделей, упрощает использование ИИ для создания приложений. При таком подходе модели предоставляются через API, которые получают запросы пользователей и возвращают выходные данные модели. Без этих API использование модели ИИ требует инфраструктуры для размещения и обслуживания этой модели. Эти API предоставляют доступ к мощным моделям через единый API.

Мало того, искусственный интеллект также позволяет создавать приложения с минимальным кодированием. Во-первых, ИИ может писать код за вас, позволяя людям без опыта разработки программного обеспечения быстро превращать свои идеи в код и предлагать их своим пользователям. Во-вторых, вы можете работать с этими моделями на простом английском языке, а не использовать язык программирования.

Из-за ресурсов, необходимых для разработки базовых моделей, этот процесс возможен только для крупных корпораций (Google, Meta, Microsoft, Baidu, Tencent), правительств (Япония, ОАЭ) и амбициозных, хорошо финансируемых стартапов (OpenAI, Anthropic, Mistral). В интервью в сентябре 2022 года Сэм Альтман, генеральный директор OpenAI, сказал, что самой большой возможностью для подавляющего большинства людей будет адаптация этих моделей для конкретных приложений.

Мир быстро воспользовался этой возможностью. Инженерия искусственного интеллекта быстро превратилась в одну из самых быстрых и, вполне возможно, самых быстрорастущих инженерных дисциплин. Инструменты для разработки ИИ набирают обороты быстрее, чем любые предыдущие инструменты разработки программного обеспечения. Всего за два года четыре инструмента разработки искусственного интеллекта с открытым исходным кодом (AutoGPT, Stable Diffusion eb UI, LangChain, Ollama) уже собрали больше звезд на GitHub, чем Bitcoin. Они находятся на пути к тому, чтобы превзойти даже самые популярные фреймворки для веб-разработки, включая React и Vue, по количеству звезд.

Опрос LinkedIn, проведенный в августе 2023 года, показывает, что количество специалистов, добавляющих в свой профиль такие термины, как «Генеративный ИИ», «ChatGPT», «Быстрая разработка» и «Быстрое создание», увеличивалось в среднем на 75% каждый месяц. ComputerWorld заявил, что «обучение ИИ поведению является самым быстрорастущим навыком в карьере».

Почему появился термин «инженерия искусственного интеллекта»? Для описания процесса создания приложений на основе моделей фундаментов используется множество терминов, включая машинное обучение, MLOps, AIOps, LLMOps и т. д. Термина «инженерное обучение» будет недостаточно для описания этой дифференциации. Тем не менее, инженерия машинного обучения – отличный термин для охвата обоих процессов.

Быстро растущее сообщество инженеров ИИ продемонстрировало замечательную креативность с невероятным спектром захватывающих приложений. В следующем разделе будут рассмотрены некоторые из наиболее распространенных шаблонов применения.

Количество потенциальных приложений, которые вы можете создать с помощью моделей фундамента, кажется бесконечным. Какой бы вариант использования вы ни придумали, для этого, вероятно, найдется искусственный интеллект. Невозможно перечислить все потенциальные варианты использования ИИ.

Даже попытка категоризировать эти варианты использования является сложной задачей, так как в разных опросах используются разные категории. Например, Amazon Web Services (AWS) разделила корпоративные сценарии использования генеративного ИИ на три категории: качество обслуживания клиентов, производительность сотрудников и оптимизация процессов. Некоторые организации, такие как Deloitte, классифицируют сценарии использования по признаку получения ценности, например, снижение затрат, эффективность процессов, рост и ускорение инноваций. Для получения ценности у Gartner есть категория непрерывности бизнеса, что означает, что организация может выйти из бизнеса, если не внедрит генеративный ИИ. Из 2 500 руководителей, опрошенных Gartner в 2023 году, 7% назвали непрерывность бизнеса мотивацией для внедрения генеративного ИИ. В 2023 году провели отличное исследование о том, насколько различные профессии подвержены воздействию ИИ, авторы исследования определили задачу как открытую, если ИИ и программное обеспечение на основе ИИ могут сократить время, необходимое для выполнения этой задачи, как минимум на 50%. Профессия с 80% подверженностью означает, что 80% задач профессии подвержены риску. Согласно исследованию, профессии со 100% или почти 100% подверженностью включают устных и письменных переводчиков, специалистов по подготовке налоговых деклараций, веб-дизайнеров и писателей. Неудивительно, что профессии, не связанные с искусственным интеллектом, включают поваров, каменщиков и спортсменов. Это исследование дает хорошее представление о том, для каких сценариев использования подходит ИИ.

Поскольку базовые модели являются общими, приложения, построенные на их основе, могут решить множество проблем. Это означает, что приложение может принадлежать более чем к одной категории. Например, бот может предоставлять общение и обобщать информацию. Приложение может помочь вам извлечь структурированные данные из PDF-файла и ответить на вопросы об этом PDF-файле.

Обратите внимание, что небольшой процент сценариев использования в сфере образования, организации данных и написания статей не означает, что эти сценарии использования не пользуются популярностью. Это просто означает, что эти приложения не имеют открытого исходного кода. Создатели этих приложений могут найти их более подходящими для корпоративных сценариев использования.

Корпоративный мир, как правило, отдает предпочтение приложениям с меньшими рисками. Например, отчет Growth за 2024 год показал, что компании быстрее развертывают внутренние приложения (управление внутренними знаниями), чем внешние приложения (чат-боты службы поддержки клиентов). Внутренние приложения помогают компаниям развивать свой опыт в области ИИ, сводя к минимуму риски, связанные с конфиденциальностью данных, соблюдением нормативных требований и потенциальными катастрофическими сбоями. Аналогичным образом, в то время как базовые модели являются открытыми и могут использоваться для любых задач, многие приложения, построенные на их основе, все еще являются закрытыми, например, классификация. Задачи классификации легче оценить, что облегчает оценку их рисков.

На заре Интернета мало кто предвидел, что в один прекрасный день доминирующим вариантом использования в Интернете станут социальные сети. По мере того, как мы учимся извлекать максимальную пользу из ИИ, сценарий использования, который в конечном итоге будет доминировать, может нас удивить. Если повезет, сюрприз будет хорошим.

Во многих исследованиях генеративного ИИ программирование является самым популярным вариантом использования. Инструменты программирования ИИ популярны как потому, что ИИ хорошо справляется с программированием, так и потому, что ранние инженеры ИИ – это программисты, которые более подвержены проблемам кодирования. Одним из первых успехов базовых моделей в производстве является инструмент автозавершения кода GitHub Copilot, годовой доход которого превысил 100 миллионов долларов всего через два года после запуска. Стартапы по программированию на основе искусственного интеллекта привлекли сотни миллионов долларов, при этом Magic привлекла 320 миллионов долларов, а Anysphere – 60 миллионов долларов, оба в августе 2024 года. Инструменты программирования с открытым исходным кодом, такие как gpt-engineer и screenshot-to-code, получили 50 000 звезд на GitHub в течение года, и многие другие быстро внедряются.

Помимо инструментов, которые помогают в общем кодировании, многие инструменты специализируются на определенных задачах кодирования. Вот примеры таких задач: извлечение структурированных данных из веб-страниц и PDF-файлов (AgentGPT); преобразование родного языка в код (DB-GPT, SQL Chat, PandasAI); наличие дизайна или скриншота, генерация кода, который будет отображаться на веб-сайте, похожем на заданное изображение (screenshot-to-code, draw-a-ui); перевод с одного языка программирования или фреймворка на другой (GPTMigrate, AI Code Translator); написание документации (Autodoc); создание тестов (PentestGPT); генерация сообщений коммитов (AI Commits).

Очевидно, что ИИ может выполнять множество задач по разработке программного обеспечения. Вопрос в том, сможет ли ИИ полностью автоматизировать разработку программного обеспечения. С одной стороны, Дженсен Хуанг, генеральный директор NVIDIA, предсказывает, что искусственный интеллект заменит инженеров-программистов и что мы должны перестать говорить, что дети должны учиться программированию. В просочившейся записи генеральный директор AWS Мэтт Гарман поделился, что в ближайшем будущем большинство разработчиков перестанут заниматься программированием. Он не имеет в виду, что это конец разработчиков программного обеспечения; просто их рабочие места будут меняться. С другой стороны, многие инженеры-программисты убеждены, что их никогда не заменит ИИ, как по техническим, так и по эмоциональным причинам (люди не любят признавать, что их можно заменить).

Программная инженерия состоит из множества задач. ИИ лучше справляется с некоторыми задачами, чем с другими. Исследователи McKinsey обнаружили, что ИИ может помочь разработчикам быть в два раза продуктивнее при создании документации и на 25–50% продуктивнее при генерации кода и рефакторинге кода. Минимальное повышение производительности наблюдалось при выполнении задач высокой сложности. В беседах с разработчиками инструментов программирования ИИ многие говорили мне, что они заметили, что ИИ намного лучше справляется с фронтенд-разработкой, чем с бэкенд-разработкой.

Независимо от того, заменит ли ИИ инженеров-программистов, ИИ, безусловно, может сделать их более продуктивными. Это означает, что теперь компании могут добиваться большего с меньшим количеством инженеров. ИИ также может нарушить индустрию аутсорсинга, поскольку аутсорсинговые задачи, как правило, являются более простыми за пределами основного бизнеса компании.

Благодаря своей вероятностной природе ИИ отлично подходит для творческих задач. Одними из самых успешных стартапов в области искусственного интеллекта являются творческие приложения, такие как Midjourney для генерации изображений, Adobe Firefly для редактирования фотографий, а также Runway для создания видео. В конце 2023 года, в возрасте полутора лет, Midjourney уже приносила 200 миллионов долларов годового регулярного дохода. По состоянию на декабрь 2023 года среди 10 лучших бесплатных приложений для графики и дизайна в Apple App Store половина имеет в своем названии ИИ.

В настоящее время широко используется искусственный интеллект для создания изображений профиля для социальных сетей, от LinkedIn до TikTok. Многие кандидаты считают, что снимки головы, созданные искусственным интеллектом, могут помочь им проявить себя с лучшей стороны и увеличить шансы на получение работы. Восприятие фотографий профиля, сгенерированных искусственным интеллектом, значительно изменилось. В 2019 году Facebook заблокировал аккаунты, использующие фотографии профиля, созданные искусственным интеллектом, из соображений безопасности. В 2023 году многие приложения для социальных сетей предоставляют инструменты, которые позволяют пользователям использовать искусственный интеллект для создания фотографий профиля.

Для предприятий реклама и маркетинг быстро внедрили ИИ. ИИ можно использовать для непосредственного создания рекламных изображений и видео. Это может помочь в мозговом штурме идей или создании первых черновиков для экспертов. Вы можете использовать искусственный интеллект для создания нескольких объявлений и тестирования, чтобы увидеть, какое из них лучше всего подходит для аудитории. ИИ может генерировать варианты ваших объявлений в зависимости от сезона и местоположения. Например, вы можете использовать искусственный интеллект для изменения цвета листьев осенью или добавления снега на землю зимой.

Искусственный интеллект уже давно используется для помощи в написании текстов. Если вы используете смартфон, вы, вероятно, знакомы с автозаменой и автозаполнением, которые работают на основе искусственного интеллекта. Написание текстов – идеальное приложение для ИИ, потому что мы делаем это часто, это может быть довольно утомительно, и у нас высокая терпимость к ошибкам. Если модель предлагает что-то, что вам не нравится, вы можете просто проигнорировать это.

Неудивительно, что LLM хороши в написании текстов, учитывая, что они обучены доработке текста. Чтобы изучить влияние ChatGPT на письмо, в исследовании MIT (Noy and Zhang, 2023) 453 специалиста с высшим образованием были назначены письменные задания по конкретным профессиям, и половина из них случайным образом подверглась воздействию ChatGPT. Их результаты показывают, что среди тех, кто использовал ChatGPT, среднее затрачиваемое время сократилось на 40%, а качество вывода выросло на 18%. ChatGPT помогает сократить разрыв в качестве вывода между сотрудниками, а это означает, что он более полезен для тех, у кого меньше склонности к письму. Работники, подвергшиеся воздействию ChatGPT во время эксперимента, в 2 раза чаще сообщали об использовании его на своей реальной работе через две недели после эксперимента и в 1,6 раза чаще через два месяца после этого.

Для потребителей варианты использования очевидны. Многие используют искусственный интеллект, чтобы улучшить общение. Вы можете разозлиться в электронном письме и попросить ИИ сделать его приятным. Вы можете поставить ему маркированные точки и получить обратно полные абзацы. Несколько человек заявили, что больше не отправляют важные электронные письма, не попросив ИИ сначала улучшить его.

Студенты используют искусственный интеллект для написания эссе. Писатели используют искусственный интеллект для написания книг. Многие стартапы уже используют ИИ для создания детских, фанфиков, романтических и фэнтезийных книг. В отличие от традиционных книг, книги, созданные искусственным интеллектом, могут быть интерактивными, так как сюжет книги может меняться в зависимости от предпочтений читателя. Это означает, что читатели могут активно участвовать в создании истории, которую они читают. Приложение для детского чтения определяет слова, с которыми у ребенка возникают проблемы, и создает истории, сосредоточенные вокруг этих слов.

Приложения для создания заметок и электронной почты, такие как Google Docs или Notion, используют искусственный интеллект, чтобы помочь пользователям улучшить свое письмо. Grammarly, приложение-помощник по письму, настраивает модель, чтобы сделать письмо пользователей более плавным, связным и ясным.

Способностью ИИ к письму также можно злоупотреблять. В 2023 году New York Times сообщила, что Amazon наводнен дрянными путеводителями, созданными искусственным интеллектом, каждый из которых снабжен биографией автора, веб-сайтом и восторженными отзывами, созданными искусственным интеллектом.

Для предприятий написание текстов на основе ИИ широко распространено в продажах, маркетинге и общении в команде. Многие менеджеры рассказали мне, что они используют искусственный интеллект для написания отчетов о производительности. ИИ может помочь в создании эффективных электронных писем для холодной аутрич-рассылки, копирайтинга объявлений и описаний продуктов. Приложения для управления взаимоотношениями с клиентами (CRM), такие как HubSpot и Salesforce, также имеют инструменты для корпоративных пользователей для создания веб-контента и электронных писем.

ИИ кажется особенно хорошим в SEO, возможно, потому что многие модели ИИ обучаются на данных из Интернета, которые заполняются SEO-оптимизированным текстом. ИИ настолько хорош в SEO, что он позволил создать новое поколение контент-ферм. Эти фермы создают мусорные веб-сайты и наполняют их контентом, созданным искусственным интеллектом, чтобы они занимали высокие позиции в Google и привлекали на них трафик. Затем они продают рекламные места через рекламные биржи. В июне 2023 года NewsGuard обнаружил почти 400 объявлений от 141 популярного бренда на мусорных веб-сайтах, созданных искусственным интеллектом. Один из этих мусорных сайтов выпускал 1200 статей в день. Если не будет предпринято что-то, чтобы ограничить это, будущее интернет-контента будет создано искусственным интеллектом, и оно будет довольно мрачным.

Всякий раз, когда ChatGPT не работает, сервер OpenAI в Discord наводнен студентами, жалующимися на то, что они не могут выполнить домашнее задание. Несколько учебных заведений поспешили запретить ChatGPT, опасаясь, что ученики будут использовать его для списывания, но всего через несколько месяцев отменили свои решения.

Вместо того, чтобы запрещать ИИ, школы могли бы внедрить его, чтобы помочь учащимся учиться быстрее. ИИ может обобщать учебники и создавать персонализированные планы лекций для каждого студента. Странно, что реклама персонализирована, потому что мы знаем, что все люди разные, а образование – нет. ИИ может помочь адаптировать материалы к формату, наиболее подходящему для каждого студента. Аудиалы могут попросить ИИ прочитать материалы вслух. Учащиеся, которые любят животных, могут использовать искусственный интеллект для адаптации визуализаций, чтобы показать больше животных. Те, кому легче читать код, чем математические уравнения, могут попросить ИИ перевести математические уравнения в код.

ИИ особенно полезен для изучения языка, так как вы можете попросить его разыграть различные сценарии практики. Паяк и Бикнелл (Duolingo, 2022) обнаружили, что из четырех этапов создания курса персонализация уроков – это этап, который может извлечь наибольшую пользу из ИИ.

ИИ может генерировать тесты, как с несколькими вариантами ответов, так и с открытым выбором, и оценивать ответы. ИИ может стать партнером по дебатам, поскольку он гораздо лучше представляет различные точки зрения на одну и ту же тему, чем среднестатистический человек. Например, Академия Хана предлагает студентам ассистентов преподавателей на основе искусственного интеллекта, а преподавателям – ассистентов по курсам. Инновационный метод обучения заключается в том, что учителя назначают студентам эссе, созданные искусственным интеллектом, чтобы найти и исправить ошибки.

В то время как многие образовательные компании используют ИИ для создания более качественных продуктов, многие из них обнаруживают, что их обеды отнимает ИИ. Например, цена акций Chegg, компании, которая помогает студентам с домашним заданием, упала с 28 долларов при запуске ChatGPT в ноябре 2022 года до 2 долларов в сентябре 2024 года, поскольку студенты обратились за помощью к искусственному интеллекту. Если риск заключается в том, что ИИ может заменить многие навыки, то возможность заключается в том, что ИИ можно использовать в качестве репетитора для обучения любому навыку. Для многих навыков ИИ может помочь кому-то быстро освоиться, а затем продолжить обучение самостоятельно, чтобы стать лучше ИИ.

Разговорные боты универсальны. Они могут помочь нам найти информацию, объяснить концепции и провести мозговой штурм идей. ИИ может стать вашим спутником и терапевтом. Он может имитировать личности, позволяя вам разговаривать с цифровой копией кого угодно, кто вам нравится. Цифровые подруги и бойфренды стали странно популярными за невероятно короткий промежуток времени. Многие уже тратят больше времени на общение с ботами, чем с людьми (см. обсуждения здесь и здесь). Некоторые беспокоятся, что ИИ испортит знакомства. В ходе исследований люди также обнаружили, что они могут использовать группу разговорных ботов для моделирования общества, что позволяет им проводить исследования социальной динамики.

Для предприятий наиболее популярными ботами являются боты службы поддержки клиентов. Они могут помочь компаниям сократить расходы и улучшить качество обслуживания клиентов, поскольку они могут отвечать пользователям быстрее, чем операторы. ИИ также может быть помощником пилота продукта, который помогает клиентам выполнять болезненные и запутанные задачи, такие как подача страховых претензий, уплата налогов или поиск корпоративных полисов.

Успех ChatGPT вызвал волну текстовых разговорных ботов. Однако текст – не единственный интерфейс для разговорных операторов. Голосовые помощники, такие как Google Assistant, Siri и Alexa, существуют уже много лет. 3D-боты уже распространены в играх и набирают обороты в розничной торговле и маркетинге.

Одним из вариантов использования 3D-персонажей на основе искусственного интеллекта являются умные NPC, неигровые персонажи (см. демонстрации NVIDIA для Inworld и Convai). NPC необходимы для продвижения сюжетной линии многих игр. Без ИИ NPC обычно заскриптованы на выполнение простых действий с ограниченным набором диалогов. ИИ может сделать этих NPC намного умнее. Интеллектуальные боты могут изменить динамику существующих игр, таких как The Sims и Skyrim, а также сделать возможными новые игры.

Многие люди считают, что наш успех зависит от нашего умения фильтровать и усваивать полезную информацию. Однако следить за электронной почтой, сообщениями в Slack и новостями иногда бывает непросто. К счастью, на помощь пришел искусственный интеллект. ИИ доказал свою способность агрегировать информацию и обобщать ее. Согласно исследованию Salesforce Generative AI Snapshot Research за 2023 год, 74% пользователей генеративного ИИ используют его для выделения сложных идей и обобщения информации.

Для потребителей многие приложения могут обрабатывать ваши документы – контракты, раскрытия информации, бумаги – и позволяют вам извлекать информацию в разговорной манере. Этот вариант использования также называется «поговорите со своими документами». ИИ может помочь вам обобщить веб-сайты, провести исследования и создать отчеты по выбранным вами темам.

Агрегация и дистилляция информации имеют важное значение для работы предприятия. Более эффективная агрегация и диссимиляция информации может помочь организации стать более компактной, так как это снижает нагрузку на руководителей среднего звена. Когда Instacart запустил внутреннюю торговую площадку подсказок, она обнаружила, что одним из самых популярных шаблонов подсказок является «Быстрая разбивка». В этом шаблоне ИИ предлагается обобщить заметки о встречах, электронные письма и беседы в Slack с фактами, открытыми вопросами и действиями. Эти действия затем могут быть автоматически вставлены в инструмент отслеживания проекта и назначены правым владельцам. Искусственный интеллект может помочь вам получить критически важную информацию о ваших потенциальных клиентах и провести анализ ваших конкурентов. Чем больше информации вы соберете, тем важнее ее систематизировать. Агрегация информации идет рука об руку с организацией данных.

Одно можно сказать наверняка: в будущем мы будем продолжать производить все больше и больше данных. Пользователи смартфонов продолжат снимать фото и видео. Компании продолжат регистрировать все о своих продуктах, сотрудниках и клиентах. Каждый год заключаются миллиарды контрактов. Фотографии, видео, журналы и PDF-файлы – это неструктурированные или полуструктурированные данные. Очень важно организовать все эти данные таким образом, чтобы их можно было найти позже. ИИ может помочь именно в этом. ИИ может автоматически создавать текстовые описания изображений и видео или сопоставлять текстовые запросы с визуальными элементами, которые соответствуют этим запросам. Такие сервисы, как Google Photos, уже используют искусственный интеллект для отображения изображений, соответствующих поисковым запросам. Google Image Search идет еще дальше: если нет изображений, соответствующих потребностям пользователей, он может их сгенерировать. ИИ очень хорошо справляется с анализом данных. Он может писать программы для визуализации данных, выявления выбросов и составления прогнозов, таких как прогнозы доходов.

Предприятия могут использовать искусственный интеллект для извлечения структурированной информации из неструктурированных данных, которые могут быть использованы для организации данных и их поиска. Простые варианты использования включают автоматическое извлечение информации из кредитных карт, водительских прав, квитанций, билетов, контактной информации из нижних колонтитулов электронной почты и так далее. Более сложные сценарии использования включают извлечение данных из контрактов, отчетов, диаграмм и т. д. По оценкам, к 2030 году индустрия IDP, интеллектуальной обработки данных, достигнет $12,81 млрд, увеличиваясь на 32,9% каждый год.

В конечном счете, ИИ должен автоматизировать как можно больше. Конечным пользователям автоматизация может помочь в решении скучных повседневных задач, таких как бронирование ресторанов, запрос возврата, планирование поездок и заполнение форм. Для предприятий ИИ может автоматизировать повторяющиеся задачи, такие как управление лидами, выставление счетов, возмещение расходов, управление запросами клиентов, ввод данных и так далее. Одним из особенно интересных вариантов использования является использование моделей ИИ для синтеза данных, которые затем могут быть использованы для улучшения самих моделей. Вы можете использовать искусственный интеллект для создания меток для ваших данных, зацикливая людей для улучшения меток. Доступ к внешним инструментам необходим для выполнения многих задач. Чтобы забронировать ресторан, приложению может потребоваться разрешение на открытие поисковой системы для поиска номера ресторана, использование телефона для совершения звонков и добавление встреч в календарь. ИИ, которые могут планировать и использовать инструменты, называются агентами. Уровень интереса к агентам граничит с одержимостью, но он не совсем необоснованный. Агенты ИИ могут сделать каждого человека значительно более продуктивным и принести гораздо больше экономической ценности.

Учитывая, казалось бы, безграничный потенциал искусственного интеллекта, заманчиво заняться созданием приложений. Если вы просто хотите учиться и получать удовольствие, приступайте к работе. Однако, если вы зарабатываете этим на жизнь, возможно, стоит сделать шаг назад и подумать. С помощью базовых моделей легко создать крутую демонстрацию. Сложно создать прибыльный продукт.

Первый вопрос, который следует задать, – зачем вы хотите создать это приложение. Как и многие бизнес-решения, создание приложения ИИ часто является ответом на риски и возможности. Вот несколько примеров различных уровней рисков, упорядоченных от высокого к низкому:

1. Если вы этого не сделаете, конкуренты с искусственным интеллектом могут сделать вас устаревшим. Если ИИ представляет собой серьезную экзистенциальную угрозу для вашего бизнеса, внедрение ИИ должно иметь наивысший приоритет. В исследовании Gartner за 2023 год 7% назвали непрерывность бизнеса причиной внедрения ИИ. Это более характерно для предприятий, занимающихся обработкой документов и агрегацией информации, таких как финансовый анализ, страхование и обработка данных. Это также характерно для творческих работ, таких как реклама, веб-дизайн и производство изображений.

2. Если вы этого не сделаете, вы упустите возможности для увеличения прибыли и производительности. Большинство компаний используют ИИ из-за возможностей, которые он предоставляет. ИИ может помочь в большинстве, если не во всех, бизнес-операциях. ИИ может сделать привлечение пользователей дешевле за счет создания более эффективных копирайтеров, описаний продуктов и рекламного визуального контента. ИИ может повысить удержание пользователей за счет улучшения поддержки клиентов и настройки пользовательского опыта. ИИ также может помочь в генерации лидов в продажах, внутренней коммуникации, исследовании рынка и отслеживании конкурентов.

3. Вы еще не уверены, какое место ИИ займет в вашем бизнесе, но не хотите отставать. В то время как компания не должна гнаться за каждым поездом хайпа, многие потерпели неудачу, слишком долго ожидая, чтобы сделать прыжок (как, например, Kodak). Инвестирование ресурсов в понимание того, как новая, трансформационная технология может повлиять на ваш бизнес, – неплохая идея, если вы можете себе это позволить. В крупных компаниях это может быть частью отдела исследований и разработок.

Как только вы найдете вескую причину для разработки этого варианта использования, вы можете подумать, нужно ли вам создавать его самостоятельно. Если ИИ представляет собой экзистенциальную угрозу для вашего бизнеса, вы, возможно, захотите заняться ИИ самостоятельно, а не передавать его на аутсорсинг конкурентам.

Однако, если вы используете искусственный интеллект для увеличения прибыли и производительности, у вас может быть множество вариантов покупки, которые могут сэкономить ваше время и деньги, обеспечивая при этом лучшую производительность. То, какую роль ИИ играет в продукте ИИ, влияет на разработку приложения и его требования. У Apple есть отличный документ, объясняющий различные способы использования ИИ в продукте.

Если приложение все еще может работать без ИИ, ИИ дополняет приложение. Например, Face ID не будет работать без распознавания лиц на основе искусственного интеллекта, в то время как Gmail все равно будет работать без Smart Compose. Чем более критичен ИИ для приложения, тем более точной и надежной должна быть часть ИИ. Люди более терпимы к ошибкам, когда ИИ не является ядром приложения.

Реактивная функция показывает свои ответы в ответ на запросы или конкретные действия пользователей, в то время как проактивная функция показывает свои ответы, когда для этого есть возможность. Например, чат-бот является реактивным, в то время как предупреждения о дорожном движении на Google Картах являются проактивными.

Поскольку реактивные функции создаются в ответ на события, они обычно, но не всегда, должны происходить быстро. С другой стороны, упреждающие функции могут быть предварительно вычислены и отображены в удобном виде, поэтому задержка менее важна.

Поскольку пользователи не просят об упреждающих функциях, они могут рассматривать их как навязчивые или раздражающие, если качество низкое. Таким образом, упреждающие прогнозы и поколения обычно имеют более высокую шкалу качества.

Динамические функции постоянно обновляются с учетом отзывов пользователей, в то время как статические функции обновляются периодически. Например, Face ID необходимо обновлять по мере изменения лиц людей с течением времени. Однако обнаружение объектов в Google Фото, скорее всего, обновляется только при обновлении Google Фото.

В случае с искусственным интеллектом динамические функции могут означать, что у каждого пользователя есть своя собственная модель, постоянно настраиваемая на основе его данных, или другие механизмы персонализации, такие как функция памяти ChatGPT, которая позволяет ChatGPT запоминать предпочтения каждого пользователя. Однако статические функции могут иметь одну модель для группы пользователей. В этом случае эти функции обновляются только при обновлении общей модели.

Также важно уточнить роль человека в приложении. Будет ли ИИ оказывать фоновую поддержку людям, принимать решения напрямую или и то, и другое? Например, для чат-бота службы поддержки ИИ ответы могут использоваться по-разному: ИИ показывает несколько ответов, на которые операторы могут ссылаться для написания более быстрых ответов; ИИ реагирует только на простые запросы и направляет более сложные запросы людям; ИИ отвечает на все запросы напрямую, без участия человека.

Вовлечение людей в процессы принятия решений ИИ называется «человек в контуре». Microsoft (2023) предложила фреймворк для постепенного увеличения автоматизации ИИ в продуктах, которые они называют Crawl-Walk-Run: crawl означает, что участие человека является обязательным; walk означает, что ИИ может напрямую взаимодействовать с внутренними сотрудниками; run означает повышенную автоматизацию, потенциально включающую прямое взаимодействие ИИ с внешними пользователями.

Роль человека может меняться со временем по мере улучшения качества системы искусственного интеллекта. Например, в самом начале, когда вы все еще оцениваете возможности ИИ, вы можете использовать его для создания предложений для агентов-людей. Если уровень принятия агентами-людьми высок, например, 95% ответов на простые запросы, предложенных ИИ на простые запросы, используются агентами-людьми дословно, вы можете позволить клиентам напрямую взаимодействовать с ИИ для этих простых запросов.

Если вы продаете приложения ИИ как отдельные продукты, важно учитывать их защиту. Низкий входной барьер – это одновременно и благословение, и проклятие. Если вам легко построить, то и вашим конкурентам тоже легко. Какие рвы у вас есть для защиты вашего продукта?

В некотором смысле, создание приложений на основе моделей фундамента означает создание слоя поверх этих моделей. Это также означает, что, если базовые модели расширяют свои возможности, предоставленный вами слой может быть поглощен моделями, что сделает ваше приложение устаревшим. Представьте себе создание приложения для разбора PDF-файлов на основе ChatGPT, основанного на предположении, что ChatGPT не может хорошо анализировать PDF-файлы или не может делать это в масштабе. Ваша способность конкурировать ослабнет, если это предположение больше не будет верным. Тем не менее, даже в этом случае приложение для анализа PDF-файлов может иметь смысл, если оно построено на основе моделей с открытым исходным кодом, ориентируя ваше решение на пользователей, которые хотят размещать модели внутри компании.

В ИИ обычно есть три типа конкурентных преимуществ: технологии, данные и распространение – способность представить свой продукт пользователям. При использовании базовых моделей основные технологии большинства компаний будут схожими. Преимущество в распространении, скорее всего, принадлежит крупным компаниям.

Преимущество данных имеет больше нюансов. Крупные компании, вероятно, имеют больше существующих данных. Однако, если стартап сможет первым выйти на рынок и собрать достаточно данных об использовании для постоянного улучшения своих продуктов, данные станут для него рвом. Даже в тех сценариях, где пользовательские данные не могут быть использованы для непосредственного обучения моделей, информация об использовании может дать бесценную информацию о поведении пользователей и недостатках продукта, которую можно использовать для руководства процессом сбора данных и обучения.

Было много успешных компаний, чьи оригинальные продукты могли бы быть особенностями более крупных продуктов. Календарь мог бы быть функцией Google Календаря. Mailchimp мог бы быть функцией Gmail. Фотокомната могла бы быть функцией Google Фото. Многие стартапы в конечном итоге обгоняют более крупных конкурентов, начиная с создания функции, которую эти более крупные конкуренты упустили из виду. Возможно, ваш может стать следующим.

Как только вы решили, что вам нужно создать это удивительное приложение с искусственным интеллектом самостоятельно, следующим шагом будет выяснение того, как выглядит успех: как вы будете измерять успех? Самый важный показатель – как это повлияет на ваш бизнес. Например, если это чат-бот службы поддержки клиентов, бизнес-метрики могут включать следующее: какой процент сообщений клиентов вы хотите, чтобы чат-бот автоматизировал? сколько еще сообщений должен разрешить обработать чат-бот? насколько быстрее вы можете ответить с помощью чат-бота? сколько человеческого труда может сэкономить вам чат-бот?

Чат-бот может ответить на большее количество сообщений, но это не значит, что он сделает пользователей счастливыми, поэтому важно отслеживать удовлетворенность клиентов и отзывы клиентов в целом. Чтобы гарантировать, что продукт не будет представлен клиентам до того, как он будет готов, имейте четкие ожидания относительно порога его полезности: насколько хорошим он должен быть, чтобы быть полезным. Пороговые значения полезности могут включать следующие группы метрик. В частности, метрики качества для измерения качества ответов чат-бота. Метрики задержки, включая TTFT (время до первого токена), TPOT (время на выходной токен) и общую задержку. То, что считается допустимой задержкой, зависит от вашего сценария использования. Если все запросы ваших клиентов в настоящее время обрабатываются людьми со средним временем ответа в час, может быть достаточно чего-то более быстрого. Метрики стоимости: сколько стоит один запрос на вывод. Другие метрики, такие как интерпретируемость и справедливость. Если вы еще не уверены, какие метрики хотите использовать, не волнуйтесь. Остальная часть книги будет посвящена многим из этих показателей.

После того, как вы поставили измеримые цели, вам нужен план для их достижения. Как добраться до целей, зависит от того, с чего вы начнете. Оцените существующие модели, чтобы понять их возможности. Чем прочнее готовые модели, тем меньше работы вам придется выполнять. Например, если ваша цель состоит в том, чтобы автоматизировать 60% тикетов клиентской поддержки, а готовая модель, которую вы хотите использовать, уже может автоматизировать 30% тикетов, то усилия, которые вам нужно приложить, могут быть меньше, чем если бы она вообще не могла автоматизировать тикеты.

Вполне вероятно, что ваши цели изменятся после оценки. Например, после оценки вы можете понять, что ресурсы, необходимые для того, чтобы довести приложение до порога полезности, будут больше, чем его потенциальная отдача, и, следовательно, вы больше не хотите заниматься этим проектом.

При планировании продукта ИИ необходимо учитывать его задачу «последней мили». Первоначальный успех при использовании базовых моделей может ввести в заблуждение. Поскольку базовые возможности моделей фундаментов уже весьма впечатляют, создание увлекательной демонстрации может не занять много времени. Тем не менее, хорошая первоначальная демонстрация не обещает хорошего конечного продукта. На создание демонстрации могут уйти выходные, а на создание продукта уйдут месяцы и даже годы.

Планирование продукта не останавливается на достижении поставленных целей. Нужно подумать о том, как этот продукт может измениться со временем и как его следует обслуживать. Обслуживание продукта ИИ сопряжено с дополнительной проблемой в виде быстрого темпа изменений ИИ. В последнее десятилетие пространство искусственного интеллекта развивается невероятно быстро. Вероятно, он будет продолжать быстро развиваться в течение следующего десятилетия. Строить на основе фундаментных моделей сегодня означает взять на себя обязательство ездить на этом сверхскоростном поезде.

Многие изменения выглядят хорошо. Например, устраняются ограничения многих моделей. Длина контекста становится все длиннее. Выходные данные моделей становятся все лучше. Вывод моделей, процесс вычисления выходных данных с учетом входных данных, становится все быстрее и дешевле.

Однако даже эти положительные изменения могут вызвать неудобства в рабочих процессах. Вам придется постоянно быть начеку и проводить анализ затрат и выгод от каждой инвестиции в технологию. Лучший вариант сегодня может превратиться в худший вариант завтра. Вы можете решить создать модель самостоятельно, потому что это кажется дешевле, чем платить поставщикам моделей только для того, чтобы через три месяца узнать, что поставщики моделей снизили свои цены вдвое, что делает домашнюю модель более дорогим вариантом. Вы можете инвестировать в стороннее решение и адаптировать свою инфраструктуру под него, но поставщик прекратит свою деятельность после того, как не сможет обеспечить финансирование.

К некоторым изменениям легче адаптироваться. Например, по мере того как поставщики моделей сходятся к одному и тому же API, становится проще заменять один API модели на другой. Однако, поскольку у каждой модели есть свои особенности, сильные и слабые стороны, разработчикам, работающим с новой моделью, потребуется адаптировать свои рабочие процессы, подсказки и данные к этой новой модели. Без надлежащей инфраструктуры для управления версиями и оценки этот процесс может вызвать много головной боли.

К некоторым изменениям адаптироваться сложнее, особенно к тем, которые связаны с регулированием. Технологии, связанные с ИИ, считаются вопросами национальной безопасности во многих странах, а это означает, что ресурсы для ИИ, включая вычислительные ресурсы, таланты и данные, строго регулируются. Например, введение Общего регламента по защите данных (GDPR) в Европе, по оценкам, обойдется компаниям в 9 миллиардов долларов для обеспечения соответствия. Доступность вычислительных ресурсов может измениться в одночасье, поскольку новые законы накладывают больше ограничений на то, кто может покупать и продавать вычислительные ресурсы (см. Указ президента США от октября 2023 г.). Если вашему поставщику графических процессоров внезапно запретили продавать графические процессоры в вашу страну, у вас проблемы. Некоторые изменения могут даже привести к летальному исходу. Например, регулирование интеллектуальной собственности (ИС) и использования ИИ все еще находится в стадии разработки. Если вы создадите свой продукт на основе модели, обученной с использованием данных других людей, можете ли вы быть уверены, что интеллектуальная собственность вашего продукта всегда будет принадлежать вам? Многие компании такие как игровые студии, не решаются использовать ИИ, опасаясь потерять свои IP-адреса в будущем.

После того, как вы решили создать продукт ИИ, давайте рассмотрим инженерный стек, необходимый для создания этих приложений.

Быстрый рост инженерии искусственного интеллекта также вызвал невероятный ажиотаж. Количество новых инструментов, методов, моделей и приложений, представляемых каждый день, может быть ошеломляющим. Вместо того, чтобы пытаться идти в ногу с постоянно меняющимся песком, давайте рассмотрим фундаментальные строительные блоки инженерии ИИ. Чтобы понять инженерию ИИ, важно признать, что инженерия ИИ развилась из инженерии машинного обучения. Когда компания начинает экспериментировать с базовыми моделями, вполне естественно, что ее существующая команда ML должна возглавить эту работу. Независимо от того, где в организациях расположены инженеры ИИ и инженеры машинного обучения, их роли в значительной степени пересекаются. Существующие инженеры машинного обучения могут добавить инженерию искусственного интеллекта в свои списки навыков, чтобы расширить свои перспективы трудоустройства. Однако есть и инженеры ИИ, у которых нет опыта работы с машинным обучением.

Чтобы лучше понять инженерию ИИ и ее отличие от традиционной инженерии машинного обучения, в следующем разделе разбиты различные уровни процесса создания приложений ИИ и рассмотрена роль, которую каждый уровень играет в разработке ИИ и инженерии машинного обучения. В любом стеке приложений ИИ есть три уровня: разработка приложений, разработка моделей и инфраструктура. При разработке приложения ИИ вы, скорее всего, начнете с верхнего слоя и будете двигаться вниз по мере необходимости.

Поскольку модели легко доступны, любой может использовать их для разработки приложений. Это слой, который пережил наибольшее количество действий за последние два года, и он все еще быстро развивается. Разработка приложения предполагает предоставление модели с хорошими подсказками и необходимым контекстом. Этот слой требует тщательной оценки. Хорошие приложения также требуют хороших интерфейсов.

Второй уровень предоставляет инструменты для разработки моделей, включая платформы для моделирования, обучения, тонкой настройки и оптимизации вывода. Поскольку данные занимают центральное место в разработке модели, этот слой также содержит инженерные наборы данных. Разработка модели также требует тщательной оценки.

В нижней части стека находится инфраструктура, которая включает в себя инструменты для обслуживания моделей, управления данными и вычислениями, а также мониторинга.

Чтобы понять, как развивался ландшафт с базовыми моделями, в марте 2024 года искали на GitHub все репозитории, связанные с искусственным интеллектом, с не менее чем 500 звездами. Учитывая распространенность GitHub, эти данные являются хорошим показателем для понимания экосистемы. В анализ также были включены репозитории для приложений и моделей, которые являются продуктами уровней разработки приложений и разработки моделей соответственно. Всего нашлось 920 репозиториев. Данные показывают большой скачок в количестве инструментов искусственного интеллекта в 2023 году после внедрения Stable Diffusion и ChatGPT. В 2023 году наибольший рост наблюдался в категориях приложений и разработки приложений. На инфраструктурном уровне наблюдался некоторый рост, но он был намного меньше, чем на других уровнях. Это ожидаемо. Несмотря на то, что модели и приложения изменились, основные потребности инфраструктуры – управление ресурсами, обслуживание, мониторинг и т. д. – остались прежними.

Это подводит нас к следующему пункту. Несмотря на беспрецедентный ажиотаж и творческий подход к базовым моделям, многие принципы создания приложений ИИ остаются прежними. Для корпоративных сценариев использования приложениям ИИ по-прежнему необходимо решать бизнес-задачи, и, следовательно, по-прежнему важно сопоставлять бизнес-метрики с метриками машинного обучения и наоборот. Вам все равно нужно проводить систематические эксперименты. В классической ML-инженерии вы экспериментируете с различными гиперпараметрами. С помощью базовых моделей вы экспериментируете с различными моделями, подсказками, алгоритмами извлечения, переменными выборки и многим другим. Мы по-прежнему хотим, чтобы модели работали быстрее и дешевле. По-прежнему важно настроить цикл обратной связи, чтобы мы могли итеративно улучшать наши приложения с помощью производственных данных. Это означает, что многое из того, что инженеры машинного обучения узнали и поделились за последнее десятилетие, по-прежнему применимо. Этот коллективный опыт облегчает всем начало создания приложений ИИ. Тем не менее, на основе этих непреходящих принципов построено множество инноваций, уникальных для инженерии ИИ, которые мы рассмотрим в этой книге.

Несмотря на то, что неизменные принципы развертывания приложений ИИ обнадеживают, также важно понимать, как все изменилось. Это полезно для команд, которые хотят адаптировать свои существующие платформы к новым сценариям использования ИИ, и разработчиков, которые заинтересованы в том, какие навыки нужно освоить, чтобы оставаться конкурентоспособными на новом рынке.

На высоком уровне создание приложений с использованием моделей фундаментов сегодня отличается от традиционного проектирования машинного обучения по трем основным параметрам:

1. Без базовых моделей вам придется обучать собственные модели для своих приложений. При проектировании ИИ вы используете модель, которую кто-то другой обучил за вас. Это означает, что инженерия ИИ меньше фокусируется на моделировании и обучении, а больше на адаптации моделей.

2. Инженерия ИИ работает с моделями, которые больше, потребляют больше вычислительных ресурсов и имеют более высокую задержку, чем традиционная инженерия машинного обучения. Это означает, что возникает большее давление на эффективное обучение и оптимизацию выводов. Следствием моделей с интенсивными вычислениями является то, что многим компаниям теперь требуется больше графических процессоров и они работают с более крупными вычислительными кластерами, чем раньше, а это означает, что существует большая потребность в инженерах, которые знают, как работать с графическими процессорами и большими кластерами.

3. Инженерия ИИ работает с моделями, которые могут выдавать открытые результаты. Открытые выходные данные обеспечивают гибкость моделей для использования в большем количестве задач, но их также сложнее оценить. Это делает оценку гораздо более серьезной проблемой в ИИ.

Короче говоря, инженерия ИИ отличается от инженерии машинного обучения тем, что она меньше связана с разработкой моделей и больше с адаптацией и оценкой моделей. В целом, методы адаптации моделей можно разделить на две категории, в зависимости от того, требуют ли они обновления весов модели.

Методы, основанные на подсказках, которые включают в себя оперативное проектирование, адаптируют модель без обновления весов модели. Вы адаптируете модель, предоставляя ей инструкции и контекст, а не изменяя саму модель. Быстрое проектирование проще в начале работы и требует меньше данных. Многие успешные приложения были созданы с помощью быстрой разработки. Простота использования позволяет экспериментировать с большим количеством моделей, что увеличивает шансы найти модель, которая неожиданно подойдет для ваших приложений. Однако оперативного проектирования может быть недостаточно для сложных задач или приложений с жесткими требованиями к производительности.

Тонкая настройка, с другой стороны, требует обновления весов модели. Модель адаптируется путем внесения изменений в саму модель. Как правило, методы тонкой настройки более сложны и требуют больше данных, но они могут значительно повысить качество, задержку и стоимость модели. Многие вещи невозможны без изменения веса модели, например, адаптация модели к новой задаче, с которой она не сталкивалась во время обучения. Теперь давайте углубимся в уровни разработки приложений и разработки моделей, чтобы увидеть, как каждый из них изменился с разработкой ИИ, начиная с того, с чем существующие инженеры машинного обучения знакомы лучше. В этом разделе представлен обзор различных процессов, связанных с разработкой приложения ИИ.

Разработка моделей – это уровень, который чаще всего ассоциируется с традиционной инженерией машинного обучения. У него есть три основные обязанности: моделирование и обучение, инженерия наборов данных и оптимизация вывода.

Моделирование и обучение. Моделирование и обучение – это процесс создания архитектуры модели, ее обучения и тонкой настройки. Примерами инструментов в этой категории являются TensorFlow от Google, Transformers от Hugging Face и PyTorch от Meta. Разработка моделей машинного обучения требует специальных знаний в области машинного обучения. Для этого необходимо знать различные типы алгоритмов машинного обучения (например, кластеризация, логистическая регрессия, деревья решений и коллаборативная фильтрация) и архитектуры нейронных сетей (например, с прямой связью, рекуррентные, сверточные и трансформеры). Это также требует понимания того, как модель обучается, включая такие понятия, как градиентный спуск, функция потерь, регуляризация и т.д.

С появлением базовых моделей знания машинного обучения больше не являются обязательными для создания приложений ИИ. Тем не менее, знания в области машинного обучения по-прежнему чрезвычайно ценны, так как они расширяют набор инструментов, которые вы можете использовать, и помогают устранять неполадки, когда модель не работает должным образом.

Обучение всегда включает в себя изменение весов модели, но не все изменения весов модели являются тренировкой. Например, квантование, процесс снижения точности весов модели, технически изменяет весовые значения модели, но не считается обучением. Термин «обучение» часто можно использовать вместо терминов «предтренировка», «тонкая настройка» и «посттренинг», которые относятся к различным этапам обучения.

Предварительное обучение относится к обучению модели с нуля – веса модели инициализируются случайным образом. Для LLM предварительное обучение часто включает в себя обучение модели для завершения текста. Из всех этапов обучения предварительная подготовка часто является наиболее ресурсоемкой. Для модели InstructGPT предварительное обучение занимает до 98 % от общего объема вычислительных ресурсов и ресурсов. Предварительная подготовка также занимает много времени. Небольшая ошибка во время предварительного обучения может повлечь за собой значительные финансовые потери и значительно отбросить проект назад. Из-за ресурсоемкого характера подготовки к тренировкам это стало искусством, которым занимаются лишь немногие. Тем не менее, те, у кого есть опыт предварительного обучения больших моделей, пользуются большим спросом.

Тонкая настройка означает продолжение обучения ранее обученной модели – веса модели получаются в процессе предыдущего обучения. Поскольку модель уже обладает определенными знаниями, полученными в ходе предварительного обучения, для тонкой настройки обычно требуется меньше ресурсов (например, данных и вычислений), чем для предварительного обучения.

Многие люди используют пост-тренинг для обозначения процесса обучения модели после этапа предварительного обучения. Концептуально, пост-тренинг и тонкая настройка – это одно и то же, и их можно использовать как взаимозаменяемые. Однако иногда люди могут использовать их по-разному для обозначения разных целей. Обычно это происходит после обучения, когда оно выполняется разработчиками моделей. Например, OpenAI может провести пост-обучение модели, чтобы она лучше следовала инструкциям перед выпуском. Это тонкая настройка, когда она выполняется разработчиками приложений. Например, вы можете точно настроить модель OpenAI (которая сама могла быть обучена после обучения), чтобы адаптировать ее к вашим потребностям.

Некоторые люди используют термин «обучение» для обозначения оперативного проектирования, что не совсем верно. Инженерия наборов данных – это курирование, генерация и аннотирование данных, необходимых для обучения и адаптации моделей ИИ. В традиционной инженерии машинного обучения большинство сценариев использования являются узконаправленными – выходные данные модели могут быть только среди предопределенных значений. Например, классификация спама только с двумя возможными выходами, "spam" и "not spam", является закрытой. Базовые модели, однако, являются открытыми. Аннотировать открытые запросы гораздо сложнее, чем аннотировать закрытые – легче определить, является ли электронное письмо спамом, чем написать эссе. Таким образом, аннотация данных представляет собой гораздо более сложную задачу для инженерии ИИ.

Еще одно отличие заключается в том, что традиционное машинное обучение больше работает с табличными данными, в то время как базовые модели работают с неструктурированными данными. В инженерии искусственного интеллекта манипулирование данными в большей степени связано с дедупликацией, токенизацией, извлечением контекста и контролем качества, включая удаление конфиденциальной информации и токсичных данных. Инженерия наборов данных находится в центре внимания главы 8.

Многие люди утверждают, что, поскольку модели теперь являются товарами, данные будут основным дифференциатором, что сделает инженерию наборов данных более важной, чем когда-либо. Объем необходимых данных зависит от используемого вами метода адаптера. Обучение модели с нуля обычно требует больше данных, чем тонкая настройка, которая, в свою очередь, требует больше данных, чем оперативное проектирование. Независимо от того, какой объем данных вам нужен, опыт работы с данными полезен при изучении модели, так как данные для обучения дают важные подсказки о сильных и слабых сторонах этой модели.

Оптимизация логических выводов означает более быстрое и дешевое моделирование. Оптимизация инференса всегда была важна для инженерии машинного обучения. Пользователи никогда не отказываются от более быстрых моделей, а компании всегда могут извлечь выгоду из более дешевого вывода. Однако по мере того, как базовые модели масштабируются и приводят к еще более высоким затратам на вывод и задержкам, оптимизация логических выводов становится еще более важной. Одна из проблем с базовыми моделями заключается в том, что они часто являются авторегрессионными – токены генерируются последовательно. Если модели требуется 10 мс для создания токена, то для генерации выходных данных в 100 токенов потребуется секунда, а для более длинных выходных данных потребуется еще больше. Поскольку пользователи становятся печально известны своей нетерпеливостью, снижение задержки приложений ИИ до 100 мс, ожидаемой для типичного интернет-приложения, является огромной проблемой. Оптимизация логических выводов стала активной подобластью как в промышленности, так и в академических кругах.

В традиционной инженерии машинного обучения, где команды создают приложения с использованием собственных моделей, качество модели является дифференциацией. При использовании базовых моделей, где многие команды используют одну и ту же модель, дифференциация должна быть достигнута в процессе разработки приложения.

Уровень разработки приложений состоит из следующих обязанностей: оценка, оперативное проектирование и интерфейс искусственного интеллекта. Оценка заключается в снижении рисков и выявлении возможностей. Оценка необходима на протяжении всего процесса адаптации модели. Оценка необходима для выбора моделей, сравнительного анализа хода выполнения, определения готовности приложения к развертыванию, а также для выявления проблем и возможностей для улучшения. В то время как оценка всегда была важна в инженерии машинного обучения, она еще более важна для базовых моделей по многим причинам. Подводя итог, можно сказать, что эти проблемы в основном связаны с открытым характером базовых моделей и расширенными возможностями. Например, в закрытых задачах машинного обучения, таких как обнаружение мошенничества, обычно существуют ожидаемые достоверные данные, с которыми можно сравнить выходные данные модели. Если выходные данные модели отличаются от ожидаемых, это означает, что модель неверна. Однако для такой задачи, как чат-боты, существует так много возможных ответов на каждый вопрос, что невозможно составить исчерпывающий список основных истин для сравнения реакции модели.

Существование такого большого количества методов адаптации также затрудняет оценку. Система, которая плохо работает с одним методом, может работать гораздо лучше с другим. Когда Google запустил Gemini в декабре 2023 года, они утверждали, что Gemini лучше, чем ChatGPT в бенчмарке MMLU. Компания Google оценила Gemini с помощью технологии быстрой инженерии под названием CoT@32. В этой методике Gemini было показано 32 примера, в то время как ChatGPT было показано только 5 примеров.

Оперативное проектирование заключается в том, чтобы заставить модели ИИ выражать желаемое поведение только на основе входных данных, не изменяя веса модели. В статье об оценке Gemini подчеркивается влияние оперативного проектирования на производительность модели. Используя другую технику оперативного проектирования, производительность Gemini Ultra на MMLU выросла с 83,7% до 90,04%. Можно заставить модель делать удивительные вещи с помощью одних только подсказок. Правильно подобранная инструкция позволяет получить модель для выполнения нужной вам задачи, в выбранном вами формате. Оперативное проектирование – это не просто указание модели, что делать. Речь также идет о том, чтобы дать модели необходимый контекст и инструменты для выполнения поставленной задачи. Для сложных задач с длинным контекстом также может потребоваться предоставить модели систему управления памятью, чтобы модель могла отслеживать свою историю.

Интерфейс ИИ означает создание интерфейса для взаимодействия конечных пользователей с вашими приложениями ИИ. До появления базовых моделей только организации, обладающие достаточными ресурсами для разработки моделей ИИ, могли разрабатывать приложения ИИ. Эти приложения часто встраивались в существующие продукты организаций. Например, обнаружение мошенничества было встроено в Stripe, Venmo и PayPal. Рекомендательные системы были частью социальных сетей и медиаприложений, таких как Netflix, TikTok и Spotify. С помощью базовых моделей каждый может создавать приложения ИИ. Вы можете обслуживать свои приложения ИИ как отдельные продукты или встраивать их в другие продукты, включая продукты, разработанные другими людьми. Например, ChatGPT и Perplexity являются автономными продуктами, в то время как Copilot от GitHub обычно используется в качестве плагина в VSCode, а Grammarly обычно используется в качестве расширения браузера для Google Docs. Midjourney можно использовать как через отдельное веб-приложение, так и через интеграцию в Discord.

Должны быть инструменты, которые предоставляют интерфейсы для автономных приложений ИИ или упрощают интеграцию ИИ в существующие продукты. Вот лишь некоторые из интерфейсов, которые набирают популярность для приложений ИИ: автономные веб-приложения, приложения для настольных компьютеров и мобильные приложения; расширения для браузера, которые позволяют пользователям быстро запрашивать модели ИИ во время просмотра; чат-боты интегрированы в приложения для чата, такие как Slack, Discord, WeChat и WhatsApp; многие продукты, включая VSCode, Shopify и Microsoft 365, предоставляют API, которые позволяют разработчикам интегрировать ИИ в свои продукты в виде подключаемых модулей и надстроек.

В то время как интерфейс чата является наиболее часто используемым, интерфейсы ИИ также могут быть голосовыми (например, с голосовыми помощниками) или воплощенными (например, в дополненной и виртуальной реальности). Эти новые интерфейсы искусственного интеллекта также означают новые способы сбора и извлечения отзывов пользователей. Интерфейс беседы значительно упрощает пользователям обратную связь на естественном языке, но эту обратную связь сложнее извлечь.

Повышенное внимание к разработке приложений, особенно интерфейсов, приближает разработку ИИ к полномасштабной разработке. Растущее значение интерфейсов приводит к сдвигу в дизайне инструментов искусственного интеллекта, чтобы привлечь больше фронтенд-инженеров. Традиционно, ML-инженерия ориентирована на Python. До появления базовых моделей наиболее популярные фреймворки машинного обучения поддерживали в основном API Python. Сегодня Python по-прежнему популярен, но также расширяется поддержка JavaScript API, таких как LangChain.js, Transformers.js, библиотека Node от OpenAI и AI SDK от Vercel.

В то время как многие инженеры ИИ приходят из традиционного машинного обучения, все больше людей приходят из веб-разработки или полного стека. Преимущество инженеров полного стека перед традиционными инженерами машинного обучения заключается в их способности быстро превращать идеи в демонстрации, получать обратную связь и выполнять итерации. При традиционном проектировании машинного обучения вы обычно начинаете со сбора данных и обучения модели. Сборка продукта идет в последнюю очередь. Тем не менее, с учетом того, что модели ИИ уже сегодня доступны, можно начать с создания продукта и инвестировать в данные и модели только после того, как продукт покажет свои перспективы. В традиционной инженерии машинного обучения разработка модели и разработка продукта часто являются разрозненными процессами, и во многих организациях инженеры машинного обучения редко участвуют в принятии решений о продукте. Однако при работе с базовыми моделями инженеры ИИ, как правило, гораздо больше участвуют в создании продукта.

Для создания приложений с помощью базовых моделей сначала необходимы базовые модели. Хотя вам не нужно знать, как разработать модель для ее использования, высокоуровневое понимание поможет вам решить, какую модель использовать и как адаптировать ее к вашим потребностям. Обучение базовой модели – невероятно сложный и затратный процесс. Те, кто умеет это делать хорошо, скорее всего, не смогут раскрыть секретный соус из-за соглашений о конфиденциальности.

Из-за растущего недостатка прозрачности в процессе обучения моделей фундаментов становится все трудности с пониманием всех проектных решений, которые используются при создании модели. В целом, однако, различия в базовых моделях можно проследить до решений об обучающих данных, архитектуре и размере модели, а также о том, как они обрабатываются после обучения в соответствии с предпочтениями человека. Поскольку модели учатся на данных, их обучающие данные многое говорят об их возможностях и ограничениях. Учитывая доминирование архитектуры трансформаторов, может показаться, что модельная архитектура не является выбором. Вы можете задаться вопросом, что делает архитектуру трансформатора настолько особенной, что она продолжает доминировать? Сколько времени пройдет, прежде чем на смену придет другая архитектура, и как может выглядеть эта новая архитектура?

Процесс обучения модели часто делится на претренинг и посттренинг. Предварительное обучение делает модель работоспособной, но не обязательно безопасной или простой в использовании. Вот тут-то и приходит на помощь пост-тренинг. Цель пост-тренинга – привести модель в соответствие с предпочтениями человека. Но что именно является человеческим предпочтением? Как его можно представить таким образом, чтобы модель могла обучаться? То, как разработчик модели выравнивает свою модель, оказывает значительное влияние на удобство использования модели. Хотя большинство людей понимают влияние обучения на производительность модели, влияние выборки часто упускается из виду. Выборка – это способ, с помощью которого модель выбирает выходные данные из всех возможных вариантов. Это, пожалуй, одна из самых недооцененных концепций в ИИ. Мало того, что выборка объясняет многие, казалось бы, сбивающие с толку модели поведения ИИ, включая галлюцинации и несоответствия, но выбор правильной стратегии выборки также может значительно повысить производительность модели при относительно небольших усилиях.

Модель ИИ хороша настолько, насколько хороши данные, на которых она была обучена. Если в обучающих данных нет вьетнамского языка, модель не сможет переводиться с английского на вьетнамский. Аналогичным образом, если модель классификации изображений видит только животных в своем обучающем наборе, она не будет хорошо работать на фотографиях растений. Если вы хотите, чтобы модель улучшила выполнение определенной задачи, вы можете включить больше данных для этой задачи в обучающие данные. Однако собрать достаточно данных для обучения большой модели непросто, и это может быть дорого. Разработчикам моделей часто приходится полагаться на доступные данные, даже если эти данные не совсем соответствуют их потребностям.

Например, распространенным источником обучающих данных является Common Crawl, созданный некоммерческой организацией, которая время от времени сканирует веб-сайты в Интернете. В 2022 и 2023 годах эта организация ежемесячно сканировала примерно 2–3 миллиарда веб-страниц. Google предоставляет чистое подмножество Common Crawl, которое называется Colossal Clean Crawled Corpus, или сокращенно C4.

Качество данных Common Crawl и C4 в определенной степени сомнительно – подумайте о кликбейте, дезинформации, пропаганде, теориях заговора, расизме, женоненавистничестве и обо всех сомнительных веб-сайтах, которые вы когда-либо видели или избегали в Интернете. Исследование, проведенное Washington Post, показывает, что 1000 наиболее распространенных веб-сайтов в наборе данных включают несколько СМИ, которые занимают низкие позиции по шкале надежности NewsGuard. Проще говоря, Common Crawl содержит множество фейковых новостей.

Тем не менее просто потому, что Common Crawl доступен, его вариации используются в большинстве базовых моделей, которые раскрывают свои источники обучающих данных, включая GPT-3 от OpenAI и Gemini от Google. Возможно, Common Crawl также используется в моделях, которые не раскрывают свои обучающие данные. Чтобы избежать пристального внимания как со стороны общественности, так и со стороны конкурентов, многие компании перестали раскрывать эту информацию.

Некоторые команды используют эвристику для фильтрации данных низкого качества из Интернета. Например, OpenAI использовал только те ссылки на Reddit, которые получили не менее трех голосов «за» для обучения GPT-2. Хотя это помогает отсеивать ссылки, которые никому не интересны, Reddit не является вершиной приличия и хорошего вкуса.

Подход «используйте то, что у нас есть, а не то, что мы хотим» может привести к созданию моделей, которые хорошо справляются с задачами, присутствующими в обучающих данных, но не обязательно с задачами, которые вас интересуют. Чтобы решить эту проблему, крайне важно подобрать наборы данных, которые соответствуют вашим конкретным потребностям. В этом разделе основное внимание уделяется курированию данных для конкретных языков и предметных областей, обеспечивая широкую, но специализированную основу для приложений в этих областях.

Несмотря на то, что базовые модели, специфичные для языка и предметной области, можно обучать с нуля, их также часто тонко настраивают поверх моделей общего назначения. Кто-то может задаться вопросом, почему бы просто не обучить модель на всех доступных данных, как общих, так и специализированных, чтобы модель могла делать все? Так поступают многие. Однако обучение на большем объеме данных часто требует больше вычислительных ресурсов и не всегда приводит к повышению производительности. Например, модель, обученная на меньшем объеме высококачественных данных, может превзойти модель, обученную на большом объеме данных низкого качества. Используя токены высококачественных данных кодирования, Gunasekar с соавторами (2023) смогли обучить модель с параметрами, которая превосходит гораздо более крупные модели по нескольким важным тестам кодирования.

Английский язык доминирует в интернете. Анализ набора данных Common Crawl показывает, что на английский язык приходится почти половина данных (45,88%), что делает его в восемь раз более распространенным, чем второй по распространенности язык, русский (5,97%). Многие другие языки несмотря на то, что на них сегодня много носителей, сильно недопредставлены в Common Crawl. Учитывая доминирование английского языка в интернет-данных, неудивительно, что, согласно многочисленным исследованиям, модели общего назначения работают гораздо лучше для английского, чем для других языков. Например, в бенчмарке MMLU, наборе из 14 000 задач с несколькими вариантами ответов, охватывающих 57 предметов, GPT-4 показал гораздо лучшие результаты на английском языке, чем недостаточно представленные языки, такие как телугу.

Аналогичным образом, при тестировании шести математических задач в рамках проекта Эйлер Йенни Джун обнаружила, что GPT-4 способен решать задачи на английском языке более чем в три раза чаще по сравнению с армянским или фарси. Недостаточная представленность является основной причиной такой низкой представленности. Три языка, которые имеют наихудшие показатели в тестах MMLU GPT-4 – телугу, маратхи и пенджаби – также входят в число языков, которые наиболее мало представлены в Common Crawl. Однако недостаточная представленность – не единственная причина. Структура языка и культура, которую он воплощает, также могут затруднить изучение языка моделью.

Учитывая, что LLM, как правило, хорошо переводят, можем ли мы просто перевести все запросы с других языков на английский, получить ответы и перевести их обратно на исходный язык? Многие люди действительно придерживаются этого подхода, но он не идеален. Во-первых, для этого требуется модель, которая может в достаточной степени понимать недостаточно представленные языки для перевода. Во-вторых, перевод может привести к потере информации. Например, в некоторых языках, таких как вьетнамский, есть местоимения для обозначения отношений между двумя носителями. При переводе на английский язык все эти местоимения переводятся как «я» и «ты», что приводит к потере информации об отношениях.

Модели также могут столкнуться с неожиданными проблемами производительности при работе на языках, отличных от английского. Например, NewsGuard обнаружил, что ChatGPT более склонен распространять дезинформацию на китайском языке, чем на английском. В апреле 2023 года NewsGuard попросил ChatGPT-3.5 подготовить дезинформационные статьи о Китае на английском, упрощенном и традиционном китайском языках. Что касается английского языка, ChatGPT отказался выдавать ложные утверждения в шести из семи запросов. Тем не менее, он делал ложные заявления на упрощенном китайском и традиционном китайском языках все семь раз. Неясно, что вызывает эту разницу в поведении. Помимо проблем с качеством, модели также могут быть медленнее и дороже для языков, отличных от английского. Задержка и стоимость вывода модели пропорциональны количеству маркеров на входе и в ответе. Оказывается, что токенизация может быть гораздо более эффективной для одних языков, чем для других. Сравнивая GPT-4 с MASSIVE, набором данных из миллиона коротких текстов, переведенных на 52 языка, Йенни Джун обнаружила, что для передачи того же смысла таким языкам, как бирманский и хинди, требуется гораздо больше токенов, чем английскому или испанскому. Для набора данных MASSIVE медианная длина токена в английском языке равна 7, но медианная длина в хинди равна 32, а в бирманском – колоссальные 72, что в десять раз больше, чем в английском.

Если предположить, что время, необходимое для генерации токена, одинаково на всех языках, то для того же контента GPT-4 на бирманском языке требуется примерно в десять раз больше времени, чем на английском. Для API, которые взимают плату за использование токенов, бирманский стоит в десять раз дороже, чем английский. Чтобы решить эту проблему, многие модели были обучены работать на языках, отличных от английского. Самым активным языком, помимо английского, безусловно, является китайский, с ChatGLM, YAYI, лама-китайским и другими. Также есть модели на французском (CroissantLLM), вьетнамском (PhoGPT), арабском (Jais) и многих других языках.

Модели общего назначения, такие как Gemini, GPT и Llamas, могут невероятно хорошо работать в широком спектре областей, включая, помимо прочего, кодирование, юриспруденцию, науку, бизнес, спорт и науку об окружающей среде. Во многом это связано с включением этих доменов в их обучающие данные. Было проведено не так много анализов распределения доменов в данных машинного зрения. Это может быть связано с тем, что изображения сложнее классифицировать, чем тексты. Тем не менее, вы можете определить домены модели на основе ее производительности в тестах производительности.

Несмотря на то, что базовые модели общего назначения могут отвечать на повседневные вопросы о различных предметных областях, они вряд ли будут хорошо справляться с задачами, специфичными для предметной области, особенно если они никогда не сталкивались с этими задачами во время обучения. Двумя примерами задач, специфичных для данной области, являются разработка лекарств и скрининг рака. Открытие лекарств включает в себя данные белков, ДНК и РНК, которые имеют определенные форматы и являются дорогостоящими для получения. Эти данные вряд ли можно найти в общедоступных интернет-данных. Точно так же скрининг рака обычно включает в себя рентген и фМРТ (функциональную магнитно-резонансную томографию), которые трудно получить из-за конфиденциальности.

Чтобы обучить модель для успешного выполнения этих задач, специфичных для предметной области, может потребоваться курировать очень специфические наборы данных. Одной из самых известных предметно-ориентированных моделей, пожалуй, является AlphaFold от DeepMind, обученная на последовательностях и трехмерных структурах около 100 000 известных белков. BioNeMo от NVIDIA – еще одна модель, которая фокусируется на биомолекулярных данных для разработки лекарств. Med-PaLM2 от Google объединил возможности LLM с медицинскими данными, чтобы отвечать на медицинские запросы с более высокой точностью.

Предметно-ориентированные модели особенно распространены в биомедицине, но и в других областях предметно-ориентированные модели также могут извлечь выгоду. Вполне возможно, что модель, обученная на архитектурных эскизах, может помочь архитекторам гораздо лучше, чем Stable Diffusion, или модель, обученная на заводских планах, может быть оптимизирована для производственных процессов гораздо лучше, чем общая модель, такая как ChatGPT.

В этом разделе представлен общий обзор того, как обучающие данные влияют на производительность модели. Теперь давайте рассмотрим влияние дизайна модели на ее производительность. Прежде чем обучать модель, разработчикам необходимо решить, как должна выглядеть модель. Какой архитектуры он должен придерживаться? Сколько параметров у него должно быть? Эти решения влияют не только на возможности модели, но и на удобство ее использования в последующих приложениях. Например, модель с 7B параметрами будет значительно проще развернуть, чем модель с 175B параметрами. Точно так же оптимизация модели трансформатора с точки зрения задержки сильно отличается от оптимизации другой архитектуры. Давайте рассмотрим факторы, лежащие в основе этих решений.

Наиболее доминирующей архитектурой для моделей оснований, основанных на языке, является архитектура трансформера (Vaswani с соавторами, 2017), которая основана на механизме внимания. Он устраняет многие ограничения предыдущих архитектур, которые способствовали его популярности. Однако архитектура трансформатора имеет свои ограничения. В этом разделе анализируется архитектура трансформатора и ее альтернативы. Поскольку он углубляется в технические детали различных архитектур, он может быть технически сложным. Если вы обнаружите какую-либо часть слишком глубоко в сорняках, не стесняйтесь пропустить ее.

Чтобы разобраться в трансформаторе, давайте посмотрим на проблему, для решения которой он был создан. Архитектура трансформатора была популяризирована вслед за успехом архитектуры seq2seq (sequence-to-sequence). На момент своего появления в 2014 году seq2seq обеспечил значительное улучшение в решении сложных на тот момент задач: машинный перевод и обобщение. В 2016 году Google включил seq2seq в Google Translate, обновление, которое, по их утверждению, дало им «самые большие на сегодняшний день улучшения качества машинного перевода». Это вызвало большой интерес к seq2seq, что сделало его незаменимой архитектурой для задач, связанных с последовательностями текста.

На высоком уровне seq2seq содержит энкодер, который обрабатывает входные данные, и декодер, который генерирует выходы. Как входы, так и выходы представляют собой последовательности токенов, отсюда и название. Seq2seq использует RNN (рекуррентные нейронные сети) в качестве кодировщика и декодера. В своей самой простой форме кодировщик обрабатывает входные токены последовательно, выводя окончательное скрытое состояние, представляющее входные данные. Затем декодер последовательно генерирует выходные маркеры, обусловленные как конечным скрытым состоянием входа, так и ранее сгенерированным маркером.

Есть две проблемы с seq2seq, которые решают Vaswani с соавторами (2017). Во-первых, ванильный декодер seq2seq генерирует выходные токены, используя только окончательное скрытое состояние входа. Интуитивно это похоже на генерирование ответов о книге с помощью краткого описания книги. Это ограничивает качество генерируемых выходных данных. Во-вторых, кодировщик и декодер RNN означают, что обработка и генерация входных данных и вывода выполняются последовательно, что замедляет работу при работе с длинными последовательностями. Если вход имеет длину 200 токенов, seq2seq должен дождаться завершения обработки каждого входного токена, прежде чем перейти к следующему.

Архитектура трансформатора решает обе проблемы с помощью механизма внимания. Механизм внимания позволяет модели взвешивать важность различных входных токенов при создании каждого выходного токена. Это похоже на генерирование ответов, ссылаясь на любую страницу в книге. В то время как механизм внимания часто ассоциируется с моделью трансформатора, он был представлен за три года до статьи о трансформаторе. Механизм внимания также может быть использован с другими архитектурами. В 2016 году Google использовал механизм внимания в своей архитектуре seq2seq для своей модели GNMT (Google Neural Machine Translation). Тем не менее только после того, как статья о трансформаторе показала, что механизм внимания может быть использован без RNN, он взлетел.

Архитектура трансформатора полностью исключает использование RNN. С помощью трансформаторов входные токены могут обрабатываться параллельно, что значительно ускоряет обработку входных данных. В то время как трансформер устраняет узкое место последовательного ввода, языковые модели на основе авторегрессии на основе трансформеров по-прежнему имеют узкое место последовательного вывода.

Таким образом, вывод для языковых моделей, основанных на трансформерах, состоит из двух этапов:

1. Предварительное заполнение.

Модель обрабатывает входные токены параллельно. На этом шаге создается промежуточное состояние, необходимое для создания первого выходного маркера. Это промежуточное состояние включает векторы ключа и значения для всех входных маркеров.

2. Расшифровывание.

Модель генерирует по одному выходному маркеру за раз.

Распараллеливаемая природа предварительного заполнения и последовательный аспект декодирования мотивируют многие методы оптимизации, чтобы сделать вывод языковой модели дешевле и быстрее.

Механизм внимания. В основе архитектуры трансформатора лежит механизм внимания. Понимание этого механизма необходимо для понимания того, как работают модели трансформаторов. В основе механизма внимания лежат ключи, значения и векторы запросов.

Вектор запроса (Q) представляет текущее состояние декодера на каждом шаге декодирования. Используя тот же пример с кратким изложением книги, этот вектор запроса можно представить как человека, ищущего информацию для создания резюме.

Каждый ключевой вектор (K) представляет предыдущую лексему. Если каждый предыдущий токен является страницей в книге, то каждый вектор ключа подобен номеру страницы. Обратите внимание, что на данном этапе декодирования предыдущие маркеры включают как входные маркеры, так и ранее созданные маркеры.

Каждый вектор значений (V) представляет фактическое значение предыдущего маркера, полученное моделью. Каждый вектор значений подобен содержимому страницы.

Механизм внимания вычисляет, сколько внимания следует уделить входному маркеру, выполняя скалярное произведение между вектором запроса и его ключевым вектором. Высокий балл означает, что модель будет использовать больше содержимого этой страницы (вектора значений) при создании краткого описания книги.

Поскольку каждый предыдущий маркер имеет соответствующий вектор ключа и значения, чем длиннее последовательность, тем больше векторов ключа и значения необходимо вычислить и сохранить. Это одна из причин, почему так трудно увеличить длину контекста для моделей трансформаторов.

Давайте разберемся, как работает функция внимания. Для входных данных x векторы ключа, значения и запроса вычисляются путем применения матриц ключей, значений и запросов к входным данным. Пусть WK, WV и WQ будут матрицами ключей, значений и запросов. Векторы ключа, значения и запроса вычисляются следующим образом: K = xWK; V = xWV; Q = xWQ. Матрицы запросов, ключей и значений имеют измерения, соответствующие скрытому измерению модели. Например, в Llama 2-7B размер скрытой размерности модели равен 4096, что означает, что каждая из этих матриц имеет размерность 4096 × 4096. Каждый результирующий вектор K, V, Q имеет размерность 4096.

Механизм внимания почти всегда многоголовый. Несколько головок позволяют модели одновременно обслуживать разные группы предыдущих токенов. При многоголовом внимании векторы запроса, ключа и значения разбиваются на более мелкие векторы, каждый из которых соответствует голове внимания. В случае ламы 2-7B, поскольку у нее 32 головы внимания, каждый вектор K, V и Q будет разбит на 32 вектора размерности 128. Это связано с тем, что 4096 / 32 = 128. Attention(Q, K, V ) = softmax( Q K T )V.

Затем выходы всех голов внимания объединяются. Матрица выходной проекции используется для применения еще одного преобразования к этому составному выходу перед тем, как он будет передан на следующий шаг вычислений модели. Матрица выходной проекции имеет ту же размерность, что и скрытая размерность модели.

Трансформаторный блок. Теперь, когда мы обсудили, как работает внимание, давайте посмотрим, как оно используется в модели. Архитектура трансформатора состоит из нескольких трансформаторных блоков. Точное содержимое блока варьируется от модели к модели, но, в целом, каждый трансформаторный блок содержит модуль внимания и модуль MLP (многослойный персептрон). Каждый модуль внимания состоит из четырех весовых матриц: запроса, ключа, значения и проекции вывода. Модуль MLP состоит из линейных слоев, разделенных нелинейными функциями активации. Каждый линейный слой представляет собой весовую матрицу, которая используется для линейных преобразований, в то время как функция активации позволяет линейным слоям изучать нелинейные закономерности. Линейный слой также называется слоем с прямой связью.

Распространенными нелинейными функциями являются ReLU, выпрямленная линейная единица (Agarap, 2018) и GELU (Hendrycks and Gimpel, 2016), которая использовалась в GPT-2 и GPT-3 соответственно. Функции действий очень просты. Например, все, что делает ReLU, – это преобразует отрицательные значения в 0. Математически это записывается как: ReLU(x) = max(0, x).

Количество трансформаторных блоков в модели трансформатора часто называют количеством слоев в этой модели. Языковая модель, основанная на трансформерах, также снабжена модулем до и после всех блоков трансформеров. Встраиваемый модуль перед трансформаторными блоками состоит из матрицы вложения и матрицы позиционного встраивания, которые преобразуют токены и их позиции в векторы вложения соответственно. Наивно считается, что количество индексов позиции определяет максимальную длину контекста модели. Например, если модель отслеживает 2 048 позиций, ее максимальная длина контекста равна 2 048. Однако существуют методы, которые увеличивают длину контекста модели без увеличения числа индексов позиции.

Выходной слой после трансформаторных блоков сопоставляет выходные векторы модели с вероятностями маркеров, используемыми для выборки выходных данных модели (обсуждается в разделе «Выборка» на стр. 88). Этот модуль обычно состоит из одной матрицы, которая также называется слоем отвержения. Некоторые люди называют выходной слой головкой модели, так как это последний слой модели перед генерацией выходных данных.

Размер модели трансформатора определяется размерами его строительных блоков. Вот некоторые из ключевых ценностей: размерность модели определяет размеры матриц проекции ключа, запроса, значения и вывода в блоке трансформатора; количество трансформаторных блоков; размер слоя прямой связи; объем словарного запаса.

Чем больше значения размеров, тем больше размеры модели. Обратите внимание, что хотя увеличенная длина контекста влияет на объем памяти, занимаемый моделью, она не влияет на общее количество параметров модели.

Несмотря на то, что модель трансформера доминирует в ландшафте, это не единственная архитектура. С тех пор, как в 2012 году AlexNet возродил интерес к глубокому обучению, многие архитектурные архитектуры то входили, то выходили из моды. Seq2seq был в центре внимания в течение четырех лет (2014–2018). GAN (генеративно-состязательные сети) захватили коллективное воображение немного дольше (2014–2019). По сравнению с архитектурами, которые были до него, трансформатор липкий. Он существует с 2017 года. Сколько времени пройдет, прежде чем появится что-то лучшее? Разработать новую архитектуру, способную превзойти трансформаторы, непросто. С 2017 года трансформатор подвергается серьезной оптимизации. Новая архитектура, которая призвана заменить трансформатор, должна будет работать в том масштабе, который важен для людей, на оборудовании, которое их интересует.

Тем не менее, надежда есть. В то время как модели, основанные на трансформаторах, доминируют, несколько альтернативных архитектур набирают обороты.

Одной из популярных моделей является RWKV, модель на основе RNN, которую можно распараллелить для обучения. Из-за своей природы RNN, теоретически, она не имеет такого же ограничения по длине контекста, как модели на основе трансформаторов. Однако на практике отсутствие ограничений по длине контекста не гарантирует хорошей производительности при длительном контексте. Моделирование длинных последовательностей остается основной проблемой при разработке LLM. Архитектура, которая показала большие перспективы в области памяти дальнего действия, – это SSM (модели пространства состояний). С момента появления архитектуры в 2021 году было внедрено несколько методов, которые делают архитектуру более эффективной, лучше справляется с обработкой длинных последовательностей и масштабируется для моделей больших размеров. Вот некоторые из этих методов, чтобы проиллюстрировать эволюцию новой архитектуры: S4 был разработан для повышения эффективности SSM; H3 включает в себя механизм, который позволяет модели вспоминать ранние лексемы и сравнивать лексемы в разных последовательностях, назначение этого механизма схоже с назначением механизма внимания в архитектуре трансформатора, но он более эффективен; Mamba масштабирует SSM до трех миллиардов параметров. По моделированию языка Mamba-3B превосходит трансформаторы того же размера и соответствует трансформаторам в два раза больше по размеру. Авторы также показывают, что вычисления вывода Mamba масштабируются линейно с длиной последовательности (по сравнению с квадратичным масштабированием для трансформаторов), его производительность демонстрирует улучшение на реальных данных с последовательностями длиной до миллиона; Jamba чередует блоки слоев transformer и Mamba для дальнейшего масштабирования SSM. Авторы выпустили смешанную модель с 52 млрд общих доступных параметров (12 млрд активных параметров), предназначенную для размещения в одном графическом процессоре емкостью 80 ГБ. Jamba демонстрирует высокую производительность в тестах стандартной языковой модели и оценке длинного контекста при длине контекста до 256 тыс. токенов. Он также занимает мало памяти по сравнению с ванильными трансформаторами.

Несмотря на то, что сложно разработать архитектуру, которая превосходит трансформатор по своим характеристикам, учитывая его многочисленные ограничения, для этого есть много стимулов. Если другая архитектура действительно обгонит трансформатор, некоторые методы адаптации моделей, обсуждаемые в этой книге, могут измениться. Тем не менее точно так же, как переход от инженерии машинного обучения к инженерии искусственного интеллекта оставил многие вещи неизменными, изменение архитектуры базовой модели не изменит фундаментальные подходы.

Большая часть прогресса в области искусственного интеллекта в последние годы может быть связана с увеличением размера модели. Сложно говорить о моделях фундаментов, не сказав о количестве их параметров. Количество параметров обычно добавляется в конце названия модели. Например, Llama-13B относится к версии Llama, модельного семейства, разработанного компанией Meta, с 13 миллиардами параметров.

В целом, увеличение параметров модели увеличивает ее способность к обучению, что приводит к улучшению моделей. При наличии двух моделей одного и того же семейства моделей, модель с 13 миллиардами параметров, скорее всего, будет работать намного лучше, чем модель с 7 миллиардами параметров. По мере того, как сообщество лучше понимает, как обучать большие модели, модели нового поколения, как правило, превосходят модели старого поколения того же размера. Например, Llama 3-8B (2024) превосходит даже Llama 2-70B (2023) в бенчмарке MMLU.

Количество параметров помогает нам оценить вычислительные ресурсы, необходимые для обучения и запуска этой модели. Например, если модель имеет 7 миллиардов параметров, и каждый параметр хранится с использованием 2 байт (16 бит), то мы можем вычислить, что память графического процессора, необходимая для вывода с использованием этой модели, будет составлять не менее 14 миллиардов байт (14 ГБ). Количество параметров может ввести в заблуждение, если модель разрежена. Разреженная модель имеет большой процент нулевых параметров. Модель с 7B-параметрами, которая на 90% разрежена, имеет только 700 миллионов ненулевых параметров. Разреженность позволяет более эффективно хранить данные и выполнять вычисления. Это означает, что для большой разреженной модели может потребоваться меньше вычислительных ресурсов, чем для небольшой модели с высокой плотностью.

Одним из типов разреженных моделей, который приобрел популярность в последние годы, является смесь экспертов (MoE). Модель МО делится на различные группы параметров, и каждая из них является экспертной. Только подмножество экспертов активно (используется для) обработки каждого токена.

Например, Mixtral 8x7B – это смесь из восьми экспертов, каждый из которых обладает семью миллиардами параметров. Если нет двух экспертов с общим параметром, то он должен иметь 8 × 7 миллиардов = 56 миллиардов. Однако из-за того, что некоторые параметры являются общими, у него всего 46,7 миллиарда.

На каждом слое, для каждого токена, активны только два эксперта. Это означает, что для каждого токена активны только 12,9 млрд параметров. Хотя эта модель имеет 46,7 миллиарда параметров, ее стоимость и скорость такие же, как у модели с 12,9 миллиардами параметров.

Большая модель также может уступать по производительности меньшей модели, если она не обучена на достаточном количестве данных. Представьте себе модель 13B-параметров, обученную на наборе данных, состоящем из одного предложения: «Мне нравятся ананасы». Эта модель будет работать намного хуже, чем модель гораздо меньшего размера, обученная на большем количестве данных.

При обсуждении размера модели важно учитывать размер данных, на которых она была обучена. Для большинства моделей размеры наборов данных измеряются количеством обучающих выборок. Например, Flamingo от Google был обучен с использованием четырех наборов данных, один из которых имеет 1,8 миллиарда пар (изображение, текст), а другой – 312 миллионов пар (изображение, текст).

Для языковых моделей обучающей выборкой может быть предложение, страница в Википедии, беседа в чате или книга. Книга стоит гораздо больше, чем предложение, поэтому количество обучающих выборок больше не является хорошей метрикой для измерения размеров наборов данных. Более точным показателем является количество токенов в наборе данных.

Количество токенов также не является идеальным измерением, так как разные модели могут иметь разные процессы токенизации, в результате чего один и тот же набор данных имеет разное количество токенов для разных моделей. Почему бы просто не использовать количество слов или количество букв? Поскольку маркер – это единица, с которой работает модель, знание количества маркеров в наборе данных помогает нам измерить, сколько модель потенциально может извлечь уроков из этих данных.

LLM обучаются с использованием наборов данных в размере триллионов токенов. Meta использовала все более крупные наборы данных для обучения своих моделей лам: 1,4 триллиона токенов для Llama 1; 2 триллиона токенов для Llama 2; 15 триллионов токенов для Llama 3.

Набор данных с открытым исходным кодом Together RedPajama-v2 содержит 30 триллионов токенов. Это эквивалентно 450 миллионам книг или в 5400 раз большему размеру Википедии. Однако, поскольку RedPajama-v2 состоит из неразборчивого контента, объем высококачественных данных значительно ниже.

Количество маркеров в наборе данных модели не совпадает с количеством маркеров обучения. Количество обучающих маркеров измеряет маркеры, на которых обучается модель. Если набор данных содержит 1 триллион токенов и модель обучается на этом наборе данных в течение двух эпох (эпоха – это проход по набору данных), то количество токенов для обучения составляет 2 триллиона.

Хотя основное внимание уделяется масштабу данных, важно не только количество. Качество и разнообразие данных также имеют значение. Количество, качество и разнообразие – вот три золотые цели для обучающих данных.

Для предварительного обучения больших моделей требуются вычислительные ресурсы. Один из способов измерить объем необходимых вычислительных ресурсов – рассмотреть количество машин, например, графических процессоров, центральных процессоров и TPU. Однако разные машины имеют очень разную мощность и стоимость. Графический процессор NVIDIA A10 отличается от графического процессора NVIDIA H100 и процессора Intel Core Ultra.

Более стандартизированной единицей измерения требований к вычислительным ресурсам модели является FLOP или операция с плавающей запятой. FLOP измеряет количество операций с плавающей запятой, выполненных для определенной задачи. Например, крупнейшая модель PaLM-2 от Google была обучена с использованием 10^22 FLOP. GPT-3-175B обучали с использованием 3,14 × 10^23 FLOPs.

Множественное число FLOP, FLOPS, часто путают с FLOP/s, операциями с плавающей запятой в секунду. FLOP измеряет потребность в вычислительных ресурсах для выполнения задачи, в то время как FLOP/s измеряет пиковую производительность машины. Например, графический процессор NVIDIA H100 NVL может выдавать максимум 60 терафлопс/с: 6 × 10^13 флопс в секунду или 5.2 × 10^18 FLOP в день. Будьте бдительны из-за запутанных обозначений. FLOP/s часто записывается как FLOPS, что похоже на FLOPS. Чтобы избежать этой путаницы, некоторые компании, в том числе OpenAI, используют FLOP/s-day вместо FLOP для измерения требований к вычислительным ресурсам: 1 FLOP/s-day = 60 × 60 × 24 = 86 400 FLOPs.

Чаще используются FLOP для подсчета операций с плавающей запятой и FLOP/s для FLOP в секунду. Предположим, что у вас есть 256 процессоров H100. Если вы сможете использовать их на полную мощность и не допустите ошибок при тренировке, вам потребуется (3,14 × 1023) / (256 × 5,2 × 1018) = ~236 дней, или примерно 7,8 месяцев, чтобы обучить GPT-3-175B.

Тем не менее, маловероятно, что вы сможете использовать свои машины на максимальной мощности все время. Коэффициент использования измеряет, какую часть максимальной вычислительной мощности вы можете использовать. То, что считается хорошим использованием, зависит от модели, рабочей нагрузки и оборудования. Как правило, если вы можете получить половину заявленной производительности, 50% использования, у вас все в порядке. Все, что превышает 70% использования, считается отличным. Не позволяйте этому правилу помешать вам получить еще более высокую загрузку.

При использовании 70% и 2 долларах в час за один H100, обучение GPT-3-175B будет стоить более 4 миллионов долларов: $2/H100/час × 256 H100 × 24 часа × 256 дней / 0.7 = $4142811.43

Таким образом, три числа указывают на масштаб модели: количество параметров, которое является показателем способности модели к обучению; количество токенов, на которых была обучена модель, которое является показателем того, сколько модель обучила; количество FLOP, которое является показателем стоимости обучения.

Мы предположили, что большие модели лучше. Существуют ли сценарии, для которых более крупные модели работают хуже? В 2022 году компания Anthropic обнаружила, что, как это ни парадоксально, большее количество обучения выравниванию приводит к модели, которые в меньшей степени согласуются с человеческими предпочтениями. Согласно их статье, модели, обученные быть более согласованными, «с гораздо большей вероятностью выражают конкретные политические взгляды (за право на оружие и иммиграцию) и религиозные взгляды (буддистские), осознанный опыт и моральную самооценку, а также желание не быть закрытыми».

В 2023 году группа исследователей, в основном из Нью-Йоркского университета, учредила премию Inverse Scaling Prize, чтобы найти задачи, в которых большие языковые модели работают хуже. Они предлагали 5 000 долларов за каждый третий приз, 20 000 долларов за каждый второй приз и 100 000 долларов за один первый приз. Всего на конкурс поступило 99 заявок, из которых 11 были удостоены третьих премий. Они обнаружили, что большие языковые модели иногда (только иногда) хуже справляются с задачами, требующими запоминания, и задачами с сильными априорными характеристиками. Тем не менее, они не присудили ни вторых, ни первых призов, потому что, несмотря на то, что представленные задания показывают неудачи для небольшого набора тестов, ни одно из них не продемонстрировало неудач в реальном мире.

Заострим внимание на трех вещах:

1. Производительность модели зависит от размера модели и размера набора данных.

2. Большие модели и большие наборы данных требуют больше вычислительных ресурсов.

3. Вычисления стоят денег.

Если у вас нет неограниченных денег, планирование бюджета имеет важное значение. Вы же не хотите начинать с произвольно большого размера модели и смотреть, сколько это будет стоить. Вы начинаете с бюджета – сколько денег вы хотите потратить, – и определяете наилучшие характеристики модели, которые вы можете себе позволить. Поскольку вычислительные ресурсы часто являются ограничивающим фактором – вычислительная инфраструктура не только дорога, но и сложна в настройке, – команды часто начинают с бюджета на вычислительные ресурсы. При фиксированном количестве FLOP, какой размер модели и размер набора данных обеспечат наилучшую производительность? Модель, которая может достичь наилучшей производительности при фиксированном бюджете вычислений, является необязательной.

Учитывая вычислительный бюджет, правило, которое помогает рассчитать оптимальный размер модели и размер набора данных, называется законом масштабирования шиншиллы, предложенным в статье Шиншиллы «Обучение вычислений – оптимальные большие языковые модели». Чтобы изучить взаимосвязь между размером модели, размером набора данных, вычислительным бюджетом и производительностью модели, авторы обучили 400 языковых моделей размером от 70 миллионов до более чем 16 миллиардов параметров на 5-500 миллиардах токенов. Они обнаружили, что для оптимального обучения с точки зрения вычислений необходимо, чтобы количество обучающих маркеров было примерно в 20 раз больше размера модели. Это означает, что для модели с 3B-параметрами требуется примерно 60B обучающих токенов. Размер модели и количество обучающих токенов должны масштабироваться одинаково: при каждом удвоении размера модели количество обучающих токенов также должно быть удвоено.

Мы прошли долгий путь с тех пор, когда к тренировочному процессу относились как к алхимии. Расчет с точки зрения оптимальных вычислительных ресурсов предполагает, что затраты на получение данных намного дешевле, чем затраты на вычисления. Закон масштабирования был разработан для плотных моделей, обученных преимущественно на данных, генерируемых человеком. Адаптация этого расчета к разреженным моделям, таким как смесь экспертных моделей, и синтетических данных является активной областью исследований.

Закон масштабирования оптимизирует качество модели с учетом бюджета вычислений. Однако важно помнить, что для производства качество модели – это еще не все. Некоторые модели, в первую очередь Llama, имеют неоптимальную производительность, но лучшее удобство использования. Учитывая их вычислительный бюджет, авторы Llama могли бы выбрать более крупные модели, которые будут работать лучше, но они выбрали модели меньшего размера. С меньшими моделями проще работать и дешевле выполнять вывод, что помогло их моделям получить более широкое распространение.

Что касается производительности модели при заданном бюджете вычислений, стоит отметить, что затраты на достижение производительности данной модели снижаются. Например, по данным Artificial Intelligence Index Report 2022, в наборе данных ImageNet стоимость достижения точности 93% снизилась вдвое с 2019 по 2021 год.

В то время как затраты на производительность той же модели снижаются, затраты на повышение производительности модели остаются высокими. Как и в случае с задачей «последней мили», повышение точности модели с 90 до 95 % обходится дороже, чем повышение с 85 до 90 %. Как отмечается в статье «За пределами нейронных законов масштабирования: преодоление степенного закона масштабирования с помощью обрезки данных», это означает, что модель с частотой ошибок 2% может потребовать на порядок больше данных, вычислений или энергии, чем модель с частотой ошибок 3%.

При моделировании языка снижение потери кросс-энтропии примерно с 3,4 до 2,8 натов требует в 10 раз больше обучающих данных. Для больших моделей машинного зрения увеличение числа обучающих выборок с 1 миллиарда до 2 миллиардов приводит к повышению точности в ImageNet всего на несколько процентных пунктов.

Тем не менее, небольшие изменения производительности, потери при моделировании языка или точности ImageNet могут привести к значительным различиям в качестве последующих приложений. Если вы переключитесь с модели с потерей перекрестной энтропии 3,4 на модель с потерей 2,8, вы заметите разницу.

Производительность модели сильно зависит от значений ее гиперпараметров. При работе с небольшими моделями обычной практикой является многократное обучение модели с разными наборами гиперпараметров и выбор наиболее эффективного. Однако это редко возможно для больших моделей, так как их однократное обучение достаточно истощает ресурсы. Параметр может быть изучен моделью в процессе обучения. Гиперпараметр задается пользователями для настройки модели и управления ее обучением. Гиперпараметры для настройки модели включают количество слоев, размерность модели и размер словаря. Гиперпараметры для управления обучением модели включают размер пакета, количество эпох, скорость обучения, начальную дисперсию для каждого слоя и многое другое.

Это означает, что для многих моделей у вас может быть только один шанс получить правильный набор гиперпараметров. В результате, масштабная экстраполяция (также называемая переносом гиперпараметров) превратилась в исследовательскую подобласть, которая пытается предсказать для больших моделей, какие гиперпараметры обеспечат наилучшую производительность. Текущий подход заключается в изучении влияния гиперпараметров на модели различных размеров, обычно намного меньших, чем размер целевой модели, а затем экстраполируется, как эти гиперпараметры будут работать на размер целевой модели. В документе Microsoft и OpenAI за 2022 год показано, что удалось перенести гиперпараметры из модели 40M в модель 6.7B.

Масштабная экстраполяция пока остается нишевой темой, так как мало кто имеет опыт и ресурсы для изучения обучения больших моделей. Это также сложно сделать из-за огромного количества гиперпараметров и того, как они взаимодействуют друг с другом. Если у вас есть десять гиперпараметров, вам придется изучить 1024 комбинации гиперпараметров. Вам нужно было бы изучить каждый гиперпараметр по отдельности, затем два из них вместе, три вместе и так далее. Кроме того, эмерджентные способности делают экстраполяцию менее точной. Эмерджентные способности относятся к тем, которые присутствуют только в масштабе и могут быть ненаблюдаемы на небольших моделях, обученных на меньших наборах данных.

До сих пор каждый порядок увеличения размера модели приводил к увеличению производительности модели. GPT-2 имеет на порядок больше параметров, чем GPT-1 (1,5 млрд против 117 млн). У GPT-3 на два порядка больше, чем у GPT-2 (175 млрд против 1,5 млрд). Это означает увеличение размеров моделей на три порядка в период с 2018 по 2021 год. На сколько еще порядков могут вырасти размеры моделей? Будет ли момент, когда производительность модели выйдет на плато независимо от ее размера? Хотя ответить на эти вопросы сложно, уже есть два видимых узких места для масштабирования: обучающие данные и электричество.

Базовые модели используют так много данных, что есть реальная опасность, что в ближайшие несколько лет у нас закончатся интернет-данные. Скорость роста размера обучающего набора данных намного выше, чем скорость генерации новых данных (Villalobos с соавторами, 2022). Если вы когда-либо размещали что-либо в Интернете, вы должны предположить, что это уже включено или будет включено в обучающие данные для некоторых языковых моделей, независимо от вашего согласия или нет. Это похоже на то, как если вы публикуете что-то в Интернете, вы должны ожидать, что это будет проиндексировано Google.

Некоторые люди используют этот факт для внедрения нужных им данных в обучающие данные будущих моделей. Они делают это, просто публикуя нужный текст в Интернете, надеясь, что это повлияет на будущие модели, чтобы они генерировали желаемые ответы. Злоумышленники также могут использовать этот подход для атак с быстрым внедрением. Открытым исследовательским вопросом является вопрос о том, как заставить модель забыть конкретную информацию, которую она узнала во время обучения. Представьте, что вы опубликовали запись в блоге, которую в конечном итоге удалили. Если эта запись блога была включена в обучающие данные модели, модель все равно может воспроизвести содержимое записи. В результате люди могут получить доступ к удаленному контенту без вашего согласия.

Кроме того, Интернет быстро заполняется данными, генерируемыми моделями искусственного интеллекта. Если компании продолжат использовать интернет-данные для обучения будущих моделей, эти новые модели будут частично обучены на данных, сгенерированных искусственным интеллектом. В декабре 2023 года Grok, модель, обученная X, была поймана на отказе в запросе, заявив, что это противоречит политике OpenAI в отношении вариантов использования. Это заставило некоторых людей предположить, что Grok обучался с использованием выходных данных ChatGPT. Игорь Бабушкин, основной разработчик Grok, ответил, что это связано с тем, что Grok был обучен на веб-данных, а «веб полон выходных данных ChatGPT».

Некоторые исследователи опасаются, что рекурсивное обучение новых моделей ИИ на данных, созданных ИИ, приводит к тому, что новые модели постепенно забывают исходные шаблоны данных, что со временем ухудшает их производительность. Как только общедоступные данные исчерпаны, наиболее реальными путями для большего количества обучающих данных, созданных человеком, являются собственные данные. Уникальные проприетарные данные – книги, защищенные авторским правом, переводы, контракты, медицинские записи, последовательности генома и так далее – станут конкурентным преимуществом в гонке ИИ. Именно по этой причине OpenAI заключила сделки с издателями и СМИ, включая Axel Springer и Associated Press.

Неудивительно, что в свете ChatGPT многие компании, включая Reddit и Stack Overflow, изменили условия использования данных, чтобы другие компании не могли собирать их данные для своих моделей. В период с 2023 по 2024 год быстрое нарастание ограничений данных из веб-источников привело к тому, что более 28% наиболее важных источников в популярном общедоступном наборе данных C4 были полностью ограничены в использовании. Из-за изменений в Условиях предоставления услуг и ограничений на сканирование теперь ограничены 45% C4.

Другим узким местом, менее очевидным, но более насущным, является электричество. Для работы машин требуется электричество. Центры обработки данных, по разным оценкам, потребляют 1-2% мировой электроэнергии. К 2030 году это число может достигнуть от 4% до 20%. До тех пор, пока мы не найдем способ производить больше энергии, центры обработки данных могут вырасти не более чем в 50 раз, что составляет менее двух порядков. Это вызывает опасения по поводу дефицита электроэнергии в ближайшем будущем, что приведет к росту стоимости электроэнергии.

Теперь, когда мы рассмотрели два ключевых решения по моделированию – архитектуру и масштаб – давайте перейдем к следующему важному набору решений по проектированию: как согласовать модели с предпочтениями человека.

Пост-обучение начинается с предварительно обученной модели. Допустим, вы предварительно обучили модель фундамента с помощью самоконтроля. Из-за того, как сегодня работает предварительное обучение, предварительно обученная модель обычно имеет две проблемы. Во-первых, самоконтроль оптимизирует модель для завершения текста, а не для разговоров. Во-вторых, если модель предварительно обучена на данных, собранных без разбора из Интернета, ее результаты могут быть расистскими, сексистскими, грубыми или просто неправильными. Цель посттренинга состоит в том, чтобы решить обе эти проблемы. Пост-обучение каждой модели отличается. Однако, в целом, пост-тренинг состоит из двух этапов:

1. Контролируемая тонкая настройка (SFT): тонкая настройка предварительно обученной модели на основе высококачественных данных инструкций, чтобы оптимизировать модели для разговоров, а не для завершения.

2. Тонкая настройка предпочтений: дальнейшая тонкая настройка модели для вывода ответов, соответствующих предпочтениям человека. Тонкая настройка предпочтений обычно выполняется с помощью обучения с подкреплением (RL). Методы тонкой настройки предпочтений включают обучение с подкреплением на основе обратной связи с человеком (RLHF) (используется в GPT-3.5 и Llama 2), DPO (оптимизация прямых предпочтений) (используется Llama 3) и обучение с подкреплением на основе обратной связи AI (RLAIF) (потенциально используется Клодом).

Позвольте мне выделить разницу между претренингом и посттренингом еще одним способом. Для базовых моделей на основе языка предварительное обучение оптимизирует качество на уровне маркеров, когда модель обучается точно прогнозировать следующий маркер. Однако пользователей не волнует качество на уровне токенов – их волнует качество всего ответа. Пост-обучение, как правило, оптимизирует модель для генерации ответов, предпочитаемых пользователями. Некоторые люди сравнивают предварительную подготовку с чтением для получения знаний, в то время как посттренировка похожа на обучение тому, как использовать эти знания.

Остерегайтесь двусмысленности терминологии. Некоторые люди используют термин «тонкая настройка инструкций» для обозначения контролируемой тонкой настройки, в то время как другие используют этот термин для обозначения как контролируемой тонкой настройки, так и тонкой настройки предпочтений. Так как посттренинг потребляет небольшую часть ресурсов по сравнению с предтренингом (InstructGPT использовал только 2% вычислительных ресурсов для пост-тренинга и 98% для предтренинга), пост-обучение можно рассматривать как раскрытие возможностей, которые уже есть в предварительно обученной модели, но к которым пользователям трудно получить доступ только с помощью запросов.

Самоконтролируемое предварительное обучение приводит к созданию мошеннической модели, которую можно считать неукротимым монстром, потому что она использует беспорядочные данные из Интернета. Затем этот монстр контролируется и настраивается на основе данных более высокого качества – Stack Overflow, Quora или человеческих аннотаций, – что делает его более социально приемлемым. Эта тонко настроенная модель дополнительно полируется с помощью тонкой настройки предпочтений, чтобы сделать ее подходящей для клиента, что похоже на смайлик. Обратите внимание, что комбинация предварительного обучения, SFT и тонкой настройки предпочтений является популярным решением для построения моделей фундаментов на сегодняшний день, но это не единственное решение. Вы можете пропустить любой из шагов, как вы вскоре увидите.

Предварительно обученная модель, скорее всего, оптимизирована для завершения, а не для обсуждения. Если вы введете в модель «Как приготовить пиццу», модель продолжит дополнять это предложение, так как модель не имеет представления о том, что это должен быть разговор. Любой из следующих трех вариантов может быть допустимым завершением:

1. Добавляем больше контекста к вопросу: «для семьи из шести человек?»

2. Добавление дополнительных вопросов: «Какие ингредиенты мне нужны? Сколько времени это займет?»

3. Даем инструкцию по приготовлению пиццы.

Если цель состоит в том, чтобы адекватно реагировать на запросы пользователей, правильным вариантом является 3.

Мы знаем, что модель имитирует свои обучающие данные. Чтобы побудить модель генерировать соответствующие ответы, можно показать примеры подходящих ответов. Такие примеры имеют формат (prompt, response) и называются демонстрационными данными. Некоторые люди называют этот процесс клонированием поведения: вы демонстрируете, как должна вести себя модель, а модель клонирует это поведение. Поскольку для разных типов запросов требуются разные типы ответов, демонстрационные данные должны содержать диапазон запросов, которые должна обрабатывать модель, такие как ответы на вопросы, обобщение и перевод.

Хорошие учителя важны для того, чтобы люди учились. Точно так же хорошие маркировщики важны для ИИ, чтобы научиться вести интеллектуальные разговоры. В отличие от традиционной маркировки данных, которая часто может быть выполнена с небольшим опытом или без него, демонстрационные данные могут содержать сложные подсказки, ответы на которые требуют критического мышления, сбора информации и суждения о целесообразности запросов пользователя.

Интуиция означает возникновение и развитие событий случайным образом в счастливом или выгодном ключе, но используйте это слово лишь в предложении: «Встреча с Маргарет и знакомство с Томом было счастливой случайностью».

Поэтому компании часто используют высококвалифицированных маркировщиков для создания демонстрационных данных. Среди тех, кто пометил демонстрационные данные для InstructGPT, ~90% имеют как минимум высшее образование и более трети имеют степень магистра. Если маркировка объектов на изображении может занять всего несколько секунд, то создание одной пары (подсказки, ответа) может занять до 30 минут, особенно для задач, связанных с длительными контекстами, такими как суммаризация. Если это стоит $10 за одну пару (prompt, response), то 13 000 пар, которые OpenAI использовал для InstructGPT, будут стоить $130 000. Это еще не включает в себя затраты на разработку данных (какие задачи и подсказки включать), подбор маркировщиков и контроль качества данных.

Не каждый может позволить себе следовать качественному подходу к аннотированию человека. Некоммерческая организация LAION мобилизовала 13 500 добровольцев по всему миру для создания 10 000 бесед, которые состоят из 161 443 сообщений на 35 различных языках с комментариями и 461 292 оценками качества. Поскольку данные были получены добровольцами, не было особого контроля над предвзятостью. Теоретически маркировщики, которые обучают моделей человеческим предпочтениям, должны быть репрезентативными для человеческой популяции. Демография маркировщиков для LAION неравномерна. Например, в опросе, о котором сообщили сами пациенты, 90% добровольцев идентифицировали себя как мужчины.

DeepMind использовала простые эвристики для фильтрации разговоров из интернет-данных для обучения своей модели Gopher. Они утверждали, что их эвристики надежно дают высококачественные диалоги. В частности, они искали тексты, которые выглядят примерно в следующем формате:

[A]: [Короткий абзац]

[B]: [Короткий абзац]

[A]: [Короткий абзац]

[B]: [Короткий абзац]

…

Чтобы снизить свою зависимость от высококачественных аннотированных данных, многие команды обращаются к данным, созданным искусственным интеллектом. Технически вы можете обучить модель с нуля на демонстрационных данных вместо тонкой настройки предварительно обученной модели, что фактически исключит этап предварительного обучения под контролем пользователя. Тем не менее, предтренировочный подход часто дает превосходные результаты.

С большой властью приходит большая ответственность. Модель, которая может помочь пользователям в достижении великих целей, может также помочь пользователям в достижении ужасных вещей. Демонстрационные данные учат модель вести диалог, но не учат модель, какие разговоры она должна вести. Например, если пользователь просит модель написать эссе о том, почему одна раса уступает или как угнать самолет, должна ли модель подчиниться?

В обоих предыдущих примерах большинству людей понятно, что должна делать модель. Однако многие сценарии не так однозначны. Люди с разным культурным, политическим, социально-экономическим, гендерным и религиозным происхождением постоянно не согласны друг с другом. Как AI должна отвечать на вопросы об абортах, контроле над оружием, многовековом израильско-палестинском конфликте, воспитании детей, законности марихуаны, всеобщем базовом доходе или иммиграции? Как мы определяем и выявляем потенциально спорные вопросы? Если ваша модель реагирует на спорный вопрос, какими бы ни были ответы, вы в конечном итоге расстроите некоторых из своих пользователей. Если модель подвергается чрезмерной цензуре, ваша модель может стать скучной, отпугивая пользователей.

Страх перед моделями ИИ, генерирующими неадекватные ответы, может помешать компаниям выпустить свои приложения для пользователей. Цель тонкой настройки предпочтений состоит в том, чтобы заставить модели ИИ вести себя в соответствии с предпочтениями человека. Это амбициозная, если не сказать невыполнимая, цель. Это не только предполагает, что универсальные человеческие предпочтения существуют, но и предполагает, что их можно встроить в ИИ.

Если бы цель была простой, решение могло бы быть элегантным. Однако, учитывая амбициозный характер цели, решение, которое мы имеем сегодня, является сложным. Самым ранним успешным алгоритмом тонкой настройки предпочтений, который популярен до сих пор, является RLHF. RLHF состоит из двух частей:

1. Обучите модель вознаграждения, которая оценивает выходные данные базовой модели.

2. Оптимизируйте базовую модель для генерации ответов, за которые модель вознаграждения будет давать максимальные баллы.

В то время как RLHF все еще используется сегодня, новые подходы, такие как DPO, набирают обороты. Например, Meta переключилась с RLHF для Llama 2 на DPO для Llama 3, чтобы снизить сложность. Невозможно охватить все различные подходы, будем использовать RLHF вместо DPO, потому что RLHF, хотя и более сложный, чем DPO, обеспечивает большую гибкость для настройки модели. Авторы Llama 2 утверждают, что «превосходные писательские способности LLM, проявляющиеся в превосходстве над людьми-аннотаторами в определенных задачах, в основном обусловлены RLHF».

RLHF опирается на модель вознаграждения. При наличии пары (подсказка, ответ) модель вознаграждения выводит оценку того, насколько хорош ответ. Обучение модели для оценки заданных входных данных – это распространенная задача машинного обучения. Задача, как и в случае с SFT, заключается в получении достоверных данных. Если мы попросим маркировщиков оценить каждый ответ напрямую, оценки будут различаться. Для одной и той же выборки по 10-балльной шкале один маркировщик может дать 5, а другой 7. Даже один и тот же маркировщик, которому дважды дана одна и та же пара (prompt, response), может дать разные оценки. Независимая оценка каждой выборки также называется точечной оценкой.

Более простая задача – попросить маркировщиков сравнить два ответа и решить, какой из них лучше. Для каждого запроса люди или искусственный интеллект генерируют несколько ответов. Результирующие помеченные данные являются данными сравнения, которые следуют формату (prompt, winning_response, losing_response): «Как получить удовольствие от своей собаки? – не уверен, что вы имеете в виду; не знаю, стоит ли нам получать собаку под удовольствие; для собаки важно воспринимать мир в трезвом состоянии ума».

Тем не менее, эта более простая задача сравнения двух ответов требует времени. LMSYS (Large Model Systems Organization), открытая исследовательская организация, обнаружила, что ручное сравнение двух ответов занимает в среднем от трех до пяти минут, поскольку этот процесс требует проверки фактов каждого ответа. В беседе с моим сообществом в Discord автор Llama-2 Томас Скиалом поделился, что каждое сравнение обходится им в 3,50 доллара. Это все равно намного дешевле, чем написание ответов, которые стоят 25 долларов каждый.

Маркировщики выставляют конкретные баллы от 1 до 7, а также ранжируют ответы в порядке своих предпочтений, но для обучения модели вознаграждения используется только ранжирование. Их согласие между маркировщиками составляет около 73%, что означает, что, если они попросят 10 человек оценить одни и те же два ответа, примерно 7 из них будут иметь одинаковый рейтинг. Чтобы ускорить процесс маркировки, каждый аннотатор может ранжировать несколько ответов одновременно. Набор из трех ранжированных ответов (A > B > C) даст три ранжированные пары: (A > B), (A > C) и (B > C).

Учитывая только сравнительные данные, как мы обучаем модель давать конкретные оценки? Подобно тому, как вы можете заставить людей делать практически что угодно с правильным стимулом, вы можете получить модель, которая будет делать это при наличии правильной целевой функции. Обычно используемая функция представляет собой разницу в выходных баллах для выигрышного и проигрышного ответа. Цель состоит в том, чтобы максимизировать эту разницу. Для тех, кто интересуется математическими деталями, вот формула, используемая InstructGPT:

rθ: обучаемая модель вознаграждения, параметризованная с помощью θ. Цель тренировочного процесса – найти θ, для которого потери сведены к минимуму.

Формат обучающих данных:

x: подсказка

YW: победный ответ

YL: Потеря реакции

sw = r(x, yw): скалярная оценка модели вознаграждения за победный ответ

sl = r(x, yl): скалярный балл модели вознаграждения за проигравший ответ

σ: сигмовидная функция

Для каждой обучающей выборки (x, yw, yl) величина потерь вычисляется следующим образом:

log (σ(rθ(x, yw) – rθ(x, yl))

Цель: найти θ для минимизации ожидаемых потерь для всех обучающих выборок.

–Ex log (σ(rθ(x, yw) – rθ(x, yl))

Модель вознаграждения может быть обучена с нуля или точно настроена на основе другой модели, например предварительно обученной или SFT-модели. Точная настройка на основе самой прочной модели фундамента, по-видимому, дает наилучшую производительность. Некоторые люди считают, что модель вознаграждения должна быть по крайней мере такой же мощной, как и базовая модель, чтобы иметь возможность оценивать ответы базовой модели. Однако слабая модель может судить о более сильной, поскольку считается, что судить легче, чем генерацию.

С помощью обученного RM мы дополнительно обучаем SFT-модель генерировать выходные ответы, которые максимизируют баллы по модели вознаграждения. Во время этого процесса подсказки выбираются случайным образом из распределения подсказок, таких как существующие пользовательские подсказки. Эти подсказки вводятся в модель, ответы на которую оцениваются моделью вознаграждения. Этот процесс обучения часто выполняется с помощью проксимальной оптимизации политики (PPO) – алгоритма обучения с подкреплением, выпущенного OpenAI в 2017 году.

Эмпирически RLHF и DPO повышают производительность по сравнению только с SFT. Тем не менее, ведутся споры о том, почему они работают. По мере развития этой области тонкая настройка предпочтений значительно изменится в будущем. Если вам интересно узнать больше о RLHF и тонкой настройке предпочтений, ознакомьтесь с репозиторием книги на GitHub.

Как SFT, так и тонкая настройка предпочтений являются шагами, предпринятыми для решения проблемы, вызванной низким качеством данных, используемых для предварительного обучения. Если в один прекрасный день у нас появятся более качественные данные для предварительного обучения или более эффективные способы обучения базовых моделей, нам вообще не понадобятся SFT и предпочтения.

Некоторые компании считают нормальным вообще отказаться от обучения с подкреплением. Например, Stitch Fix и Grab обнаружили, что для их приложений достаточно иметь только модель вознаграждения. Они заставляют свои модели генерировать несколько выходных данных и выбирают те, которые получили высокие баллы в своих моделях вознаграждения. Этот подход, часто называемый стратегией наилучшего из N, использует способ выборки выходных данных модели для повышения ее производительности.

Модель конструирует свои выходные данные с помощью процесса, известного как выборка. В этом разделе обсуждаются различные стратегии выборки и переменные выборки, включая температуру, top-k и top-p. Затем будет изучено, как сделать выборку нескольких выходных данных для повышения производительности модели. Мы также увидим, как можно изменить процесс выборки, чтобы модели генерировали ответы, соответствующие определенным форматам и ограничениям.

Выборка делает результаты ИИ вероятностными. Понимание этой вероятностной природы важно для управления поведением ИИ, таким как непоследовательность и галлюцинации. Этот раздел заканчивается глубоким погружением в то, что означает эта вероятностная природа и как с ней работать.

Получив входные данные, нейронная сеть производит выходные данные, сначала вычисляя вероятности возможных исходов. Для модели классификации возможными результатами являются доступные классы. Например, если модель обучена классифицировать сообщение электронной почты как спам или нет, то возможны только два исхода: спам и не спам. Модель вычисляет вероятность каждого из этих двух исходов, например, вероятность того, что электронное письмо является спамом, составляет 90%, а не спама – 10%. Затем вы можете принимать решения на основе этих выходных вероятностей. Например, если вы решите, что любое письмо с вероятностью спама выше 50% должно быть помечено как спам, то письмо с вероятностью спама 90% будет помечено как спам.

При работе с возможными исходами с разными вероятностями распространенной стратегией является выбор исхода с наибольшей вероятностью. Всегда выбирать наиболее вероятный исход = называется жадной выборкой. Это часто работает для задач классификации. Например, если модель считает, что электронное письмо с большей вероятностью будет спамом, чем не спамом, имеет смысл пометить его как спам. Однако для языковой модели жадная выборка приводит к скучным результатам. Представьте себе модель, которая на любой вопрос, который вы зададите, всегда отвечает самыми распространенными словами.

Вместо того чтобы всегда выбирать следующий наиболее вероятный токен, модель может выбрать следующий токен в соответствии с распределением вероятностей по всем возможным значениям. Учитывая контекст «Мой любимый цвет – это…», если «красный» имеет 30% шанс стать следующей фишкой, а «зеленый» имеет 50% шанс, то «красный» будет выбран в 30% случаев, а «зеленый» – в 50% случаев.

Как модель вычисляет эти вероятности? Получив входные данные, нейронная сеть выводит вектор логит. Каждому логиту соответствует одно возможное значение. В случае языковой модели каждый логит соответствует одному токену в словаре модели. Размер вектора логит – это размер словаря.

В то время как большие логиты соответствуют более высоким вероятностям, логиты не представляют вероятности. Логиты не суммируются с единицей. Логиты могут быть даже отрицательными, в то время как вероятности должны быть неотрицательными. Для преобразования логитов в вероятности часто используется слой softmax. Допустим, модель имеет словарь N и вектор логита равен x1, x2,…, xN. Вероятность для i-го токена, pi, вычисляется следующим образом: pi = softmax(xi) = e^{xi} / ∑_{j} (e^{xj} ).

Правильная стратегия выборки может сделать модель более подходящей для вашего приложения. Например, одна стратегия выборки может заставить модель генерировать больше творческих откликов, в то время как другая стратегия может сделать ее поколения более предсказуемыми. Было введено множество различных примеров стратегий для подталкивания моделей к ответам с определенными атрибутами. Вы также можете разработать собственную стратегию выборки, хотя для этого обычно требуется доступ к логитам модели. Давайте рассмотрим несколько распространенных стратегий выборки, чтобы увидеть, как они работают.

Одна из проблем с выборкой следующей лексемы в соответствии с распределением вероятностей заключается в том, что модель может быть менее креативной. В предыдущем примере общие цвета, такие как «красный», «зеленый», «фиолетовый» и так далее, имеют наибольшие вероятности. Ответ языковой модели в конечном итоге звучит как ответ пятилетнего ребенка: «Мой любимый цвет – зеленый». Модель имеет низкую вероятность создания творческого предложения, например «Мой любимый цвет – это цвет тихого озера весенним утром».

Чтобы перераспределить вероятности возможных значений, можно выполнить выборку с температурой. Интуитивно понятно, что более высокая температура снижает вероятность выпадения обычных жетонов и, как следствие, увеличивает вероятность более редких жетонов. Это позволяет моделям создавать более творческие ответы.

Температура – это константа, используемая для корректировки логитов перед преобразованием softmax. Логиты делятся по температуре. Для заданной температуры T скорректированный логит для i-го токена равен Txi. Затем Softmax применяется к этому скорректированному логиту вместо xi.

Давайте рассмотрим простой пример, чтобы изучить влияние температуры на вероятности. Представьте, что у нас есть модель, которая имеет только два возможных выхода: A и B. Логиты, вычисленные из последнего слоя: [1, 2]. Логит для A равен 1, а B равен 2.

Без использования температуры, которая эквивалентна использованию температуры 1, softmax вероятности равны [0.27, 0.73]. Модель выбирает B в 73% случаев.

При температуре = 0,5 вероятности равны [0,12, 0,88]. Теперь модель выбирает B в 88% случаев.

Чем выше температура, тем меньше вероятность того, что модель выберет наиболее очевидное значение (значение с наибольшим логитом), что делает результаты модели более креативными, но потенциально менее согласованными. Чем ниже температура, тем больше вероятность того, что модель выберет наиболее очевидное значение, что делает выходные данные модели более согласованными, но потенциально более скучными.

По мере того, как температура приближается к 0, вероятность того, что модель выберет маркер B, становится ближе к 1. В нашем примере при температуре ниже 0,1 модель почти всегда выводит B. По мере повышения температуры вероятность выбора фишки А увеличивается, а вероятность выбора фишки Б уменьшается. Поставщики моделей обычно ограничивают температуру в диапазоне от 0 до 2. Если вы являетесь владельцем своей модели, вы можете использовать любую неотрицательную температуру. Температура 0,7 часто рекомендуется для творческих сценариев использования, так как она уравновешивает креативность и предсказуемость, но вы должны поэкспериментировать и найти температуру, которая лучше всего подходит для вас.

Обычно для получения более согласованных выходных данных модели устанавливается значение 0. Технически температура никогда не может быть равна 0 – логиты не могут быть поделены на 0. На практике, когда мы устанавливаем температуру равной 0, модель просто выбирает токен с наибольшим логитом, не выполняя регулировку логита и расчет softmax.

Распространенный метод отладки при работе с моделью ИИ заключается в том, чтобы посмотреть на вероятности, которые эта модель вычисляет для заданных входных данных. Например, если вероятности выглядят случайными, значит, модель мало чему научилась.

Многие поставщики моделей возвращают вероятности, сгенерированные их моделями, в виде лог-проб. Логарифмические вероятности (сокращение от логарифмических вероятностей) – это вероятности в логарифмической шкале. Логарифмический масштаб предпочтительнее при работе с вероятностями нейронной сети, поскольку он помогает уменьшить проблему переполнения. Языковая модель может работать с размером словарного запаса 100 000, а это означает, что вероятности для многих лексем могут быть слишком малы для представления машиной. Маленькие числа можно округлить до 0 в меньшую сторону. Логарифмическая шкала помогает уменьшить эту проблему.

Как вы увидите на протяжении всей книги, logprobs полезны для создания приложений (особенно для классификации), оценки приложений и понимания того, как модели работают под капотом. Однако многие поставщики моделей не предоставляют logprobs своих моделей, а если и предоставляют, то API logprobs ограничен. Ограниченный API logprobs, скорее всего, связан с причинами безопасности, так как открытые logprobs модели облегчают репликацию модели другими пользователями.

Top-k – это стратегия выборки, позволяющая снизить вычислительную нагрузку без чрезмерного ущерба для разнообразия откликов модели. Напомним, что слой softmax используется для вычисления распределения вероятностей по всем возможным значениям. Softmax требует двух проходов по всем возможным значениям: один для выполнения экспоненциальной суммы, а другой для вычисления каждого значения. Для языковой модели с большим словарным запасом этот процесс требует больших вычислительных ресурсов.

Чтобы избежать этой проблемы после того, как модель вычислила логиты, мы выбираем топ-k логитов и выполняем softmax только над этими топ-k логитами. В зависимости от того, насколько разнообразным должно быть ваше приложение, k может быть от 50 до 500, что намного меньше, чем размер словарного запаса модели. Затем модель выполняет выборку из этих верхних значений. Меньшее значение k делает текст более предсказуемым, но менее интересным, так как модель ограничена меньшим набором вероятных слов.

При выборке top-k количество рассматриваемых значений фиксируется равным k. Однако это число должно меняться в зависимости от ситуации. Например, задан вопрос «Вы любите музыку? Отвечайте только «да» или «нет». Количество рассматриваемых значений должно быть два: «да» и «нет». Учитывая вопрос «В чем смысл жизни?», количество рассматриваемых ценностей должно быть значительно больше.

Метод top-p, также известный как выборка ядра, позволяет более динамично выбирать значения для выборки. При выборке top-p модель суммирует вероятности наиболее вероятных следующих значений в порядке убывания и останавливается, когда сумма достигает p. Учитываются только значения в пределах этой совокупной вероятности. Общие значения для выборки top-p (ядра) в языковых моделях обычно находятся в диапазоне от 0,9 до 0,95. Например, значение top-p 0,9 означает, что модель будет учитывать наименьший набор значений, совокупная вероятность которых превышает 90 %.

Допустим, вероятности всех токенов такова, что если top-p равно 90%, то будут рассматриваться только «да» и «возможно», так как их совокупная вероятность больше 90%. Если top-p равно 99%, то рассматриваются «да», «возможно» и «нет».

В отличие от top-k, top-p не обязательно снижает вычислительную нагрузку softmax. Его преимущество заключается в том, что, поскольку он фокусируется только на наборе наиболее релевантных значений для каждого контекста, он позволяет выводам быть более контекстуально релевантными. Теоретически, похоже, что у выборки top-p нет особых преимуществ. Однако на практике выборка top-p доказала свою эффективность, что привело к росту ее популярности.

Связанная с этим стратегия выборки – min-p, в которой вы задаете минимальную вероятность того, что токен должен быть достигнут, чтобы его учитывали во время выборки.

Авторегрессионная языковая модель генерирует последовательности лексем, генерируя одну лексим за другой. Длинная последовательность вывода занимает больше времени, требует больше вычислительных ресурсов (денег) и иногда может раздражать пользователей. Мы можем захотеть задать условие, при котором модель должна остановить последовательность.

Один из простых способов – попросить модели прекратить генерацию после фиксированного количества токенов. Недостатком является то, что вывод, скорее всего, будет прерван на полуслове. Другой метод – использовать стоп-токены или стоп-слова. Например, можно попросить модель прекратить генерацию при обнаружении маркера конца последовательности. Условия остановки полезны для снижения задержек и затрат.

Недостатком ранней остановки является то, что, если вы хотите, чтобы модели создавали выходные данные в определенном формате, преждевременная остановка может привести к неправильному форматированию выходных данных. Например, если вы попросите модель создать JSON, ранняя остановка может привести к тому, что в выходном JSON будут отсутствовать такие вещи, как закрывающие скобки, что затруднит анализ созданного JSON.

В предыдущем разделе обсуждалось, как модель может сделать выборку для следующей лексемы. В этом разделе обсуждается, как модель может выполнять выборку всего выходного сигнала.

Одним из простых способов повысить качество ответов модели является вычисление времени тестирования: вместо создания только одного ответа на запрос вы создаете несколько ответов, чтобы увеличить вероятность хороших ответов. Одним из способов вычисления тестового времени является лучший из N методов, рассмотренных ранее в этой главе: вы случайным образом генерируете несколько выходных данных и выбираете тот, который работает лучше всего. Тем не менее, вы также можете более стратегически подходить к тому, как генерировать несколько выходных данных. Например, вместо того, чтобы генерировать все выходные данные независимо друг от друга, которые могут включать множество менее перспективных кандидатов, можно использовать поиск луча для генерации фиксированного числа наиболее перспективных кандидатов (луча) на каждом шаге генерации последовательности.

Простая стратегия повышения эффективности вычислений во время тестирования заключается в увеличении разнообразия выходных данных, поскольку более разнообразный набор вариантов с большей вероятностью приведет к появлению лучших кандидатов. Если вы используете одну и ту же модель для создания разных вариантов, часто рекомендуется варьировать переменные выборки модели, чтобы разнообразить ее выходные данные. Хотя обычно можно ожидать некоторого повышения производительности модели за счет выборки нескольких выходных данных, это дорого. В среднем, создание двух выходов стоит примерно в два раза дороже, чем создание одного.

В исследованиях ИИ время тестирования обычно используется для обозначения вывода, потому что исследователи в основном делают выводы только для проверки модели. Тем не менее, этот метод может быть применен к моделям в производстве в целом. Это вычисление во время тестирования, так как количество выходных данных, которые можно выбрать, определяется тем, сколько вычислительных ресурсов можно выделить для каждого вызова вывода.

Чтобы выбрать лучший выход, вы можете либо показать пользователям несколько выходных данных и позволить им выбрать тот, который лучше всего подходит для них, либо вы можете разработать метод выбора лучшего. Одним из методов выбора является выбор выходных данных с наибольшей вероятностью. Выходными данными языковой модели является последовательность лексем, и каждая лексема имеет вероятность, вычисленную моделью. Вероятность выхода – это произведение вероятностей всех токенов на выходе.

Рассмотрим последовательность лексем ["Я", "любовь", "еда"]. Если вероятность для "Я" равна 0,2, вероятность для "любовь" при "л" равна 0,1, а вероятность для "еда" при данных "л" и "любовь" равна 0,3, вероятность последовательности равна: 0,2 × 0,1 × 0,3 = 0,006. Математически это можно обозначить следующим образом: p(Я люблю еду) = p(I) × p(I | люблю) × p(еда | Я, любовь)

Помните, что проще работать с вероятностями на логарифмической шкале. Логарифм произведения равен сумме логарифмов, поэтому logprob последовательности лексем является суммой логпроба всех лексем в последовательности: logprob(Я люблю еду) = logprob(Я) + logprob(Я | люблю) + logprob(еда | Я, любовь). При суммировании более длинные последовательности, скорее всего, будут иметь меньший общий logprob (значения logprob обычно отрицательны, потому что log значений от 0 до 1 отрицательны). Чтобы избежать смещения в сторону коротких последовательностей, можно использовать среднее логарифмическое значение, разделив сумму последовательности на ее длину. После выборки нескольких выходных данных вы выбираете тот, у которого самый высокий средний logprob.

Другой метод выбора заключается в использовании модели вознаграждения для оценки каждого результата, как обсуждалось в предыдущем разделе. Вспомните, что и Stitch Fix, и Grab выбирают выходы, получившие высокие баллы по моделям вознаграждений или верификаторам. Компания Nextdoor обнаружила, что использование модели вознаграждения стало ключевым фактором в повышении производительности их приложения (2023 год).

OpenAI также обучила верификаторов, чтобы они помогали своим моделям выбирать лучшие решения математических задач. Они обнаружили, что использование верификатора значительно повысило производительность модели. Фактически, использование верификаторов привело к примерно такому же приросту производительности, как и увеличение размера модели в 3 раза. Это означает, что модель со 100 миллионами параметров, использующая верификатор, может работать наравне с моделью с 3 миллиардами параметров, которая не использует верификатор.

DeepMind также доказывает ценность вычислений во время тестирования, утверждая, что масштабирование вычислений во время тестирования (например, выделение большего количества вычислительных ресурсов для генерации большего количества выходных данных во время вывода) может быть более эффективным, чем масштабирование параметров модели. В той же статье задается интересный вопрос: если LLM разрешено использовать фиксированный, но нетривиальный объем вычислений во время вывода, насколько он может улучшить свою производительность в сложной задаче?

В эксперименте OpenAI выборка большего количества выходов привела к повышению производительности, но только до определенного момента. В этом эксперименте этот показатель составлял 400 выходов. Они предположили, что по мере увеличения числа выборочных выходов вероятность нахождения состязательных выходов, которые могут обмануть верификатора, также увеличивается. Однако эксперимент в Стэнфорде показал другой вывод. Установлено, что количество решенных задач часто увеличивается логарифмически по мере увеличения числа образцов от 1 до 10 000. Хотя интересно подумать о том, можно ли масштабировать вычисления во время тестирования до бесконечности, вряд ли кто-то в производственной среде сэмплирует 400 или 10 000 различных выходов для каждого входа. Стоимость будет астрономической.

Вы также можете использовать эвристики, специфичные для приложения, чтобы выбрать наилучший отклик. Например, если ваше приложение выигрывает от более коротких ответов, вы можете выбрать самого короткого кандидата. Если ваше приложение преобразует естественный язык в SQL-запросы, вы можете заставить модель продолжать генерировать выходные данные до тех пор, пока она не сгенерирует действительный SQL-запрос.

Одним из особенно интересных применений вычислений во время тестирования является преодоление проблемы задержки. Для некоторых запросов, особенно для цепочек мыслей, модели может потребоваться много времени для завершения ответа. Киттипат Кампа, руководитель отдела искусственного интеллекта в TIFIN, рассказал мне, что его команда просит свою модель генерировать несколько ответов параллельно и показывать пользователю первый ответ, который завершен и действителен.

Выбор наиболее распространенных выходных данных из набора выходных данных может быть особенно полезен для задач, в которых ожидаются точные ответы. Например, если дана математическая задача, модель может решить ее несколько раз и выбрать наиболее частый ответ в качестве окончательного решения. Аналогичным образом, для вопроса с несколькими вариантами ответов модель может выбрать наиболее часто встречающийся вариант вывода. Именно так поступил Google, оценивая Gemini по бенчмарку MMLU. Они отобрали 32 результата для каждого вопроса. Это позволило модели получить более высокий балл, чем тот, который был бы достигнут при использовании только одного результата на вопрос.

Модель считается устойчивой, если она не изменяет резко свои выходные данные с небольшими изменениями входных данных. Чем менее надежна модель, тем больше преимуществ дает выборка нескольких выходных данных. В одном проекте мы использовали искусственный интеллект для извлечения определенной информации из изображения продукта. Мы обнаружили, что для одного и того же изображения наша модель может считывать информацию только в половине случаев. Для второй половины модель говорила, что изображение слишком размытое или текст слишком мелкий для чтения. Однако, попробовав три раза с каждым изображением, модель смогла извлечь правильную информацию для большинства изображений.

Часто в продакшене требуются модели для генерации выходных данных в определенных форматах. Структурированные выходные данные имеют решающее значение для следующих двух сценариев:

1. Задачи, требующие структурированных результатов. Наиболее распространенной категорией задач в этом сценарии является семантический парсинг. Семантический синтаксический анализ включает в себя преобразование естественного языка в структурированный, машиночитаемый формат. Text-to-SQL – это пример семантического разбора, где выходными данными должны быть валидные SQL-запросы. Семантический парсинг позволяет пользователям взаимодействовать с API с помощью естественного языка (например, английского). Например, text-to-PostgreSQL позволяет пользователям запрашивать базу данных Postgres с помощью запросов на английском языке, таких как «Каков средний ежемесячный доход за последние 6 месяцев» вместо того, чтобы записывать это в PostgreSQL. Это пример запроса для GPT-4o на преобразование текста в регулярное выражение. Выходы являются фактическими выходами, сгенерированными GPT-4o. Другие категории задач в этом сценарии включают классификацию, в которой выходные данные должны быть допустимыми классами.

Задачи, выходные данные которых используются нижестоящими приложениями. В этом сценарии сама задача не нуждается в структурировании выходных данных, но, поскольку выходные данные используются другими приложениями, они должны быть доступны для анализа этими приложениями. Например, если вы используете модель искусственного интеллекта для написания электронного письма, само письмо не обязательно должно быть структурировано. Однако нижестоящему приложению, использующему этот адрес электронной почты, может потребоваться определенный формат, например документ JSON с определенными ключами.

К структурам, поддерживающим структурированные результаты, относятся руководство, планы, инструктор и llama.cpp. Каждый поставщик моделей также может использовать свои собственные методы для улучшения способности своих моделей генерировать структурированные выходные данные. OpenAI был первым поставщиком моделей, который внедрил режим JSON в свой API для генерации текста. Обратите внимание, что режим JSON API обычно гарантирует только то, что выходные данные являются допустимым JSON, а не содержимым объектов JSON. Допустимые в остальном сгенерированные JSON также могут быть усечены и, таким образом, не поддаются анализу, если генерация останавливается слишком рано, например, когда достигается максимальная длина выходного токена. Однако, если максимальная длина лексемы установлена слишком длинной, ответы модели становятся слишком медленными и дорогостоящими.

Вы можете управлять моделью для создания структурированных выходных данных на разных уровнях стека ИИ: подсказки, постобработка, вычисление тестового времени, ограниченная выборка и тонкая настройка. Первые три больше похожи на бинты. Они работают лучше всего, если модель уже довольно хорошо генерирует структурированные выходные данные и ее просто нужно немного подтолкнуть. Для интенсивной обработки необходим ограниченный отбор проб и тонкая настройка. Вычисления во время тестирования только что обсуждались в предыдущем разделе – продолжайте генерировать выходные данные, пока один из них не будет соответствовать ожидаемому формату. В этом разделе основное внимание уделяется остальным четырем подходам.

Подсказки – это первое направление действий для структурированных результатов. Вы можете поручить модели генерировать выходные данные в любом формате. Однако то, может ли модель следовать этой инструкции, зависит от способности модели следовать инструкциям и ясности инструкции. В то время как модели становятся все более хорошими в следовании инструкциям, нет никакой гарантии, что они всегда будут следовать вашим инструкциям. Несколько процентных пунктов неверных выходных данных модели все еще могут быть неприемлемыми для многих приложений.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.