Э. В. Талапина
Обеспечение фундаментальных прав человека при обработке данных в государственном управлении
1.1. Правовое регулирование использования алгоритмов для обработки данных в государственном управлении
Алгоритм является базовым понятием в проблематике автоматизированной обработки данных. Начнем с того, что алгоритмы существовали задолго до того, как получили свое наименование. Они порождены необходимостью находить быстрые и эффективные решения посредством трансформации данных при помощи точных указаний, применяющихся поэтапно. В принципе обычный кулинарный рецепт – это уже алгоритм, который содержит пошаговую инструкцию для достижения определенного результата. Правовая норма тоже алгоритм, содержащий набор данных, условий их применения в заданной последовательности также для достижения некоего результата (решения определенной проблемы). Выходит, право и алгоритм крайне близки по сути. Если отталкиваться от классических определений – право как система норм, регулирующих отношения между людьми в обществе, и алгоритм как совокупность инструкций, разрешающих проблему, – то понятие алгоритма оказывается более широким. В этом смысле право можно рассматривать как специфический алгоритм (юридический), объединяющий совокупность инструкций, разрешающих проблемы, возникающие из отношений людей в обществе[29].
Но развитие информационных технологий, успех науки информатики прочно связали понятие алгоритма с информационным обеспечением. Поэтому, произнося слово «алгоритм», мы переносимся в область программирования.
Оксфордский словарь английского языка определяет алгоритм как процесс или набор правил, которым необходимо следовать при осуществлении вычислений или других операций, связанных с решением задач, как правило, с помощью компьютера[30]. В настоящее время под алгоритмом обычно понимают либо фрагмент кода, либо компьютерное приложение, которое может быть использовано в целях оказания содействия человеку в процессе принятия решений или для выполнения действий, не требующих его непосредственного участия[31]. Так, алгоритмы уже используются при вынесении приговоров и принятии решений об условно-досрочном освобождении; для прогнозирования «мест притяжения» криминальной активности в целях содействия органам правопорядка и рационального распределения ресурсов; при персонализации результатов поиска, электронных новостных лент и рекламы; для выявления мошенничества; определения кредитных рейтингов; облегчения набора персонала, а также оказания медицинских и юридических услуг и др. Используются алгоритмы и в сфере государственного управления. В этом смысле особого внимания требуют алгоритмы, которые применяются для поддержки принятия решений. Некоторые из наиболее известных примеров использования алгоритмов связаны с процессом принятия решений, что непосредственно оказывает воздействие на права человека. Один из наиболее часто приводимых примеров в связи с этим – использование алгоритмов для оценки степени риска при вынесении приговоров, учитывая, что такая оценка может иметь прямое отношение к праву человека на свободу и запрету дискриминации[32]. Подобный кейс будет рассмотрен нами ниже.
Доступность алгоритмов в совокупности с использованием оценки степени риска потенциально может повлиять на права человека, особенно в отношении тех, кто находится в уязвимом положении в ключевых областях жизни (пища, жилище, занятость). Прогнозная аналитика может применяться и для защиты детей. Например, London Council в сотрудничестве с частными поставщиками услуг использует алгоритмы, объединяя данные нескольких агентств, и применяет риск-ориентированный подход для определения вероятности жестокого обращения с ребенком или отсутствия заботы о нем. Сказанное вызывает к жизни вопросы конфиденциальности и защиты данных, а также вопросы, связанные с правом на уважение частной и семейной жизни и дискриминацией. В связи с этим прежде всего необходимо определить, можно ли использовать алгоритм для принятия решений или для содействия в его принятии, если речь идет о конкретной жизненной ситуации. Алгоритмы, управляющие большими данными, – искусственный интеллект или алгоритмы машинного обучения – обычно работают на основе корреляции и статистической вероятности. Однако природа таких алгоритмов, с одной стороны, заключается в генерации результатов, которые описывают поведение группы, но не адаптированы к конкретным людям внутри этой группы, а с другой – не зависит от размера или качества входного набора данных[33].
В целях настоящего исследования нельзя обойти вниманием отправной научно-методологический подход, связанный с правовым осмыслением цифровых технологий в целом и алгоритмов в частности. Если в отношении технологий право «колеблется» между киберлибертарианством (утверждающим, что технологии радикально изменят право и приведут к утрате его значения перед лицом программного кода) и консервативной позицией, считающей, что право с легкостью урегулирует любые цифровые технологии в традиционном ключе, то касательно алгоритмов право изначально занимало позицию регулятора, т. е. право относится к алгоритму как объекту регулирования. При этом в юридическом смысле правовой охране подлежали не сами алгоритмы, а программы. Причем, что особенно важно для государственного управления, происходило это в рамках гражданского права, которое, как известно, распространяется на отношения с участием государства в ограниченном объеме.
Программы для ЭВМ в целях охраны авторским правом в силу указания ст. 1261 ГК РФ и в соответствии с закрепленными на международном уровне подходами условно приравниваются к произведениям литературы. Аналогичное правило предусмотрено в п. 1 ст. 1 °Cоглашения по торговым аспектам прав интеллектуальной собственности, согласно которому компьютерные программы, которые могут быть выражены на любом языке и в любой форме, включая исходный текст и объектный код, подлежат авторско-правовой охране как литературные произведения. Однако необходимо учитывать специфику программ для ЭВМ, которая вытекает из их предназначения – обеспечивать функционирование компьютерных устройств, осуществление определенных алгоритмов и процессов, достижение результатов, имеющих по своей сущности технический характер. Перед литературными произведениями такой задачи не ставится[34].
Алгоритм как последовательность операций является основным компонентом программы, отражая ту главную идею, согласно которой должен работать компьютер. Однако в соответствии с п. 5 ст. 1259 ГК РФ авторские права не распространяются на идеи, концепции, принципы, методы, процессы, системы, способы решения технических, организационных или иных задач, открытия, факты, языки программирования. В итоге алгоритм как таковой лишен правовой защиты, охраняется лишь его реализация в виде последовательности операций и действий над этими операциями[35]. Это обстоятельство имеет перспективное значение, если иметь в виду использование алгоритмов в государственном управлении в качестве «замены» человека, принимающего решения. В этом смысле алгоритм как бы становится стороной управленческого отношения и «несет обязанности» в отношении граждан, в том числе по соблюдению прав человека.
Тем не менее согласно директиве 91/250/СЕ от 14 мая 1991 г. «О правовой охране компьютерных программ» такая защита предоставлялась только самим программам, но не идеям и принципам, лежащим в основе алгоритма[36]. Это правило сохранилось и в новой директиве 2009/24 от 23 апреля 2009 г.[37]Суд Европейского союза подтвердил изложенную позицию, указав, что защите авторским правом подлежат код-источник (исходный текст) и объектный код компьютерной программы[38].
Между тем не только в зарубежных странах, но и в России на практике осуществляется патентование алгоритмов (в качестве изобретений (способа))[39]. Программные алгоритмы могут быть запатентованы в качестве изобретений в виде технических решений, относящихся к способу (п. 1 ст. 1350 ГК РФ). Но для этого разработчикам необходимо добиться соответствия решения требованию изобретательского уровня и определить ожидаемый материально-технический результат, которого предполагается достичь за счет данного решения[40].
Таким образом, алгоритмы хорошо знакомы праву в качестве объектов регулирования, но праву гражданскому, частному. Для полноценного использования алгоритмов в государственном управлении необходимо публично-правовое регулирование возникающих отношений, что позволит обеспечить защиту прав граждан посредством публично-правовых механизмов.
Широкое распространение ИКТ и в особенности цифровых технологий, их применение в государственном управлении дали основание для введения алгоритмов в поле публичного права. Любопытно, что понятие «алгоритм» в российских нормативных правовых актах почти не употребляется в его техническом значении, а используется для обозначения порядка действий (например, алгоритм (порядок) взаимодействия заинтересованных органов государственной власти при выявлении противоправного контента в сети Интернет, принятый Роскомнадзором).
В Европе тоже избегают понятия «алгоритм». С 1981 г. используется термин «автоматизированная обработка данных», который напоминает алгоритм по содержанию (совокупность действий): автоматизированная обработка включает следующие операции, осуществляемые полностью или частично с помощью автоматизированных средств: хранение данных, осуществление логических и/или арифметических операций с этими данными, их изменение, уничтожение, поиск или распространение (Конвенция Совета Европы о защите физических лиц при автоматизированной обработке персональных данных от 28 января 1981 г.)[41].
Нетрудно заметить, что сфера применения автоматизированной обработки данных ограничена персональными данными, т. е. публично-правовая защита сконцентрирована на человеке с его частной жизнью и персональными данными. Собственно, так и произошло право на защиту персональных данных и была заложена традиция «сопротивления» индивидуальным автоматизированным решениям. Так, Регламент № 2018/1725 Европейского парламента и Совета Европейского союза «О защите физических лиц при обработке персональных данных» (п. 43) определяет, что субъект данных должен иметь право не подчиняться решению, которое может включать принятие мер, оценивающих личные аспекты, относящиеся к нему или к ней, которое основывается исключительно на автоматизированной обработке и результатом которого являются юридические последствия в отношении его или ее или которое сходным образом может значительно повлиять на него или на нее, такое как практики электронного подбора кадров без вмешательства человека[42].
В русле европейских правовых позиций выстроен и российский закон. Согласно ст. 16 ФЗ от 27.07.2006 г. «О персональных данных»[43] субъект персональных данных имеет право отказаться от принятия в отношении него решения на основании исключительно автоматизированной обработки персональных данных. К признакам такого решения относится то, что оно порождает юридические последствия в отношении субъекта персональных данных или иным образом затрагивает его права и законные интересы. Отметим, что в данной нормативной установке центр тяжести принятия решения (право выбора) лежит на субъекте персональных данных, гражданине. Действия государства данная норма не ограничивает.
При этом имеется в виду самый широкий круг решений – как управленческих, так и любых иных. Обработка персональных данных, осуществляемая в частном секторе, порождает вопросы при заключении и исполнении «договора в онлайн-среде в полностью автоматизированном режиме, например при размещении заказа на приобретение цифрового контента, который становится доступным для загрузки по факту оплаты»[44].
Но вернемся к публичному праву, которое интересуют управленческие решения, принимаемые органами власти на общем уровне – в отношении неопределенного или значительного круга лиц (в отношении охраняемых законом ценностей) и на индивидуальном уровне – в отношении граждан на основе автоматизированной обработки данных. Если в первом случае нарушения прав человека могут иметь место в обобществленном и массовом виде (официальное утверждение нормативного порядка предоставления льгот на дискриминационной основе), то во втором – будет иметь место нарушение права человека как субъективного права, защитить которое можно уже только в индивидуальном порядке. Любопытно, что внедрение алгоритмов, по сути, нивелирует это разграничение и, к примеру, дискриминационная практика реализации алгоритма в отношении конкретных лиц одновременно является массовой (что будет подробнее показано ниже).
Нужно учитывать, что сама идея алгоритма как совокупности инструкций, позволяющих решить проблему и достичь определенного заданного результата, как нельзя лучше отвечает концепции надлежащего, качественного государственного управления, нацеленного на достижение заранее запланированных, ожидаемых результатов, ведь результат управленческой деятельности можно легко заложить в алгоритм принятия управленческого решения. Это дает основания полагать, что в ближайшие годы государство активно займется подобной автоматизацией управленческих решений, а потому необходимо заранее изучить возможные риски. Во всяком случае положение о совместимости алгоритмов и концепции надлежащего государственного управления выдвигается нами в качестве гипотезы настоящего исследования.
Первым делом нужно понять, в каких государственных сферах такая автоматизация может произойти в первую очередь. Поскольку алгоритм – последовательность заранее определенных действий, их наибольшая эффективность прогнозируется в сферах, где не приветствуется широта действий органов власти, проще говоря, где нет (и не должно быть) дискреционных полномочий.
Эта логика нам хорошо знакома по мероприятиям административной реформы, заложившей основы для предсказуемости действий органов власти. С одной стороны, органы власти «связывались» административными регламентами как шаблонами (алгоритмами) действий, а с другой – свобода дискреционного усмотрения сокращалась на уровне регламентирующих актов, например путем антикоррупционной экспертизы. До настоящего времени проявляет себя концептуальный «разлом» в отношении дискреции органов власти – если управленческая наука многих европейских стран (в частности, считающаяся классикой французская) одобряет дискреционные полномочия, усматривая в них возможность наилучшим образом нивелировать недостатки законов и применить их на благо граждан, то в России дискреционные полномочия стали условием коррупционных проявлений и, напротив, нарушения прав граждан.
Вернемся к административной реформе, в результате которой гражданин или юридическое лицо при наличии необходимых оснований, подтвержденных документами, получили возможность рассчитывать на предсказуемый, ожидаемый результат (а не «сюрприз») своих административных демаршей.
Интерфейс такого взаимодействия власти с населением хорошо знаком каждому из нас по порталу государственных услуг, где по ячейкам разложены разделы: требуемые документы, куда обратиться, сроки и результаты. Таким образом, сфера оказания государственных услуг уже подверглась электронизации, показавшей общественную эффективность; логичным следующим шагом является автоматизация принятия индивидуализированных решений.
Казалось бы, автоматизация принятия решений в области государственных услуг несет сплошную пользу для всех, как государства, так и граждан – удобство, быстрота, экономия. Однако за этим фасадом скрывается та цена, которую граждане платят за удобство, – их персональные данные.
Известно, как легко эти данные «утекают» в сеть и используются в самых разных, в том числе криминальных, целях. Соответственно угроза персональным данным является одним из рисков при автоматизированном принятии решений. Но не единственным.
Алгоритмические процессоры (в частности, технологии микротаргетинга, представляющие собой маркетинговую стратегию, которая использует персональные данные пользователя и демографические данные для выявления интересов конкретных людей или очень маленьких групп единомышленников с целью повлиять на их отношение и поведение[45]) используются для манипулирования социальным и политическим поведением, что вызывает особую озабоченность Комитета министров Совета Европы[46]. Кстати, применение алгоритмов именно в деятельности публичной власти расценивается Рекомендацией CM/Rec (2020)1 Комитета министров Совета Европы о влиянии алгоритмических систем на права человека как наибольшая угроза правам человека, поскольку у людей часто нет возможности уклониться от вступления в такого рода отношения с государством[47].
С учетом вышеизложенного закономерно возникает ряд вопросов: каковы пределы проникновения технологий в правовую ткань? как определить ту степень влияния, которое оказывают технологии на человека, принимающего решения? может ли использование алгоритмов в государственном управлении привести к нарушению прав человека и повлиять на существующую систему обеспечения прав человека? Попытаемся на них ответить.
Пределы проникновения технологий в право
Возможность использования информационных технологий в праве обсуждается с 60-х годов прошлого века. Например, академик Д. А. Керимов еще в 1962 г. указывал на то, что «роль кибернетических машин будет состоять в выполнении наиболее трудоемких механических работ… Следовательно, кибернетическая машина не конкурент человеку, а великолепный исполнитель его воли, надежный помощник, значительно усиливающий преобразовательную силу разума…» Он говорил, что в действительности «компьютер и человек остаются тем, что они есть, и ни один из них не заменяет и не в состоянии заменить другого. В их взаимодействии один может «усилить» другого, но никак один не может превратиться в другого»[48].
Нам представляется, что данный тезис можно применить и к «отношениям» между технологией и правом, в рамках которых, во-первых, одно усиливает другое, а во-вторых, как алгоритм выступает подспорьем человеку при принятии решений, так и технология всего лишь инструмент, а не альтернатива праву. В противном случае мы можем прийти к механическому пониманию права, в рамках которого «правовая система рассматривается как машина, применяющая иерархически организованный свод норм к конкретным фактам жизненной ситуации в предсказуемом и постоянном режиме без творческой интерпретации»[49]… «Эта идеология заставляет обывателей думать о праве почти как об инструкции по эксплуатации какого-то потенциально опасного прибора…»[50], т. е. рассматривается в качестве инструмента, а не как достижение человеческой цивилизации, суть ценности.
Пределы влияния алгоритма на человека, принимающего решения
Исследования предполагают, что людям не свойственно и достаточно сложно пренебрегать алгоритмическими рекомендациями[51]. Поведенческие экономисты используют термин «якорение» в качестве описания общераспространенного явления, в рамках которого последующие решения принимаются на основе имеющихся доказательств независимо от их слабости[52]. Подобная система использования алгоритмов распространена в США при назначении судьей уголовного наказания – если судье будет представлена оценка, отражающая более высокий уровень риска совершения рецидива, чем им прогнозируется, то такая оценка может увеличить срок наказания. При этом «якорение» не будет приниматься в расчет[53].
Когда алгоритмы помогают человеку принимать решения, трудно определить степень влияния результатов алгоритмической обработки данных на окончательное решение, а также уместность «почтительного» отношения к алгоритму. Кроме того, в дополнение к воздействию алгоритма мы не можем исключить ни существование когнитивных искажений, ни влияние на формирование суждений истощения эго (феномен, при котором усилия воли или самоконтроль утомляют человека и сказываются на его дальнейших решениях)[54].
Так, в исследовании, опубликованном в The Proceedings of the National Academy of Sciences, «участниками эксперимента стали восемь израильских судей, принимающих решения об условно-досрочном освобождении. Авторы исследования построили график доли одобренных заявлений относительно времени предыдущего перерыва на еду. После каждого приема пищи эта доля возрастает до 65 %»[55]. Осознавали ли судьи влияние голода и усталости на их суждения? Представляется, что нет. Полностью свести на нет значительное внешнее и внутреннее давление невозможно.
Отметим также, что присутствие человека-оператора не гарантирует, что меры предосторожности будут эффективными. Например, возникают вопросы относительно способности оператора осмысленно понимать процесс принятия алгоритмических решений (в кейсе, который будет рассмотрен ниже, отмечается что судьи не понимают, как алгоритм принимает решение)[56], определять, были ли затронуты какие-либо права человека и в какой степени они автоматически или неосознанно подчиняются алгоритмическому решению. Различия могут возникать, например, из-за представлений о нейтральности и точности технологии и опасений идти вразрез с выводами данной технологии.
Это создает риск того, что алгоритмы станут фактически единственным «лицом», принимающим решения, даже если останется некоторое участие со стороны человека[57]. Данный поворот существенно влияет на понимание государственного управления и его субъектов, каковыми принято считать органы власти и их должностных лиц. В некоторых работах ставится вопрос о признании новых субъектов права – роботов, ИИ, с соответствующим кругом прав и обязанностей, ответственностью. В российской доктрине эта проблема до сих пор изучается недостаточно.
Пределы использования алгоритмов в контексте прав человека
Одним из главных принципов правового государства является всеобщее равенство, при этом «за «парадной» стороной равенства как принципа стоит необходимость равного обращения со всеми, или запрет дискриминации… Если алгоритм обеспечивает равенство, то речь идет скорее о равенстве арифметическом, о беспристрастном рассмотрении частных ситуаций, но без учета особенностей каждого случая[58]. Получается, что юридическое равенство алгоритм не обеспечивает[59].
Современные алгоритмы, основанные на технологиях больших данных, вызывают вопросы относительности бесправия, поскольку:
– решения могут основываться на характеристиках группового уровня (т. е. X членов группы, вероятно, будут вести себя определенным образом) в отличие от индивидуально ориентированных характеристик (т. е. конкретный индивид, вероятно, будет действовать определенным образом из-за факторов, специфичных для этого индивида);
– решения часто основаны на корреляции, а не на причинно-следственной связи.
Два упомянутых фактора взаимосвязаны. Они указывают на то, что анализ вероятного будущего поведения правомерен только на групповом, а не на индивидуальном уровне и что предсказания не являются определяющими в отношении того, как будет действовать конкретный индивид. Обе модели не учитывают индивидуальную свободу действий и значимость индивидуального выбора, что, в свою очередь, вызывает озабоченность в связи с тем, что алгоритмические решения, применяемые к отдельным лицам, в некоторых случаях могут быть внутренне несовместимы с запретом произвольного вмешательства в права и свободы человека, поскольку такое вмешательство уже заложено в сам алгоритм.
Изложенные опасения позволяют предположить, что, хотя алгоритмы могут использоваться в рамках принятия решений, они не могут служить единственной основой для принятия решения, которое непосредственно затрагивает права человека: необходимы определенная форма участия со стороны человека или человеческий надзор[60]. Кроме того, ученые предупреждают, что алгоритмические оценки часто маскируют явную дискриминацию по признаку демографического и социально-экономического статуса[61].
Таким образом, алгоритмы выступают хорошим подспорьем в процессе принятия решений человеком, однако невозможно полностью исключить влияние результатов работы алгоритма на окончательное решение, принимаемое человеком. Сказанное еще более остро высвечивает вопросы соотношения права и алгоритма, степени и масштабов воздействия алгоритма на принимаемые человеком решения, а также способности алгоритма к нарушению прав человека, в том числе дискриминации.
