Европейская стратегия развития искусственного интеллекта (ИИ) выдвигает доверие как необходимое условие для обеспечения человекоориентированного подхода к ИИ. В апреле 2019 года Комиссия опубликовала сообщение «Укрепление доверия к человекоориентированному искусственному интеллекту» (англ. Building Trust in Human-Centric Artificial Intelligence) [1], в котором подчёркиваются ключевые требования и концепция надёжного ИИ, представленная Группой экспертов высокого уровня по ИИ (англ. High-Level Expert Group on AI) в их «Руководящих принципах по этике для надёжного искусственного интеллекта» (англ. Ethics guidelines for trustworthy AI). Согласно Руководству, заслуживающий доверия ИИ должен быть: (1) законным – соблюдение всех применимых законов и постановлений; (2) этичным – соблюдение этических принципов и ценностей; (3) надёжным – как с технической точки зрения, так и с учётом его социальной среды [2].

Руководящие принципы по этике для надёжного искусственного интеллекта выдвигают набор из 7 ключевых требований, которым СИИ должны соответствовать, чтобы считаться заслуживающими доверия. Конкретный список оценок призван помочь проверить выполнение каждого из ключевых требований:

1).   Человеческое участие и надзор: СИИ должны расширять возможности людей, позволяя им принимать осознанные решения, защищая их основные права. В то же время необходимо обеспечить надлежащие механизмы надзора.

2).   Техническая надёжность и безопасность: СИИ должны быть устойчивыми и безопасными, обеспечивать запасной вариант на случай, если что-то пойдёт не так, а также быть точными, надёжными и воспроизводимыми. Это единственный способ обеспечить минимизацию и предотвращение непреднамеренного вреда.

3).   Конфиденциальность и управление данными: помимо обеспечения полного уважения конфиденциальности и защиты данных, необходимо также обеспечить адекватные механизмы управления данными с учётом качества и целостности данных, обеспечения легитимного доступа к данным.

4).   Прозрачность: модели данных СИИ должны быть прозрачными. В этом могут помочь механизмы отслеживания. Более того, СИИ и их решения должны быть объяснены в манере, адаптированной к заинтересованным сторонам. Люди должны знать, что они взаимодействуют с СИИ, и должны быть проинформированы о возможностях и ограничениях системы.

5).   Разнообразие, недискриминация и справедливость: следует избегать несправедливой предвзятости, поскольку она может иметь множество негативных последствий, от маргинализации уязвимых групп до обострения предрассудков и дискриминации. Содействуя разнообразию, СИИ должны быть доступными для всех, независимо от инвалидности, и привлекать соответствующие заинтересованные стороны на протяжении всего их жизненного цикла.

6).   Благополучие общества и окружающей среды: СИИ должны приносить пользу всем людям, включая будущие поколения. Следовательно, необходимо убедиться, что они устойчивы и обеспечить их экологичность. Более того, они должны принимать во внимание окружающую среду, включая других живых существ, и их общественное и социальное воздействие следует тщательно учитывать.

7).   Подконтрольность: необходимо создать механизмы для обеспечения ответственности и подконтрольности за СИИ и их результатами. Возможность аудита, которая позволяет оценивать алгоритмы, данные и процессы проектирования, играет в этом ключевую роль, особенно в критически важных приложениях. Более того, должно быть обеспечено адекватное и доступное возмещение.

В опубликованной в феврале 2020 года «Белой книге по искусственному интеллекту» (англ. White Paper on Artificial Intelligence) [3] подчёркивается, что, хотя ИИ может принести много пользы, в том числе делая продукты и процессы более безопасными, он также может нанести вред. Этот вред может быть как материальным (безопасность и здоровье людей, включая гибель людей, материальный ущерб), так и нематериальным (потеря конфиденциальности, человеческого достоинства, ограничения прав на свободу выражения мнений, дискриминация, например, при приёме на работу), и может относиться к широкому спектру рисков. Нормативно-правовая база должна быть сосредоточена на том, как минимизировать различные риски потенциального вреда, в особенности наиболее значительные. Основные риски, связанные с использованием ИИ, касаются применения правил, направленных на защиту основных прав (включая личные данные и защиту конфиденциальности и недискриминации), а также вопросы безопасности и ответственности.

Риски для основных прав, включая личные данные и защиту конфиденциальности и недискриминацию. Использование ИИ может повлиять на ценности, на которых основан ЕС, и привести к нарушениям основных прав, включая права на свободу выражения мнений, свободу собраний, человеческого достоинства, недискриминацию по половому признаку, расового или этнического происхождения, религии или убеждений, наличия инвалидности, возрасту или сексуальной ориентации, в зависимости от того, что применимо в определённых областях, защита личных данных и частной жизни или право на эффективные средства судебной защиты и справедливое судебное разбирательство, а также защита потребителей. Эти риски могут возникать из-за недостатков в общем дизайне СИИ (в том числе в отношении человеческого надзора) или из-за использования данных без исправления возможной предвзятости (например, система обучается с использованием только или в основном данных от мужчин, что приводит к неоптимальным результатам в отношении женщин) [3].

ИИ может выполнять множество функций, которые раньше могли выполнять только люди. В результате граждане и юридические лица будут всё чаще подвергаться действиям и решениям, принимаемым СИИ или с их помощью, что иногда может быть трудно понять и эффективно оспаривать при необходимости. Более того, СИИ увеличивают возможности отслеживания и анализа повседневных привычек людей. Например, существует потенциальный риск того, что СИИ может быть использован в нарушение правил защиты данных ЕС и других правил государственными органами или другими организациями для массового наблюдения, а работодатели – для наблюдения за поведением своих сотрудников. Анализируя большие объёмы данных и выявляя связи между ними, СИИ может также использоваться для отслеживания и деанонимизации данных о людях, создавая новые риски защиты персональных данных даже в отношении наборов данных, которые сами по себе не включают персональные данные. СИИ также используется онлайн-посредниками для определения приоритетов информации для своих пользователей и для модерации контента. Обработанные данные, способ разработки приложений и возможности вмешательства человека могут повлиять на права на свободное выражение мнений, защиту личных данных, конфиденциальность и политические свободы [3].

Предвзятость и дискриминация – неотъемлемые риски любой общественной или экономической деятельности. Принятие решений людьми не застраховано от ошибок и предубеждений. Однако та же предвзятость, присутствующая в ИИ, может иметь гораздо больший эффект, затрагивающий и дискриминирующий многих людей без механизмов социального контроля, которые управляют человеческим поведением. Это также может произойти, когда СИИ «учится» во время работы [3].

В таких случаях, когда результат нельзя было предотвратить или предвидеть на этапе проектирования, риски будут возникать не из-за недостатка в первоначальном дизайне системы, а из-за практического воздействия корреляций или шаблонов, которые система определяет в большой набор данных [3].

Специфические характеристики многих технологий ИИ, в том числе непрозрачность («эффект чёрного ящика»), сложность, непредсказуемость и частично автономное поведение, могут затруднить проверку соблюдения и могут препятствовать эффективному исполнению правил существующего законодательства ЕС для защиты основных прав. Органы правоприменения и затронутые лица могут не иметь средств для проверки того, как было принятое с участием СИИ то или иное решение, и, следовательно, были ли соблюдены соответствующие правила. Физические и юридические лица могут столкнуться с трудностями с эффективным доступом к правосудию в ситуациях, когда такие решения могут отрицательно повлиять на них [3].

Риски для безопасности и эффективного функционирования режима ответственности. Технологии ИИ могут представлять новые риски для безопасности пользователей, когда они встроены в продукты и услуги. Например, из-за неисправности технологии распознавания объектов автономный автомобиль может ошибочно идентифицировать объект на дороге и вызвать аварию с травмами и материальным ущербом [3].

Как и риски для основных прав, эти риски могут быть вызваны недостатками в конструкции СИИ, быть связаны с проблемами с доступностью и качеством данных или с другими проблемами, возникающими в результате машинного обучения. Хотя некоторые из этих рисков не ограничиваются продуктами и услугами, основанными на СИИ, использование СИИ может увеличивать или усугублять риски [3].

Отсутствие чётких положений по безопасности, устраняющих эти риски, может, помимо рисков для заинтересованных лиц, создать юридическую неопределённость для предприятий, которые продают свои продукты с использованием СИИ в ЕС. Органы по надзору за рынком и правоохранительные органы могут оказаться в ситуации, когда им неясно, могут ли они вмешиваться, потому что они могут не иметь полномочий действовать и / или не иметь соответствующих технических возможностей для проверки систем. Таким образом, правовая неопределённость может снизить общий уровень безопасности и подорвать конкурентоспособность европейских компаний. Если риски безопасности материализуются, отсутствие чётких требований и характеристик СИИ, упомянутых выше, затрудняет отслеживание потенциально проблемных решений, принятых с использованием СИИ. Это, в свою очередь, может затруднить получение компенсации лицами, пострадавшими в соответствии с действующим законодательством ЕС и национальным законодательством об ответственности [3].

Таким образом, сложность отслеживания потенциально проблемных решений, принятых СИИ и упомянутая выше в отношении основных прав, в равной степени относится к вопросам, связанным с безопасностью и ответственностью. Лица, понёсшие ущерб, могут не иметь эффективного доступа к доказательствам, которые необходимы, например, для обоснования дела в суде, и могут иметь менее эффективные возможности возмещения ущерба по сравнению с ситуациями, когда ущерб причинён традиционными технологиями. Эти риски будут увеличиваться по мере того, как использование СИИ станет более распространённым [3].

Виды требований при разработке будущей нормативной базы для СИИ. При разработке будущей нормативной базы для СИИ необходимо будет решить, какие обязательные юридические требования будут предъявляться к соответствующим участникам. Эти требования могут быть дополнительно уточнены в стандартах. Как отмечалось выше и в дополнение к уже существующему законодательству, эти требования будут применяться только к приложениям ИИ с высокой степенью риска, что гарантирует целенаправленное и соразмерное вмешательство регулирующих органов.

Принимая во внимание руководящие принципы Группы экспертов высокого уровня и изложенное выше, требования для приложений ИИ с высокой степенью риска могут состоять из следующих ключевых функций, которые более подробно обсуждаются в подразделах ниже:

• данные для обучения СИИ;
• ведение записей и учёт данных;
• информация, которую необходимо предоставить;
• надёжность и точность;
• человеческий надзор;
• особые требования для определённых конкретных приложений ИИ, например, используемых для удалённой биометрической идентификации.

Для обеспечения правовой определённости эти требования будут дополнительно уточнены, чтобы предоставить чёткие ориентиры для всех участников, которым необходимо их соблюдать.

Данные для обучения СИИ. Сейчас как никогда важно продвигать, укреплять и защищать ценности и правила ЕС, и в частности гражданские права, которые вытекают из законодательства ЕС. Эти усилия, также распространяются на приложения ИИ с высокой степенью риска, продаваемые и используемые в ЕС.

Без данных нет ИИ. Функционирование многих СИИ, а также действия и решения, к которым они могут привести, во многом зависят от набора данных, на котором были обучены системы. Поэтому следует принять необходимые меры для обеспечения того, чтобы в отношении данных, используемых для обучения СИИ, соблюдались ценности и правила ЕС, в частности, в отношении безопасности и существующих законодательных норм по защите основных прав. Могут быть предусмотрены следующие требования, касающиеся набора данных, используемых для обучения СИИ:

• Требования, направленные на обеспечение разумных гарантий того, что последующее использование продуктов или услуг, которые предоставляет СИИ, безопасно, поскольку оно соответствует стандартам, установленным в применимых правилах безопасности ЕС (как существующих, так и возможных дополнительных). Например, требования, обеспечивающие обучение СИИ на достаточно широких наборах данных, охватывающих все соответствующие сценарии, необходимые для предотвращения опасных ситуаций.
• Требования принимать разумные меры, направленные на то, чтобы такое последующее использование СИИ не привело к результатам, влекущим за собой запрещённую дискриминацию. Эти требования могут повлечь за собой, в частности, обязательства использовать наборы данных, которые являются достаточно репрезентативными, особенно для обеспечения того, чтобы все соответствующие аспекты пола, этнической принадлежности и других возможных оснований для запрещённой дискриминации были надлежащим образом отражены в этих наборах данных.
• Требования, направленные на обеспечение надлежащей защиты конфиденциальности и личных данных при использовании продуктов и услуг на базе СИИ. Эти вопросы регулируются в ЕС Общим регламентом защиты данных (англ. General Data Protection Regulation; GDPR) и Правоохранительной директивой (англ. Law Enforcement Directive).

Ведение записей и учёт данных. Принимая во внимание такие элементы, как сложность и непрозрачность многих СИИ, а также связанные с этим трудности, которые могут существовать для эффективной проверки соблюдения и обеспечения соблюдения применимых правил, требуются требования в отношении ведения записей в отношении программирования алгоритма, данные, используемые для обучения СИИ высокого риска, и, в некоторых случаях, хранения самих данных. Эти требования по существу позволяют отслеживать и проверять потенциально проблемные действия или решения СИИ. Это должно не только способствовать надзору и правоприменению, это может также усилить стимулы для заинтересованных субъектов экономической деятельности на ранней стадии учитывать необходимость соблюдения этих правил. С этой целью нормативно-правовая база может предписывать соблюдение следующего:

• точные записи относительно набора данных, используемых для обучения и тестирования СИИ, включая описание основных характеристик и того, как был выбран набор данных;
• в определённых обоснованных случаях сами наборы данных;
• документация по методологиям программирования и обучения, процессам и методам, используемым для создания, тестирования и проверки СИИ, в том числе, где это необходимо, в отношении безопасности и недопущения предвзятости, которая может привести к запрещённой дискриминации.

Записи, документация и, где это уместно, наборы данных должны храниться в течение ограниченного разумного периода времени для обеспечения эффективного соблюдения соответствующего законодательства. Следует принять меры для обеспечения их доступности по запросу, в частности, для тестирования или проверки компетентными органами. При необходимости следует принять меры для обеспечения защиты конфиденциальной информации, такой как коммерческая тайна.

Информация, которую необходимо предоставить. Прозрачность требуется также к ведению документации. Для достижения поставленных целей, в частности, поощрения ответственного использования СИИ, укрепления доверия и содействия возмещению ущерба там, где это необходимо, важно, чтобы адекватная информация проактивно предоставлялась об использовании СИИ с высокой степенью риска. Соответственно, можно было бы рассмотреть следующие требования:

• Обеспечение предоставления чёткой информации о возможностях и ограничениях СИИ, в частности о цели, для которой системы предназначены, условиях, при которых можно ожидать, что они будут функционировать в соответствии с назначением, и ожидаемом уровне точности в достижении указанной цели. Эта информация важна особенно для разработчиков систем, но она также может иметь отношение к компетентным органам и затронутым сторонам.
• Граждане должны быть отдельно и чётко проинформированы, когда они взаимодействуют с СИИ, а не с человеком. Хотя законодательство ЕС о защите данных уже содержит определённые правила такого рода, для достижения вышеупомянутых целей могут потребоваться дополнительные требования. В таком случае следует избегать ненужного бремени. Следовательно, такая информация не требуется, например, в ситуациях, когда гражданам сразу очевидно, что они взаимодействуют с СИИ. Кроме того, важно, чтобы предоставленная информация была объективной, краткой и легко понятной. Способ предоставления информации должен соответствовать конкретному контексту.

Надёжность и точность. СИИ и приложения ИИ высокого риска должны быть технически надёжными и точными, чтобы им можно было доверять. Это означает, что такие системы должны разрабатываться ответственным образом и с предварительным учётом и надлежащим учётом рисков, которые они могут создать. Их разработка и функционирование должны быть такими, чтобы СИИ работали надёжно, как задумано. Следует принять все разумные меры для минимизации риска причинения вреда. Соответственно, можно рассмотреть следующие требования:

• гарантирующие, что СИИ являются надёжными и точными или, по крайней мере, правильно отражают их уровень точности на всех этапах жизненного цикла;
• обеспечивающие воспроизводимость результатов;
• гарантирующие, что СИИ могут адекватно устранять ошибки или несоответствия на всех этапах жизненного цикла.

Человеческий надзор. Надзор со стороны человека помогает гарантировать, что СИИ не подрывает автономию человека и не вызывает других неблагоприятных эффектов. Цель создания надёжного, этичного и человекоориентированного ИИ может быть достигнута только путём обеспечения надлежащего участия людей в отношении приложений ИИ с высокой степенью риска [3].

Несмотря на то, что все приложения ИИ, рассматриваемые в этой «Белой книге», считаются высокорисковыми, соответствующий тип и степень человеческого надзора могут варьироваться от одного случая к другому. Это должно зависеть, в частности, от предполагаемого использования систем и последствий, которые могут быть для затронутых граждан и юридических лиц. Это также не должно наносить ущерба законным правам, установленным GDPR, когда СИИ обрабатывает персональные данные [3]. Например, человеческий надзор может иметь следующие неисчерпывающие проявления:

• результат работы СИИ не вступит в силу, если он не был предварительно рассмотрен и подтверждён человеком;
• результат работы СИИ вступает в силу немедленно, но после этого обеспечивается вмешательство человека;
• мониторинг СИИ во время работы и возможность вмешиваться в режиме реального времени и деактивировать;
• на этапе проектирования путём наложения эксплуатационных ограничений на СИИ.

Особые требования для удалённой биометрической идентификации. Сбор и использование биометрических данных для целей удалённой идентификации, например, посредством использования распознавания лиц в общественных местах, сопряжены с особыми рисками для основных прав. Последствия для основных прав при использовании систем удалённой биометрической идентификации ИИ могут значительно варьироваться в зависимости от цели, контекста и объёма использования.

Правила защиты данных ЕС в принципе запрещают обработку биометрических данных с целью однозначной идентификации физического лица, за исключением особых условий. В частности, под GDPR, такая обработка может происходить только по ограниченному количеству оснований, главным из которых является существенный общественный интерес. В этом случае обработка должна осуществляться на основании ЕС или национального законодательства с учётом требований соразмерности, уважения сущности права на защиту данных и соответствующих гарантий. Согласно Директиве о правоприменении (англ. Law Enforcement Directive), такая обработка должна быть строго необходима, в принципе, с разрешения ЕС или национального законодательства, а также с соответствующими гарантиями. Как и любая обработка биометрических данных с целью однозначной идентификации физическое лицо будет относиться к исключению из запрета, установленного в законодательстве ЕС, оно будет подпадать под действие Хартии основных прав ЕС (англ. Charter of Fundamental Rights of the EU).

Из этого следует, что в соответствии с действующими правилами защиты данных ЕС и Хартией основных прав ИИ может использоваться только для целей удалённой биометрической идентификации, если такое использование надлежащим образом оправдано, соразмерно и подлежит адекватным гарантиям.

Литература

1. Communication: Building Trust in Human Centric Artificial Intelligence. European Commission. 8 April 2019. Доступно по: https://ec.europa.eu/digital-single-market/en/news/communication-building-trust-human-centric-artificial-intelligence
2. Ethics guidelines for trustworthy AI. European Commission, the High-Level Expert Group on AI. 8 April 2019. Доступно по: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-trustworthy-ai
3. White Paper on Artificial Intelligence: A European approach to excellence and trust. Brussels, 19.2.2020 COM(2020) 65 final. Доступно по: https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf