Искусственный интеллект (ИИ, англ. artificial intelligence; AI) имеет относительно долгую историю. Так, в 1833 году английский математик Чарльз Бэббидж (Charles Babbage) задумался о создании программируемой вычислительной машины (прообраз современного компьютера), которую он назвал аналитической.

В 1936 году Алан Тьюринг (Alan Turing) предложил абстрактную вычислительную машину — «машина Тьюринга» — модель компьютера общего назначения, которая позволила формализовать понятие алгоритма, и которая до сих пор используется во множестве теоретических и практических исследованиях. В своей работе «Вычислительная техника и интеллект» (англ. Computing Machinery and Intelligence) [1] он обратился к проблеме искусственного интеллекта и предложил эксперимент, ставший впоследствии известным как «тест Тьюринга». Его идея заключалась в том, что можно считать, что компьютер «мыслит», если человек, взаимодействующий с ним, не сможет в процессе общения отличить компьютер от другого человека. В этой работе Тьюринг предположил, что вместо того, чтобы пытаться создать программу, симулирующую разум взрослого человека, намного проще было бы начать с разума ребёнка, а затем обучать его [2].

Летом 1956 года в Дартмутском колледже (англ. Dartmouth College) в США прошёл двухмесячный научный семинар — полевое исследование по вопросам искусственного интеллекта. В ходе семинара, в итоге был сформулирован один из основных принципов создания искусственного интеллекта — меняющиеся ответы на переменную среду. Нужно разработать машину, которая бы демонстрировала определённый вид обучения. Пытаясь проникнуть в суть работы мозга, учёные пришли к выводу, что на данный момент не установлено, каким образом активность нейронов способствует решению задач. Перенося эту проблему на программирование, становится понятной необходимость создания нелинейного механизма решения задач путём обучения машины создавать и манипулировать концептами, абстракциями.

Одним из важных мест исследований ИИ в 1950-х и 1960-х годах была компания Rand Corporation, которая наняла философа Хьюберта Дрейфуса (Hubert Dreyfus) в качестве консультанта в 1964 году. В следующем году он представил критический отчёт под названием «Алхимия и искусственный интеллект» (англ. Alchemy and Artifi cial Intelligence) [3]. Позже Дрейфус расширил отчёт до книги «Что компьютеры не могут делать» (англ. What computers can’t do) [4], в которой он утверждал, что важная часть человеческого знания является неявной, следовательно, его нельзя сформулировать и реализовать в компьютерной программе. Дрейфус считал, что для создания интеллекта, схожего с человеческим (то есть способность мыслить логически, воспринимать и запоминать новое, решать новые непривычные проблемы), необходимо, чтобы устройство имело более или менее схожее с человеком тело и социальную адаптацию: «компьютеры, у которых нет тела, детства и культурных практик, вообще не могут обрести интеллект». Один из основных аргументов Дрейфуса заключался в том, что человеческое знание частично неявно и поэтому не может быть сформулировано и включено в компьютерную программу [3].

В 1976 году Джозеф Вейценбаум (Joseph Weizenbaum), в то время профессор информатики Массачусетского технологического института и создатель знаменитой программы ELIZA1, опубликовал книгу «Компьютерная мощь и человеческий разум» (англ. Computer Power and Human Reason) [5]. Как видно из названия, он проводил различие между мощностью компьютера и человеческим разумом. Компьютерная мощность, в сегодняшней терминологии, — это способность использовать алгоритмы с огромной скоростью. Компьютерная мощь никогда не перерастёт в человеческий разум, потому что они принципиально разные, поскольку человек обладает благоразумием, то есть способностью принимать правильные решения в конкретных ситуациях, и мудростью — способностью видеть целое. Эти способности не алгоритмические, и поэтому мощность компьютера не может и не должна заменять человеческий разум [6, 7].

В 1980-х годах в исследованиях ИИ стала доминировать другая парадигма. В его основе лежала идея нейронных сетей (англ. neural networks) — математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей — сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. Нейронные сети представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи. Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения — одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумлённых», частично искажённых данных. Нейронная сеть может обучаться, не получая явных инструкций [8].

В конце 2000-х годов появились технологические возможности анализировать огромные массивы данных и соответственно термины «большие данные» (англ. big data) — обозначение структурированных и неструктурированных данных огромных объёмов и значительного многообразия, эффективно обрабатываемых горизонтально масштабируемыми программными инструментами; технологии глубокого машинного обучения (англ. deep learning) — совокупность методов машинного обучения (с учителем, с частичным привлечением учителя, без учителя, с подкреплением), основанных на обучении представлениям, а не специализированным алгоритмам под конкретные задачи; позволяющие решать широкий спектр задач, не поддававшихся ранее эффективному решению, например, в компьютерном зрении, машинном переводе, распознавании речи, причём качество решения во многих случаях теперь сопоставимо, а в некоторых случаях превосходит эффективность человека.

Сегодня технологии ИИ могут предложить решения многих социальных проблем, в том числе применяться для диагностики и лечения болезней. Однако имеется множество препятствий на пути широкого внедрения ИИ в практическое здравоохранение. К ним относятся проблемы прозрачности и интерпретируемости ИИ-алгоритмов, определённая предвзятость их решений вследствие ограничений наборов данных, на которых производится машинное обучение, недостаточная для реальной клинической практики точность работы моделей, проблемы конфиденциальности и этичности ИИ. В этой связи остро возникают вопросы обеспечения безопасности и предоставления достоверных данных о клинической эффективности в проектах внедрения ИИ в повседневной клинической практике [9].

В целях развития ИИ в России указом Президента РФ от 10 октября 2019 г. № 490 утверждена «Национальная стратегия развития искусственного интеллекта до 2030 года» (далее — Стратегия), в которой определено, что «использование технологий ИИ в социальной сфере способствует созданию условий для улучшения уровня жизни населения, в том числе за счёт повышения качества услуг в сфере здравоохранения (включая профилактические обследования, диагностику, основанную на анализе изображений, прогнозирование возникновения и развития заболеваний, подбор оптимальных дозировок лекарственных препаратов, сокращение угроз пандемий, автоматизацию и точность хирургических вмешательств)» [10].

К основным принципам развития и использования технологий ИИ в здравоохранении, соблюдение которых обязательно при реализации Стратегии, относятся [10]:

1) защита прав и свобод человека: обеспечение защиты гарантированных российским и международным законодательством прав и свобод человека, в том числе права на труд, и предоставление гражданам возможности получать знания и приобретать навыки для успешной адаптации к условиям цифровой экономики;

2) безопасность: недопустимость использования ИИ в целях умышленного причинения вреда гражданам и юридическим лицам, а также предупреждение и минимизация рисков возникновения негативных последствий использования технологий ИИ;

3) прозрачность: объяснимость работы ИИ и процесса достижения им результатов, недискриминационный доступ пользователей продуктов, которые созданы с использованием технологий ИИ, к информации о применяемых в этих продуктах алгоритмах работы ИИ;

4) технологический суверенитет: обеспечение необходимого уровня самостоятельности РФ в области ИИ, в том числе посредством преимущественного использования отечественных технологий ИИ и технологических решений, разработанных на основе ИИ;

5) целостность инновационного цикла: обеспечение тесного взаимодействия научных исследований и разработок в области ИИ с реальным сектором экономики;

6) разумная бережливость: осуществление и адаптация в приоритетном порядке существующих мер, направленных на реализацию государственной политики в научно-технической и других областях;

7) поддержка конкуренции: развитие рыночных отношений и недопустимость действий, направленных на ограничение конкуренции между российскими организациями, осуществляющими деятельность в области ИИ.

В «Национальной стратегии развития искусственного интеллекта до 2030 года» подчёркивается, что «для стимулирования развития и использования технологий ИИ необходимы адаптация нормативного регулирования в части, касающейся взаимодействия человека с искусственным интеллектом, и выработка соответствующих этических норм. При этом избыточное регулирование в этой сфере может существенно замедлить темп развития и внедрения технологических решений» [10]. Основными направлениями создания комплексной системы регулирования общественных отношений, возникающих в связи с развитием и внедрением технологий ИИ, являются:

1) обеспечение благоприятных правовых условий (в том числе посредством создания экспериментального правового режима) для доступа к данным, преимущественно обезличенным, включая данные, собираемые государственными органами и медицинскими организациями;

2) обеспечение особых условий (режимов) для доступа к данным, включая персональные, в целяхпроведения научных исследований, создания технологий ИИ и разработки технологических решений на их основе;

3) создание правовых условий и установление процедур упрощённого тестирования и внедрения технологических решений, разработанных на основе ИИ, а также делегирования информационным системам, функционирующим на основе ИИ, возможности принятия отдельных решений (за исключением решений, которые могут ущемлять права и законные интересы граждан), в том числе при исполнении государственными органами государственных функций (за исключением функций, направленных на обеспечение безопасности населения и государства);

4) устранение административных барьеров при экспорте продукции (работ, услуг) гражданского назначения, созданной на основе ИИ;

5) создание единых систем стандартизации и оценки соответствия технологических решений, разработанных на основе ИИ, развитие международного сотрудничества РФ по вопросам стандартизации и обеспечение возможности сертификации продукции (работ, услуг), созданной на основе ИИ;

6) стимулирование привлечения инвестиций посредством совершенствования механизмов совместного участия инвесторов и государства в проектах, связанных с разработкой технологий ИИ, а также предоставления целевой финансовой поддержки организациям, осуществляющим деятельность по развитию и внедрению технологий ИИ;

7) разработка этических правил взаимодействия человека с ИИ.

К 2024 году должны быть созданы необходимые правовые условия для достижения целей, решения задач и реализации мер, предусмотренных Стратегией, а к 2030 году в РФ уже должна функционировать гибкая система нормативно-правового регулирования в области ИИ, в том числе гарантирующая безопасность населения и направленная на стимулирование развития технологий ИИ [10].

Поиск баланса между созданием условий для ускоренного внедрения программных продуктов на основе ИИ и обеспечением разумного и обоснованного контроля потенциальных рисков причинения вреда здоровью пациентов практически во всех странах рассматривается через нормативно-правовое и техническое регулирование [9].

Основу правовых подходов к регулированию программного обеспечения для здравоохранения, которую поддерживают практически все государственные регуляторы ведущих стран мира, определяет Международный форум регуляторов медицинского оборудования (англ. International Medical Device Regulators Forum; IMDRF) — ведущее мировое сообщество регуляторов медицинских изделий, созданное в 2011 г. Основной задачей IMDRF является сближение регуляторной деятельности стран — участниц в целях обеспечения безопасности, эффективности и качества медицинских изделий, а также разумное содействие внедрению инноваций [9].

IMDRF воспринимает программное обеспечение (ПО), предназначенное для применения в лечебно-диагностических целях, как программное медицинское изделие (ПМИ, англ. Soft ware as a Medical Device; SaMD) — программное обеспечение, предназначенное изготовителем для применения в одной или нескольких медицинских целях и достигающее эти цели, не являясь частью оборудования медицинского изделия [11].

В январе 2016 г. в России принят Федеральный закон от 31.01.2016 № 4-ФЗ «О ратификации Соглашения о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза» [12, 13], которым предусмотрена выработка общей скоординированной политики обращения МИ на основе правил и рекомендаций IMDRF. Все страны-члены ЕАЭС должны перейти на регулирование рынка МИ на основе этих правил к 01.01.2022 году.

Определение. Федеральный закон от 21 ноября 2011 г. № 323 «Об основах охраны здоровья граждан в Российской Федерации» содержит статью 38, в которой специальное программное обеспечение, созданное для применения в медицинских целях, включено в состав термина «медицинское изделие» [14].

Медицинские изделия (МИ) — это любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, которые применяются в медицинских целях отдельно или в сочетании между собой, а также с принадлежностями, необходимыми для применения указанных изделий по назначению (включая специальное программное обеспечение), предназначены производителем для профилактики, диагностики, лечения заболеваний, медицинской реабилитации и мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности и функциональное назначение которых не реализуется путём фармакологического, иммунологического, генетического или метаболического воздействия на организм человека, однако может поддерживаться лекарственными средствами [12, 13].

Классификация. ПМИ подразделяются в зависимости от потенциального риска применения медицинского изделия — вероятной частоты возникновения опасности или вероятного усиления степени тяжести состояния от причинённого вреда [15].

Приказом Минздрава России от 06.06.2012 № 4н предусмотрено 4 класса риска [16]; каждое МИ может быть отнесено только к одному классу. Степень потенциального риска применения медицинского изделия возрастает в указанном ниже порядке перечисления классов:

На основе правил классификации получают ответы на вопросы, позволяющие принять решение об отнесении МИ к соответствующему классу по этому правилу [16].

На момент написания данной статьи (март 2020 г.) в России было зарегистрировано 3 программных обеспечения с технологией искусственного интеллекта:

1. Платформа прогнозной аналитики и управления рисками в здравоохранении на основе ИИ Webiomed [17].

2. Платформа для анализа и обработки медицинских изображений с технологиями ИИ Botkin.Ai [18].

3. Сервисная платформа лучевой диагностики на ос нове ИИ Care Mentor Ai [19].

Платформа Botkin.AI и Care Mentor АI получили в России регистрационное удостоверение Росздравнадзора как радиологические медицинские изделия (программное обеспечение) с технологией искусственного интеллекта с повышенной степенью риска класса 2б, хотя сами ПМИ являются неинвазивными медицинскими изделиями, однако для программного обеспечения, являющегося самостоятельным продуктом и используемого с МИ, устанавливают тот же класс, что и для самого МИ [15].

Система Webiomed была зарегистрирована Росздравнадзором как МИ по 1 классу с низким потенциальным риском применения.

Оговоримся, что применительно к упомянутым выше программным медицинским изделиям, понятие «искусственный интеллект» весьма условно, речь идёт о нейронных сетях, то есть об самообучающихся системах.

Экспериментальный правовой режим. 24 апреля 2020 г. был подписан и опубликован Федеральный закон № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации — городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона “О персональных данных”», согласно которому с 1 июля 2020 г. в Москве начал действовать специальный правовой режим для более эффективного использования искусственного интеллекта [20]. Экспериментальное регулирование вводится на 5 лет не только для разработки и внедрения технологий ИИ, но и последующего «возможного использования результатов» применения ИИ. Согласно подп. 2 п. 1 ст. 2 Закона под искусственным интеллектом понимается комплекс технологических решений, позволяющий имитировать когнитивные функции человека и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Такой комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение, а также процессы и сервисы по обработке данных и поиску решений.

28 января 2021 года вступил в силу разработанный Минэкономразвития Федеральный закон № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций» [21]. Впервые у государства, научного и бизнес-сообщества появился системный механизм тестирования в реальных правоотношениях технологий, которые в силу разных причин (прежде всего — инертность законодательства) использовать сегодня нельзя (искусственный интеллект, блокчейн, большие данные, нейротехнологии, квантовые технологии, виртуальная реальность). В рамках экспериментальных правовых режимов в сфере цифровых инноваций Правительство может дать ограниченному числу компаний на определённой территории и на определённое время соблюдать действующее законодательство с рядом особенностей. Эти особенности как раз и позволят применять соответствующие технологии.

Закон «О персональных данных». В интересах экспериментального правового режима скорректирован Федеральный закон №152-ФЗ «О персональных данных» [22]:

Государственная регистрация медицинских изделий и контроль за их обращением на территории Российской Федерации осуществляются Федеральной службой по надзору в сфере здравоохранения (Росздравнадзор). Общие правила государственной регистрации медицинских изделий описаны в постановлении Правительства РФ от 27.12.2012 г. № 1416 [23], в том числе с применением технологий ИИ.

Действующее российское законодательство устанавливает, что государственная регистрация медицинских изделий осуществляется на основании технических и клинических испытаний с учётом потенциального риска применения и в соответствии с номенклатурной классификацией МИ, которые определены приказом Минздрава России от 06.06.2012 № 4н [16]. При отнесении программного обеспечения к классам в зависимости от потенциального риска применения учитываются виды информации и условия применения ПО.

Вначале производителю ПО, которое планируется для применения в медицинских организациях, необходимо определить — является ли его продукт ПМИ. Для этого разработаны 4 базовых критерия, представленные в информационном письме Росздравнадзора от 13.02.2020 г. № 02И-297/20 [24]:

1) ПО представляет собой программу для ЭВМ или её модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему;

2) ПО не является составной частью другого медицинского изделия;

3) ПО предназначено производителем для оказания медицинской помощи;

4) результат действия программного обеспечения заключается в интерпретации в автоматическом режиме, в том числе с использованием технологий ИИ, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных, полученных от медицинских изделий, допущенных к обращению в установленном порядке или введённых медицинскими работниками в целях оказания медицинской помощи.

Для того, чтобы ПО было признано ПМИ, оно должно соответствовать всем предусмотренным критериям. Если ПО не соответствует хотя бы одному из них — оно не является ПМИ, а значит не подлежит государственной регистрации и может быть выпущено на рынок без неё [9].

При использовании критериев отнесения ПО кПМИ целесообразно учитывать несколько важных нюансов. Во-первых, ПМИ может быть любое программное обеспечение вне зависимости от того, на каком аппаратном обеспечении оно работает и как пользователь получает к нему доступ и использует. Например, ПО, работающее по модели SaaS («облачные системы»), Web-сервисы, встраиваемые программные компоненты (модули), может быть ПМИ точно также, как и обычное настольное ПО. Если какое-то ПО разработано для другого (чаще всего аппаратного) медицинского изделия, то такое ПО является составной частью этого изделия и поэтому освобождается от отдельной регистрации: такое ПО не является самостоятельным ПМИ [9].

Очень важно учитывать цели применения: только если ПО специально предназначено производителем для применения именно при оказании медицинской помощи, оно признаётся ПМИ. Если производитель выпускает ПО для применения в медицинских организациях, но не при оказании медицинской помощи, это ПО не является ПМИ [9].

Наконец, самым главным критерием является степень обработки медицинской информации. Логика этого критерия состоит в следующем: если ПО осуществляет изменение информации или создаёт новую информацию путём интерпретации медицинских данных, и затем результаты такого ПО используются медицинскими работникам при оказании медицинской помощи и влияют на принятие ими решений, то ошибки или некачественная работа такого ПО может потенциально причинить вред больному, поэтому такое ПО следует воспринимать как ПМИ.

Если же такой обработки медицинской информации нет, например, если ПО просто передаёт или хранит «как есть» медицинские данные, то и риска причинить вред у такого ПО нет, а значит оно не относится к ПМИ [9]. Например, системы ведения электронных медицинских карт (ЭМК), медицинские информационные системы (МИС) и программные средства для просмотра медицинских изображений, представленных в формате DICOM (DICOM-viewer) не являются ПМИ, если они не интерпретируют внесённую в них информацию и не формируют на основе этой интерпретации подсказки для врачей [9].

Если ПО создаёт новую медицинскую информацию или выполняет машинную интерпретацию полученных данных, тем более если такая информация выводится для принятия клинических решений (неважно — врача, медсестры), то такое ПО однозначно относится к ПМИ. Примерами ПМИ являются практически все системы поддержки принятия решений (англ. Decision Support System; DSS), так называемые системы поддержки принятия врачебных решений, в том числе созданные с применением ИИ, системы анализа и интерпретации медицинских данных, включая медицинские изображения (большинство современных PACS/РИС-систем), развитые лабораторные информационные системы (ЛИС), системы назначения и контроля лекарственной терапии [9].

Системы поддержки принятия врачебных решений (СППВР) — это программный алгоритм, помогающий медицинским сотрудникам на основе взаимосвязи данных о пациенте и медицинской информации, определить диагноз пациента [25].

Если программное обеспечение использует технологии ИИ, но предназначено для самостоятельного использования гражданами (различные мобильные приложения для поддержания здорового образа жизни, питания, занятий физкультурой) или для применения в сфере управления здравоохранением, например, для поддержки принятия управленческих решений, прогнозной аналитики, то такое ПО скорее всего не будет являться ПМИ [9], например:

Основная сложность применения критериев отнесения ПО к МИ состоит в ответе на вопрос: «Какую обработку данных можно считать интерпретацией, имеющей реальный риск причинения вреда здоровью пациента?» Такой интерпретацией предложено считать обработку клинических данных о пациенте, в результате которой продуцируется (формируется) отсутствующая в исходных данных, содержательно новая, клинически значимая информация, необходимая и используемая при принятии клинического решения и/или выполнении медицинского вмешательства [26].

Большинство ПМИ, за исключением отдельных случаев, не оказывают непосредственного воздействия на пациентов и медицинский персонал, вместо этого выполняют только интерпретацию при обработке данных и предоставляют вывод результата работы пользователю, в том числе с целью поддержки принятия решений [25]. Однако медицина — консервативная отрасль, поэтому к каждой новой методике, лекарственному препарату или медицинскому инструменту относятся с насторожённостью и подозрением, задаваясь вопросом: «А не несёт ли это новшество неизвестные риски, скрытые дефекты или прямой вред здоровью?» В этом смысле разработчики ПМИ должны чётко отдавать себе отчёт в том, что они создают продукты, результаты работы которых будут использованы в диагностике и лечении реальных и чаще всего больных людей. И это не просто анализ какого-то набора цифр. Врачами они могут восприниматься как знания и даже руководства к действию. Поэтому разработчики должны доказать, что их решение улучшает существующую практику ведения пациентов, и что это безопасно [9].

Таким образом, если производитель на основании установленных критериев отнесения ПО к МИ определил, что его продукт является ПМИ, то до вывода такого продукта на рынок необходимо пройти его государственную регистрацию. Началом подготовительной работы является определение класса потенциального риска применения ПМИ. Это необходимо уточнить в самом начале работы, так как от класса риска зависят особенности выполнения следующих этапов, включая разработку документов и проведение испытаний [9].

Порядок проведения испытаний. После подготовки необходимого пакета документов производителю программного обеспечения необходимо пройти:

1) технические испытания — испытания с целью определения соответствия характеристик (свойств) медицинского изделия требованиям нормативной документации, технической и эксплуатационной документации производителя (изготовителя) и принятия последующего решения о возможности проведения клинических испытаний;

2) клиническое испытание — разработанное и запланированное систематическое исследование, предпринятое в том числе с участием человека в качестве субъекта для оценки безопасности и эффективности медицинского изделия. Провести клинические испытания можно только после успешного проведения технических испытаний.

Для ПМИ не требуется проведение токсикологических исследований, а также испытаний для утверждения типа средств измерений, хотя такие мероприятия предусмотрены законодательством для аппаратных медицинских изделий [9].

Также, согласно Постановления Правительства РФ от 27.12.2012 г. № 1416 (с изменениями на 24 ноября 2020 года) программное обеспечение, являющееся медицинским изделием (ПМИ), в том числе программное обеспечение с применением технологий искусственного интеллекта, не требует получения предварительного разрешения Росздравнадзора на проведение клинических испытаний, и не требует заключения об этической обоснованности проведения клинических испытаний [9].

Порядок проведения технических и клинических испытаний ПМИ определён приказом Минздрава России от 09.01.2014 № 2н [27].

Клинические испытания ПМИ проводятся в форме сбора, анализа и оценки клинических данных, полученных при проверке испытуемого образца ПМИ в условиях клинической практики и/или на основании обработки ПМИ готовых размеченных наборов данных. Порядок и другие детали клинических испытаний описываются в документе «Программа клинических испытаний». Он разрабатывается производителем ПМИ совместно с той медицинской организацией, в которой планируется проведение клинических испытаний, с учётом заявленных производителем положений технических условий и эксплуатационной документации. Сложность, продолжительность и другие параметры клинических испытаний зависят от сложности самого ПМИ [9].

Основная задача специалистов, которые проводят клинические испытания, состоит в том, чтобы убедиться и собрать достаточные, информативные и заслуживающие доверие доказательства безопасности и эффективности ПМИ. Нередко для доказательства эффективности испытуемый продукт сравнивают с его аналогами. Если в ходе клинических испытаний необходимых доказательств собрать не удаётся, или если будут выявлены несоответствия ПМИ заявленным показаниям к применению и другим разделам документации производителя, либо установлены факты, что ПМИ может приводить к реальной угрозе жизни и здоровью пациентов, то по такому ПО выносится решение об отрицательном результате испытаний. В остальных случаях выносится положительное решение [9].

Итогом успешного проведения клинических испытаний является «Протокол оценки результатов клинических испытаний медицинского изделия», оформленный в виде специальных актов по образцам, предусмотренным приказом Минздрава России от 09.01.2014 № 2н [27]. В нём описываются полученные клинические доказательства эффективности и безопасности ПМИ. Данный документ впоследствии станет главным основанием, на базе которого эксперты на этапе государственной регистрации будут принимать решение о допуске продукта на рынок [9].

В сентябре 2020 года на сайте Росстандарта был опубликован проект первой редакции национального стандарта ГОСТ Р «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания» [28], который должен будет регулировать методологическую основу процесса клинических испытаний, порядок их проведения, показателей точности, аудита и контроля качества медицинских систем искусственного интеллекта.

Определения. В ГОСТ дано определение искусственному интеллекту — это комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение, поиск решений без заранее заданного алгоритма экспертом (врачом-пользователем), включающего элементы интуиции, и получать при выполнении обработки данных результаты, сопоставимые как минимум с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает методы машинного обучения, процессы и сервисы по обработке данных и поиску решений с использованием информационно-коммуникационной инфраструктуры [28].

В ГОСТ термин аналогичный «программному медицинскому изделию» (ПМИ) звучит как медицинская система искусственного интеллекта (СИИ) — техническая система, в которой используются технологии искусственного интеллекта. СИИ может использоваться в клинической медицине как отдельно, так и в составе другого медицинского изделия [28].

Разрабатываемые стандарты. В настоящее время также ведутся работы по разработке и других, последующих основополагающих стандартов:

Эти национальные стандарты будут регулировать ключевые аспекты применения ИИ в здравоохранении и его роли в принятии врачебных решений.

Проведение клинических испытаний. СИИ, используемая в клинической медицине как отдельно, так и в составе другого МИ, может оказывать значительное воздействие на общество и здоровье пациента. В целях получения доказательств соответствия СИИ требованиям эффективности и безопасности МИ проводится его клиническая оценка, которая наряду с фактическими данными даёт возможность продемонстрировать, что СИИ способна выдавать клинически значимый результат при её эксплуатации надлежащим образом, а также не несёт риска причинения вреда жизни, здоровью человека и окружающей среде при использовании её по назначению и в условиях, заявленных изготовителем [28].

Для каждого МИ клиническая оценка осуществляется в течение его жизненного цикла2 в ходе проведения клинических испытаний. Общие принципы клинической оценки должны быть одинаковы для всех МИ, в том числе СИИ, с целью соблюдения основополагающих принципов технологической открытости и независимости [28].

Для этого проверяют эффективность и безопасность СИИ в клинических испытаниях, которые необходимо выполнять с соблюдением ГОСТ Р ИСО 14155 «Клинические исследования. Надлежащая клиническая практика» [29]. Поэтому, все заявления изготовителя в отношении уровней эффективности и безопасности изделия (в том числе указанные в маркировке и сопроводительной документации) должны быть подтверждены соответствующими доказательствами в ходе проведения клинического испытания [28].

Для СИИ можно проводить клинические испытания с применением ретроспективного дизайна без привлечения человека как субъекта испытаний, а в сравнении с аналогами. В таком случае Комитет по этике должен быть проинформирован о проведении клинического испытания без привлечения человека как субъекта испытания, а в форме анализа и оценки данных СИИ [28]. Поскольку СИИ (например, СППВР) используют алгоритмы, построенные на нейронных сетях, то должны быть независимые наборы данных из разных регионов, разных медицинских организаций, чтобы попытаться найти все ошибки, которые могут влиять на алгоритм, например, с точки зрения особенности пациента, особенностей ведения данных и реальной клинической практики.

Клинические испытания СИИ с привлечением человека как субъекта испытаний должны проводиться в соответствии с этическими принципами, касающимися прав, безопасности и благополучия людей, которые должны преобладать над интересами науки и общества [28], согласно ГОСТ Р ИСО 14155 «Клинические исследования. Надлежащая клиническая практика» [29].

Клинические испытания с участием человека должны проводиться в соответствии с этическими принципами, основанными на Хельсинкской декларации. Эти принципы защищают права и обеспечивают безопасность и благополучие людей, что является наиболее важным аспектом и должно превалировать над интересами науки и общества. Эти принципы следует понимать, соблюдать и применять на каждом этапе клинических испытаний [28].

Все стороны, вовлечённые в проведение клинических испытаний СИИ, должны разделять ответственность за соблюдение этических принципов в соответствии с ролью каждой стороны в клинических испытаниях [28].

До начала клинических испытаний СИИ с привлечением человека как субъекта необходимо получить документально подтверждённое одобрение или положительное заключение Комитета по этике с указанием документов и поправок, на основании которых принято данное решение [28].

Если требования Комитетов по этике являются менее жёсткими, чем требования Национального стандарта «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания» [28], заявитель должен применять требования данного стандарта в максимально допустимой степени независимо от любых менее жёстких требований и должен регистрировать эти меры (ГОСТ Р ИСО 14155 «Клинические исследования. Надлежащая клиническая практика» [29] и действующими нормативно-правовыми актами).

Рассмотрение Комитетом по этике. Следуя основополагающим этическим нормам, Комитеты по этике, имеющие соответствующие СОП по экспертизе проектов клинических испытаний СИИ, а также некоторый опыт такой работы, могут руководствоваться следующими установками.

Документы, предоставляемые в Комитет по этике. Заявитель должен представить в Комитет по этике все документы, необходимые для полной и тщательной экспертизы планируемого испытания [28].

Эти документы должны включать в себя:

1) заявление на рассмотрение;

2) предыдущие решения, принятые другими Комитетами по этике;

3) список медицинских организаций, в которых планируется проведение испытаний;

4) Программу планируемых испытаний;

5) индивидуальные регистрационные карты, дневники и вопросники, которые предстоит заполнять исследователям;

6) описание данных по безопасности МИ, испытания которого запланированы, а также его технические характеристики, данные проведённых технических испытаний с описанием существующего на данный момент клинического опыта применения МИ;

7) Брошюру исследователя;

8) текущую редакцию резюме исследователя и (или) другие материалы, подтверждающие его квалификацию;

9) План статистического анализа данных (может быть запрошен Комитетом по этике);

10) План управления рисками (может быть запрошен Комитетом по этике);

11) материалы (включая рекламные), используемые для привлечения потенциальных субъектов испытаний;

12) процедуры, обеспечивающие конфиденциальность;

13) форму информированного согласия с описанием процесса его получения и документирования, а также другие формы, содержащие информацию для потенциальных субъектов испытаний;

14) описание всех компенсаций и условия их получения за участие в испытаниях для участников испытаний, включая покрытие расходов и медицинскую помощь;

15) описание условий страхования участников испытаний;

16) положение о согласии следовать этическим принципам, изложенным в соответствующих руководствах.

Решения Комитета по этике. Комитет по этике должен рассмотреть вопрос о проведении предлагаемых клинических испытаний медицинских СИИ в соответствующие сроки и дать заключение в письменном виде, в котором должны быть идентифицированы испытания с указанием рассмотренных документов и даты принятия решения [28]:

1) об одобрении (выдаче заключения) на проведение испытаний;

2) внесении изменений в представленную документацию для получения одобрения (выдачи заключения) на проведение испытаний;

3) отказе в одобрении (выдаче заключения) на проведение испытаний;

4) отмене (приостановлении) сделанного ранее одобрения (выданного заключения) на проведение испытаний.

Последующий обмен информацией с Комитетом по этике. Следующая информация должна быть предоставлена в Комитет по этике и регулирующий орган, если это требуется национальными регулирующими требованиями, Программой клинических испытаний СИИ или Комитетом по этике, в зависимости от того, кто из них выдвигает более строгие требования [28]:

1) серьёзное неблагоприятное событие;

2) запросы на одобрение отклонений, отчёты об отклонениях, если отклонения затрагивают права, безопасность или благополучие человека, или научную целостность клинического испытания;

3) отчёты о ходе работ, включая сводку по безопасности и отклонениям;

4) поправки к любым документам, уже одобренным Комитетом по этике.

В чрезвычайных ситуациях для защиты прав, безопасности и благополучия субъектов-людей может быть отклонение от Программы клинических испытаний СИИ. Такое отклонение должно быть задокументировано и представлено в Комитет по этике так быстро, насколько это возможно [28], согласно ГОСТ Р ИСО 14155-2014 «Клинические исследования. Надлежащая клиническая практика» [29].

Сроки предоставления информации Комитету по этике. В случае наступления серьёзного неблагоприятного явления Комитет по этике должен быть оповещён в максимально короткие сроки [28].

К серьёзному неблагоприятному событию (СНС, англ. serious adverse event; SAE) относится неблагоприятное событие, которое приводит к летальному исходу; приводит к серьёзному нарушению здоровья субъекта, которое, в свою очередь может привести к заболеванию или травме, угрожающей жизни; увечью; госпитализации или её продлению; медицинскому или хирургическому вмешательству для предотвращения заболевания, угрожающего жизни, или увечья; приводит к травме плода, гибели плода или аномалиям, или порокам его развития [29].

Заявитель должен незамедлительно уведомить всех занятых в испытании участников (медицинских организаций), а также Комитет по этике и регулирующие органы о полученных данных, которые могут неблагоприятно отразиться на безопасности субъектов, повлиять на проведение исследования либо изменить одобрение (заключение) Комитета по этике на продолжение испытаний [28].

Вместе с информацией о возникшем событии в Комитет по этике должны быть предоставлены [28]:

1. Направительное письмо.

2. Описание произошедшего события.

3. План управления рисками (ПУР).

4. Пересмотренная Брошюра исследователя (если необходимо, но не реже 1 раза в год).

Применение ПМИ изменят отношения между пациентом и врачом, но остаются вопросы, а именно связанные с получением информированного согласия на использование ПМИ, безопасностью, надёжностью и достоверностью наборов данных, прозрачностью алгоритмов, алгоритмической справедливостью и непредвзятостью, собственностью на данные, конфиденциальностью данных. Рассмотрим их более подробнее.

Вопросы, связанные с получением информированного согласия на использование ПМИ:

Безопасность — одна из самых серьёзных проблем для искусственного интеллекта в здравоохранении. Представленный ниже пример с IBM Watson for Oncology из реальной жизни показал эту область в негативном свете, и поставил вопрос:

IBM Watson for Oncology использует алгоритмы искусственного интеллекта для оценки информации из медицинских записей пациентов и помощи врачам в изучении вариантов лечения онкологических заболеваний. Однако недавно IBM Watson for Oncology подвергся критике из-за того, что дал «небезопасные и неправильные» рекомендации по лечению рака. Проблема, похоже, заключалась в обучении Watson for Oncology: вместо использования реальных данных о пациентах программа была обучена только нескольким «синтетическим» случаям рака, которые были разработаны врачами онкологического центра Memorial Sloan Kettering (MSK). Однако MSK заявила, что ошибки возникали только в ходе тестирования системы, и, следовательно, реальным пациентам не было дано неправильных рекомендаций по лечению [31-33].

Чтобы реализовать потенциал ИИ разработчики должны убедиться в нескольких ключевых вещах:

1) надёжность и достоверность наборов данных: используемые наборы данных должны быть надёжными и действительными, поскольку чем качественнее обучающие размеченные данные, тем лучше будет работать ИИ;

2) совместное использование данных: необходимость в огромных объёмах данных для анализа требует широкого обмена данными;

3) обеспечение прозрачности алгоритмов: в интересах безопасности и доверия клиницистов и пациентов необходимо обеспечить некоторую степень прозрачности алгоритмов, хотя в реальном мире возникают проблемы, связанные с защитой инвестиций и интеллектуальной собственности, а также с кибербезопасностью.

Особую озабоченность вызывают рекомендации по использованию большего количества систем ИИ типа «чёрного ящика», однако, возможно, нет необходимости открывать «чёрный ящик»: может оказаться, что по крайней мере в некоторых случаях положительные результаты рандомизированных клинических исследований или других форм тестирования будут служить достаточной демонстрацией безопасности и эффективности ИИ, или возможным решением может быть сторонний или государственный аудит таких систем.

ИИ способен улучшить здравоохранение не только в странах с высоким уровнем дохода, но и демократизировать экспертные знания, «глобализировать» здравоохранение и распространять его даже в отдалённые районы. Однако любая система машинного обучения или алгоритм, обученный человеком, будут настолько надёжными, эффективными и справедливыми, насколько и данные, на которых они обучаются. ИИ также несёт в себе риск предвзятости и, следовательно, дискриминации. Поэтому жизненно важно, чтобы производители ПМИ знали об этом риске и сводили к минимуму потенциальные предубеждения на каждом этапе процесса разработки продукта.

В частности, они должны учитывать риск предвзятости при принятии решения:

1) Какие технологии и/или процедуры машинного обучения они хотят использовать для обучения алгоритмов?

2) Какие наборы данных (в том числе с учётом их качества и разнообразия) они хотят использовать для программирования?

Алгоритмы могут проявлять предвзятость, которая может привести к несправедливости в отношении этнического происхождения, цвета кожи или пола, возраста или наличия инвалидности. Объяснения таких предубеждений различны и могут быть многогранными. Они могут, например, возникать из самих наборов данных (которые не являются репрезентативными), из того, как специалисты по обработке данных и системы машинного обучения выбирают и анализируют данные, из контекста, в котором используется ПМИ и так далее. Где используется информация, связанная с фенотипом, а иногда и с генотипом, предвзятый ПМИ может, например, привести к постановке неверного диагноза и сделать лечение неэффективным для некоторых субпопуляций и, таким образом, поставить под угрозу их здоровье и безопасность. Например, представьте себе систему поддержки принятия врачебных решений на основе искусственного интеллекта, которое помогает клиницистам найти лучшее лечение для пациентов с раком кожи. Тем не менее, алгоритм преимущественно обучался на пациентах из европеоидной расы. Таким образом, ПМИ, вероятно, будет давать менее точные или даже неточные рекомендации для субпопуляций, для которых данные обучения были недостаточно информативными, например для больных с чёрным цветом кожи [34].

Некоторые из этих предубеждений могут быть устранены за счёт увеличения доступности данных и попыток лучше собрать данные о группах меньшинств и точнее указать, для каких групп населения алгоритм используется или не используется надлежащим образом. Однако остаётся проблема в том, что множество алгоритмов сложны и непрозрачны. Кроме того, некоторые компании-разработчики ПО, будут сопротивляться раскрытию информации и заявлять о коммерческой тайне в своей работе. Следовательно, сбор данных и выявление предубеждений может быть предоставлено неправительственным организациям [34].

В случае алгоритмов «чёрного ящика» многие учёные утверждали, что объяснимость необходима, когда ПМИ даёт рекомендации по здоровью, особенно для выявления предубеждений. Однако действительно ли эта точка зрения верна? Некоторые утверждают, что важно не то, как ПМИ принимает своё решение, а то, что оно является точным, по крайней мере, с точки зрения диагностики [35].

Использование алгоритмов «чёрного ящика», которые врачам очень трудно полностью понять, может вызывать ряд вопросов:

Безопасность и эффективность МПИ, которые являются «чёрными ящиками», можно, например, продемонстрировать путём проведения рандомизированных клинических испытаний [34].

Как насчёт собственности (владения) на данные? Ценность данных о состоянии здоровья может достигать миллиардов долларов США, и некоторые данные свидетельствуют о том, что общественность недовольна тем, что компании или правительство продают конфиденциальные данные о пациентах с целью получения прибыли [36].

В июле 2017 года Управление комиссариата по информации Великобритании (англ. UK Information Commissioner’s Offi ce; ICO) постановило, что Фонд Royal Free NHS Foundation нарушил Закон Великобритании о защите данных 1998 года, когда предоставил Google DeepMind личные данные примерно 1,6 млн пациентов [37, 38]. Обмен данными произошёл в ходе клинического тестирования безопасности приложения Streams, которое призвано помочь в диагностике и обнаружении острого повреждения почек [37, 38]. Однако пациенты не были должным образом проинформированы об обработке их данных в рамках теста [37, 38]. Комиссар по информации Элизабет Денхэм (Elizabeth Denham) правильно отметила, что «цена инноваций не обязательно должна быть подрывом фундаментальных прав на неприкосновенность частной жизни» [38]. Хотя приложение Streams не использует ИИ, этот примервыявил потенциальную опасность нарушения прав на неприкосновенность частной жизни при разработке технологических решений. Если пациенты и врачи не доверяют ИИ, то их успешная интеграция в клиническую практику в конечном итоге не удастся. Принципиально важно адекватно информировать пациентов об обработке их данных и способствовать открытому диалогу для повышения доверия. Судебный процесс Dinerstein против Google [39] и Project Nightingale от Google и Ascension [40] представляют собой недавние тематические исследования, демонстрирующие проблемы конфиденциальности пациентов в контексте обмена данными и использования ИИ [34].

Помимо вопроса: «Что собирается?», крайне важно защитить пациентов от использования вне взаимоотношений между врачом и пациентом, которое может пагубно повлиять на пациентов, например, на оказание медицинской помощи по обязательному медицинскому страхованию, возможности трудоустройства или даже на личные отношения [34]. Некоторые из них потребуют строгого антидискриминационного закона — аналогично действующим законам о защите генетической информации о человеке [41].

Два других вопроса заключаются в том:

По своей сути, современное программное обеспечение с технологией искусственного интеллекта не представляет из себя ничего сверхъестественного. Когда утверждается, что компьютеры способны дублировать деятельность человека, часто оказывается, что это утверждение предполагает серьёзное упрощённое и искажённое описание этой деятельности. Произошла переоценка технологий и недооценка людей [8].

В упрощённом виде программные медицинские изделия с технологиями искусственного интеллекта (или медицинские системы искусственного интеллекта) относятся к слабому ИИ, поэтому, с технической точки зрения, бòльшая часть устоявшейся нормативно-правовых актов разработанных для медицинских изделий применима для регулирования ПМИ (медицинских СИИ), в том числе и большинства связанных с ним этических аспектов.

Слабый искусственный интеллект (англ. artifi cial narrow intelligence, ANI) — это ИИ в сегодняшнем понимании. Слабый ИИ не обладает человеческими чувствами и сознанием, а работает лишь в заранее заданном диапазоне. Все окружающие нас ИИ-решения — это примеры слабого ИИ, потому что они слишком далеки от человеческого интеллекта, но способны обрабатывать данные и выполнять задачи значительно быстрее, чем любой человек [43].

Остаётся ещё так называемый сильный ИИ (эквивалент «искусственного разума»), но он пока обитает только в научно-фантастических произведениях, так что регулировать тут на сегодняшний день нечего [42]. А пока компьютеры не растут как дети, не принадлежат культуре и не действуют в мире, они никогда не приобретут интеллект, подобный человеческому [8].

Сильный искусственный интеллект (англ. artifi cial general intelligence, AGI) схож с человеческим интеллектом, т.е., он может успешно выполнять любые умственные задачи, которые под силу людям. Именно такие системы мы видим в научно-фантастических фильмах, посвящённых взаимодействию человека с компьютерами, обладающими чувствами и сознанием. Но пока компьютеры могут лишь обрабатывать данные быстрее, чем мы, однако они не способны мыслить абстрактно, продумывать стратегию, а также использовать мысли и воспоминания, чтобы принимать обоснованные решения или выдвигать творческие идеи. Благодаря этому типу интеллекта мы превосходим компьютеры. В то же время работу этих когнитивных механизмов сложнее всего понять, а значит, и сложнее всего воспроизвести. Ожидается, что сильный ИИ сможет рассуждать, справляться с проблемами, выносить суждения в условиях неопределённости, планировать, учиться, интегрировать предыдущие знания в процесс принятия решений, а также предлагать новаторские идеи. Но для достижения всех этих целей исследователи должны придумать, как наделить компьютеры сознанием [43].

В России сейчас ведётся активная работа по созданию нормативно-правовой и этической базы по использованию ПМИ (медицинских СИИ), в которых необходимо зафиксировать тезис о том, что человек имеет право на любом этапе разработки, внедрения или применения ИИ отменять или запрещать любые действия или решения, принимаемые ИИ; при этом за государством остаётся приоритет в обеспечении своих граждан таким правом [42].

Кроме того, нетрудно отметить в соответствующих документах и важность баланса между развитием новейших технологий и защитой общечеловеческих ценностей и в целом понятия «человечность», в которое входят отсутствующие в компьютерных алгоритмах любовь, внимание к человеку, уважение к человеческой личности, доброе отношение ко всему живому, человеколюбие, эмоции, спонтанность, интуиция, духовность и т.д.; в основе которой лежат такие нравственные ценности, как благородство, доброта, снисходительность, умение прощать, альтруизм, гуманность, милосердие и другие.

Руководство Российской Федерации придерживается незыблемости фундаментального права выбора, сохраняющего за ней возможность «идти своим путём». Своё отражение эта тема нашла как в национальной Стратегии ИИ, так и в Федеральном проекте по искусственному интеллекту национальной программы «Цифровая экономика».

Стоит также отметить, что в 2020 году в России был создан Национальный Комитет по этике искусственного интеллекта при Комиссии Российской Федерации по делам ЮНЕСКО. Это первый в мире подобный орган при Национальной комиссии по делам ЮНЕСКО. В состав Комитета вошли ведущие специалисты и известные учёные в области цифровых и информационных технологий, руководители научных, образовательных и коммерческих структур, вовлечённых в разработку технологий искусственного интеллекта и разработчики Национальной стратегии развития искусственного интеллекта на период до 2030 г. Председателем Комитета был избран ректор Сколковского института науки и технологий, академик РАН Кулешов А.П. [44].

В связи с динамичным развитием этого направления вопросы правового регулирования и этической оценки в области искусственного интеллекта будут постоянно развиваться, соприкасаться со многими сферами научных исследований, в том числе в области биологии и медицины. Ещё более сложный вопрос связан с социальной адаптацией ИИ, разделением ролей человека и ИИ в реальных секторах экономики и социальной сфере, взаимном интеллектуальном влиянии человеческого и искусственного интеллекта, что может привести не только к взаимному обогащению, но новым рискам и вызовам для будущих поколений. Эти риски обязательно должны учитываться и анализироваться с биоэтических позиций.

1. ELIZA — виртуальный собеседник, компьютерная программа Джозефа Вейценбаума, написанная им в 1966 году, которая пародирует диалог с психотерапевтом, реализуя технику активного слушания. Программа была названа в честь Элизы Дулитл, героини из пьесы «Пигмалион» Бернарда Шоу, которую обучали языку «язык Шекспира, Мильтона и Библии». 2. Жизненный цикл (англ. life cycle) – развитие системы, продукции, услуги, проекта или другой создаваемой изготовителем сущности от замысла до списания [30].