Ethical aspects of using software with artificial intelligence technology

Today, artificial intelligence (AI) technologies can offer solutions to many social problems, including those used to diagnose and treat diseases. However, for this it is necessary to provide an appropriate legal basis. The article presents a brief history of the development of AI, explains the conceptual apparatus, describes the legal basis for its development and implementation in Russian healthcare, the methodology for conducting clinical trials of AI systems, and gives their classification. Particular attention is paid to the ethical principles of clinical trials of AI systems. The ethical examination of projects of clinical trials of AI systems by the Ethics Committee is considered in detail.

1. Turing A. M., I. Computing machinery and intelligence, Mind, Volume LIX, Issue 236, October 1950, Pages 433—460. DOI: 10.1093/mind/ LIX.236.433 Режим доступа: https://clck.ru/Ta9eN

2. Newman MHA. Alan Mathison Turing. 1912—1954 (англ.) // Biographical Memoirs of Fellows of the Royal Society. 1955;(1):253. DOI: 10.1098/rsbm.1955.0019.

3. Dreyfuss Hubert. «Alchemy and Artificial Intelligence». Режим доступа: https://clck.ru/TxCVv

4. Dreyfus HL (1972) What computers can’t do. Harper & Row, New York, NY. Режим доступа: https://clck.ru/TxCXG

5. Weizenbaum J (1976) Computer power and human reason. Freeman & Company, San Francisco

6. Penrose R (1989) The emperor’s new mind. Concerning computers, minds, and the laws of physics. Oxford University Press, Oxford

7. Penrose R (1994) Shadows of the mind. A search for the missing science of consciousness. Oxford University Press, Oxford

8. Fjelland R. Why general artificial intelligence will not be realized. Humanit Soc Sci Commun 7, 10 (2020). DOI: 10.1057/s41599-020-0494-4

9. Гусев А.В., Морозов С.П., Кутичев В.А., Новицкий Р.Э. Нормативно-правовое регулирование программного обеспечения для здравоохранения, созданного с применением технологий искусственного интеллекта, в Российской Федерации. Медицинские технологии. Оценка и выбор. 2021;43(1):36-45. [Gusev AV, Morozov SP, Kutichev VA, Novitsky RE. Legal regulation of artificial intelligence software in healthcare in the Russian Federation. Medical Technologies. Assessment and Choice. 2021;43(1):36-45. (In Russ).] DOI: 10.17116/medtech20214301136

10. Национальная стратегия развития искусственного интеллекта на период до 2030 года. Утверждена указом Президента Российской Федерации № 490 от 10 октября 2019 года «О развитии искусственного интеллекта в Российской Федерации». [National strategy for the development of artificial intelligence for the period up to 2030. Approved by Decree of the President of the Russian Federation No. 490 of October 10, 2019 «O razvitii iskusstvennogo intellekta v Rossijskoj Federacii». (In Russ).] Режим доступа: https://clck.ru/TUnRQ

11. IMDRF/SaMD WG/N10:2013. Software as a Medical Device (SaMD): Key Definitions. Режим доступа: https://clck.ru/TxCY7

12. Федеральный закон от 31.01.2016 г. № 4-ФЗ «О ратификации Соглашения о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза». [Federal Law No. 4-FZ of 31.01.2016 «O ratifikacii Soglasheniya o edinyh principah i pravilah obrashcheniya medicinskih izdelij (izdelij medicinskogo naznacheniya i medicinskoj tekhniki) v ramkah Evrazijskogo ekonomicheskogo soyuza». (In Russ).] Режим доступа: http://docs.cntd.ru/document/420332906

13. Соглашение о единых принципах и правилах обращения медицинских изделий (изделий медицинского назначения и медицинской техники) в рамках Евразийского экономического союза. 24.12.2014 г. [Soglashenie o edinyh principah i pravilah obrashcheniya medicinskih izdelij (izdelij medicinskogo naznacheniya i medicinskoj tekhniki) v ramkah Evrazijskogo ekonomicheskogo soyuza. 24.12.2014 g. (In Russ).] Режим доступа: http://docs.cntd.ru/document/420246566

14. Федеральный закон «Об основах охраны здоровья граждан в Российской Федерации» от 21.11.2011 г. № 323-ФЗ (с изменениями на 22 декабря 2020 года) (редакция, действующая с 1 января 2021 года). [Federal Law No. 323-FZ of 21.11.2011 (as amended on December 22, 2020) (as amended from January 1, 2021) «Ob osnovah ohrany zdorov’ya grazhdan v Rossijskoj Federacii». (In Russ).] Режим доступа: http://docs.cntd.ru/document/902312609

15. ГОСТ 31508-2012 Изделия медицинские. Классификация в зависимости от потенциального риска применения. Общие требования. Дата введения 2015-01-01. [GOST 31508-2012 Izdeliya medicinskie. Klassifikaciya v zavisimosti ot potencial’nogo riska primeneniya. Obshchie trebovaniya. Data vvedeniya 2015-01-01. (In Russ).] Режим доступа: http://docs.cntd.ru/document/1200100312.

16. Приказ Минздрава России от 06.06.2012 № 4н (ред. от 07.07.2020) «Об утверждении номенклатурной классификации медицинских изделий» (вместе с «Номенклатурной классификацией медицинских изделий по видам», «Номенклатурной классификацией медицинских изделий по классам в зависимости от потенциального риска их применения») (Зарегистрировано в Минюсте России 09.07.2012 N 24852). [Order of the Ministry of Health of the Russian Federation No. 4n of 06.06.2012 (ed. of 07.07.2020) «Ob utverzhdenii nomenklaturnoj klassifikacii medicinskih izdelij» (vmeste s «Nomenklaturnoj klassifikaciej medicinskih izdelij po vidam», «Nomenklaturnoj klassifikaciej medicinskih izdelij po klassam v zavisimosti ot potencial’nogo riska ih primeneniya») (Zaregistrirovano v Minyuste Rossii 09.07.2012 N 24852). (In Russ).] Режим доступа: http://docs.cntd.ru/document/902353334

17. Программное обеспечение «Система для поддержки принятия врачебных решений «WEBIOMED». Регистрационное удостоверение на медицинское изделие РЗН 2020/9958. [Programmnoe obespechenie «Sistema dlya podderzhki prinyatiya vrachebnyh reshenij «WEBIOMED». Registracionnoe udostoverenie na medicinskoe izdelie RZN 2020/9958. (In Russ).] Режим доступа: https://clck.ru/TxCYd

18. Обеспечение программное прикладное «Botkin.AI» для визуализации и обработки изображений стандарта DICOM. Регистрационное удостоверение на медицинское изделие РЗН 2020/12028. [Obespechenie programmnoe prikladnoe «Botkin.AI» dlya vizualizacii i obrabotki izobrazhenij standarta DICOM. Registracionnoe udostoverenie na medicinskoe izdelie RZN 2020/12028. (In Russ).] Режим доступа: https://clck.ru/TxCYw

19. Программное обеспечение «Система нейросетевая Care Mentor АI». Регистрационное удостоверение на медицинское изделие РЗН 2020/11137. [Programmnoe obespechenie «Sistema nejrosetevaya Care Mentor AI». Registracionnoe udostoverenie na medicinskoe izdelie RZN 2020/11137. (In Russ).] Режим доступа: https://clck.ru/TxCZE

20. Федеральный закон от 24.04.2020 № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации — городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона «О персональных данных». «». [Federal Law No. 123- FZ of 24.04.2020 «O provedenii eksperimenta po ustanovleniyu special’nogo regulirovaniya v celyah sozdaniya neobhodimyh uslovij dlya razrabotki i vnedreniya tekhnologij iskusstvennogo intellekta v sub»ekte Rossijskoj Federacii — gorode federal’nogo znacheniya Moskve i vnesenii izmenenij v stat’i 6 i 10 Federal’nogo zakona «O personal’nyh dannyh»». (In Russ).] Режим доступа: https://clck.ru/TgfW2

21. Федеральный закон от 31 июля 2020 г. № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций в Российской Федерации». [Federal Law No. 258-FZ of July 31, 2020 «Ob eksperimental’nyh pravovyh rezhimah v sfere cifrovyh innovacij v Rossijskoj Federacii». (In Russ).] Режим доступа: https://clck.ru/TxCZt

22. Федеральный закон «О персональных данных» от 27.07.2006 № 152-ФЗ. [Federal Law «O personal’nyh dannyh» No. 152-FZ of 27.07.2006. (In Russ).] Режим доступа: https://clck.ru/DWym4.

23. Постановление Правительства РФ от 27 декабря 2012 года № 1416 Об утверждении Правил государственной регистрации медицинских изделий (с изменениями на 24 ноября 2020 года). [Decree of the Government of the Russian Federation No. 1416 of December 27, 2012 On Approval of the Rules for State Registration of Medical Devices (as amended on November 24, 2020). (In Russ).] Режим доступа: http://docs.cntd.ru/document/902390883

24. Информационное письмо Росздравнадзора от 13.02.2020 г. № 02И-297/20. [Information letter of Roszdravnadzor dated 13.02.2020 No. 02I- 297/20. (In Russ).] Режим доступа: https://clck.ru/TxCaH

25. Гаврилов Э.Л., Хоманов К.Э., Короткова А.В., Аслибекян Н.О., Шевченко Е.А. Актуальные направления развития справочно-информационных он-лайн приложений для врачей // Вестник Национального медико-хирургического центра им. Н.И. Пирогова. 2017;12(1)83-87. [Gavrilov EL, Khomanov KE, Korotkova AV, Aslibekyan NO, Shevchenko EA. Actual directions in progress of reference apps for doctors. Roszdravnadzora Bulletin of Pirogov National Medical & Surgical Center 2017;12(1):83-87. (In Russ).] Режим доступа: https://clck.ru/TxCch

26. Столбов А.П. О классификации рисков применения программного обеспечения медицинского назначения. Вестник Росздравнадзора. 2017;(3):36-42. [Stolbov AP. On risk classification of application software for medical purposes. Vestnik Roszdravnadzora. 2017;(3):36-42. (In Russ).] Режим доступа: https://clck.ru/TxCd6

27. Приказ Министерства здравоохранения Российской Федерации (Минздрав России) от 9 января 2014 г. № 2н г. Москва «Об утверждении Порядка проведения оценки соответствия медицинских изделий в форме технических испытаний, токсикологических исследований, клинических испытаний в целях государственной регистрации медицинских изделий» (с изменениями на 7 июля 2020 года). [Order of the Ministry of Health of the Russian Federation (Ministry of Health of the Russian Federation) of January 9, 2014 No. 2n Moscow «Ob utverzhdenii Poryadka provedeniya ocenki sootvetstviya medicinskih izdelij v forme tekhnicheskih ispytanij, toksikologicheskih issledovanij, klinicheskih ispytanij v celyah gosudarstvennoj registracii medicinskih izdelij» (as amended on July 7, 2020). (In Russ).] Режим доступа: https://docs.cntd.ru/document/902353334

28. Проект ГОСТ Р Национальный стандарт Российской Федерации «Системы искусственного интеллекта в клинической медицине. Часть 1. Клинические испытания», 2020 г. [Proekt GOST R Nacional’nyj standart Rossijskoj Federacii «Sistemy iskusstvennogo intellekta v klinicheskoj medicine. CHast’ 1. Klinicheskie ispytaniya», 2020 g. (In Russ).] Режим доступа: https://clck.ru/QXVuv

29. ГОСТ Р ИСО 14155-2014 Клинические исследования. Надлежащая клиническая практика. Утверждён и введён в действие Приказом Федерального агентства по техническому регулированию и метрологии от 4 июня 2014 г. № 497-ст. [GOST R ISO 14155-2014 Klinicheskie issledovaniya. Nadlezhashchaya klinicheskaya praktika. Utverzhdyon i vvedyon v dejstvie Prikazom Federal’nogo agentstva po tekhnicheskomu regulirovaniyu i metrologii ot 4 iyunya 2014 g. № 497-st. (In Russ).] Режим доступа: http://docs.cntd.ru/document/1200110952.

30. ГОСТ Р 57193-2016 Системная и программная инженерия. Процессы жизненного цикла систем. Дата введения 2017-11-01. [GOST R 57193-2016 Sistemnaya i programmnaya inzheneriya. Processy zhiznennogo cikla sistem. Data vvedeniya 2017-11-01. (In Russ).] Режим доступа: http://docs.cntd.ru/document/1200141163

31. IBM. IBM Watson for oncology, https://www.ibm.com;2020.

32. Brown J. IBM Watson reportedly recommended cancer treatments that were ‘unsafe and incorrect’. Gizmodo, 2018. Режим доступа: https://clck.ru/TxCed

33. Ross C, Swetlitz I. IBM’s Watson supercomputer recommended ‘unsafe and incorrect’ cancer treatments, internal documents show. STAT, 2018. Режим доступа: https://clck.ru/TxCdp

34. Gerke S, Minssen T, Cohen G. Chapter 12 — Ethical and legal challenges of artificial intelligence-driven healthcare. Artificial Intelligence in Healthcare. 2020;20-35:295-336. Режим доступа: https://clck.ru/TxCf4

35. London AJ. Artificial intelligence and black-box medical decisions: accuracy versus explainability. Hastings Cent Rep. 2019;49:15-21. DOI: 10.1002/hast.973. Режим доступа: https://clck.ru/TxCgo

36. House of Lords. AI in the UK: ready, willing and able? 2018. Режим доступа: https://clck.ru/DTMGa

37. ICO. RFA0627721 — provision of patient data to DeepMind, 2017. Режим доступа: https://ico.org.uk/media/2014353/undertaking-cover-letterrevised-04072017-to-first-person.pdf

38. ICO. Royal Free—Google DeepMind trial failed to comply with data protection law, 2017. Режим доступа: https://ico.org.uk/about-the-ico/news-and-events/news-and-blogs/2017/07/royal-free-google-deepmind-trialfailed-to-comply-with-data-protection-law

39. Dinerstein v. Google. No. 1:19-cv-04311; 2019. Режим доступа: https://clck.ru/TxCjN

40. Copeland R. Google’s ‘Project Nightingale’ gathers personal health data on millions of Americans, 2019. Режим доступа: https://clck.ru/TxCk3

41. Roberts JL, Cohen IG, Deubert CR, Lynch HF. Evaluating NFL player health and performance: legal and ethical issues. Univ Pa Law Rev. 2017;165:227-314. Режим доступа: https://clck.ru/TxCkR

42. Фёдоров Максим, Цветков Юрий. Этические вопросы технологий искусственного интеллекта — как избежать судьбы Вавилонской башни. 11.11.2020 г. [Maxim Fedorov, Yuri Tsvetkov. Eticheskie voprosy tekhnologij iskusstvennogo intellekta — kak izbezhat’ sud’by Vavilonskoj bashni. 11.11.2020. (In Russ).] Режим доступа: https://clck.ru/TgfTu

43. Jajal Tannya D. Distinguishing between Narrow AI, General AI and Super AI. Режим доступа: https://clck.ru/TgfSa

44. Российский комитет по вопросам этики искусственного интеллекта. [Rossijskij komitet po voprosam etiki iskusstvennogo intellekta. (In Russ).] Режим доступа: http://unesco.ru/activity/cai/