ЭТИЧЕСКИЕ ВОПРОСЫ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ И AI В СФЕРЕ ЗДРАВООХРАНЕНИЯ И ГЕННОЙ ИНЖЕНЕРИИ

Круглый стол
01 июля 2021 года. Точка кипения НГТУ - НЭТИ

Модератор:

Зубарев Кирилл Ильич , лидер Точки кипения НГТУ, модератор программы SEDeC МШУ «Сколково»

Спикеры:

Синюкова Наталья Алексеевна . Научный сотрудник. Института философии и права СО РАН (г. Новосибирск).
Тема: «Зачем умная медицина пациенту?»

Толмачев Иван Владиславович, руководитель целевой поисковой лаборатории медико-инженерных технологий Фонда перспективных исследований Сибирского государственного медицинского университета (г. Томск)
Тема: «Искусственный интеллект в медицине: перспективы и вызовы».

Гребенщикова Елена Георгиевна, зам. директора ИНИОН РАН, доктор философских наук, заведующая кафедрой биоэтики РНИМУ им. Н.И. Пирогова (Москва).
Тема : "Оцифрованное будущее медицины: вызовы для биоэтики".

Участники:

Сарап Павел Владимирович , доктор медицинских наук, врач-трансфузиолог, иммунолог, аллерголог. (г. Красноярск, Больница скорой медицинской помощи).

Костин Александр , медицинский директор компании «SBERmed.AI».

Наумов Юрий Николаевич, кандидат медицинских наук, научный консультант биотехнологической компании (г. Бостон, США).

Сидорова Татьяна Александровна , к. филос. н., кафедра фундаментальной медицины, Институт медицины и психологии им. В. Зельмана, НГУ .

Заворин Андрей , разработчик

Пестунов Андрей Игоревич, к. физ.-мат. Н., заведующий кафедрой информационных технологий. НГУЭУ.

Аникин Юрий Александрович , к. т. н., заместитель главного ученого секретаря СО РАН.

Ти Сергей, помощник заместитель главного ученого секретаря СО РАН.

Кайгородов Павел Викторович , к. филос. н., НГУЭУ.

Стенограмма

Зубарев К.: Так, мы начинаем всё сначала. Я вас всех приветствую. Меня зовут Кирилл Зубарев. Я являюсь лидером «Точки кипения НГТУ». Мы с коллегами инициировали ряд мероприятий в формате круглых столов, посвященных проблеме и вопросам этики применения такой технологии, как искусственный интеллект. Значит, сегодняшний круглый стол посвящен проблеме применения искусственного интеллекта в такой области, как медицина и здравоохранение. Я просто вступление уже сделал. Значит, мы пригласили по возможности выступить четыре позиции: первая позиция – это пациенты, вторая – врачи, третья – разработчики технологий, четвертая – это представители структур управления. Теперь мне придется сделать еще одну перекличку: кто в какой категории, кто за кого сегодня будет выступать. Первая. Кто у нас представляет врачей? Коллеги из зума.

Толмачев И.: Я одновременно представляю врачей и разработчиков.

Зубарев К.: Иван Толмачев. Так. Павел, скажите, вы сферу здравоохранения представляете.

Сарап П.: Я врач аллерголог-иммунолог-трансфузиолог, доктор медицинских наук. Я занимаюсь тоже Big Data, и у меня есть собственные разработки.

Зубарев К.: И вот у нас еще коллега сидит. Можно представиться?

Наумов Ю.: Наумов Юрий Николаевич, научный консультант.

Зубарев К.: Спасибо. Теперь, коллеги, кто представляет разработчиков тоже в одном лице? А кто у нас разработчиков представляет? У нас еще, по идее, по замыслу должно быть три представителя. Александр Костин, он уже здесь. Александр, здравствуйте! Вы нас слышите?

Костин А.: Добрый день! Да, я вас слышу. Только я почему-то не могу свое видео включить. Поэтому вы меня не увидите сегодня, скорее всего.

Зубарев К.: Ну, мне Татьяна пишет, что вы сегодня будете представлять «СберМед ИИ». Всё правильно?

Костин А.: Да, совершенно верно.

Зубарев К.: И с нами еще есть Андрей Заворин. Он тоже представляет компанию и является разработчиком. Значит, кто у нас будет за пациентов сегодня? Мы уже поговорили, что нужно, наверное, каждому попробовать себя в этой роли. Есть ли у нас среди слушателей, участников представители органов управления? Ага, не дошли. Значит, давайте представители университета. Кто представляет университет? Так, коллеги. Кого я еще не назвал? Сергей, вы как себя будете позиционировать? Сергей Ти.

Ти С.: Как позиционируюсь? Как слушатель. Как сборщик.

Зубарев К.: Понятно. Ладно, коллеги. У нас сегодня четыре доклада всего. Прошлый раз у нас было семь докладов. Это очень, на самом деле, тяжело и длительно, и нам не удалось как следует поговорить. Поэтому мы сегодня ограничим доклады, четыре человека. И первой я бы хотел дать слово Наталье Алексеевне Синюковой, научному сотруднику Института философии и права СО РАН. Мы попросили Наталью выступить за пациентов. Наталья.

Синюкова Н.: Добрый день, уважаемые коллеги! Я, прежде всего, хотела бы поблагодарить организаторов за возможность говорить сегодня о пациентах и больше не как исследователь, а со стороны пациента. То есть в оптике взглядов человека, который может говорить о том, что происходит в системе здравоохранения в больнице как бы изнутри. При этом не просто как включенный наблюдатель, но как человек, испытавший на себе ситуацию утраты здоровья и потому ищущего в больнице помощи в его восстановлении.

Как исследователи мы в последнее время очень много говорим о медицине, о процессах технологизации, цифровизации медицины, о неизбежной объективации пациента в процессе лечения, переходящей часто в обезличивание и дегуманизацию пациента. И, соответственно, мы говорим о необходимости в новых подходах к лечению патологий человека. Мы пытаемся изучить множество разрывов и проблем, стараясь тем самым улучшить медицину в надежде на то, что она, конечно же, сможет эффективнее лечить наши патологии и улучшать наше здоровье и жизнь. Но при этом мы как исследователи часто не обращаем достаточно внимания на то, что происходит сейчас в реальной клинической медицине, то есть в условиях больницы. И не только мы, исследователи. Но это, в общем-то, не в полной мере делают, наверное, и представители органов управления, может быть, даже и общественность.

И я бы сначала хотела обратить внимание именно на то, что происходит сегодня в реальных клиниках. А происходит следующее. Несмотря на все инновационные технологии, оптимизацию процессов и так далее, люди продолжают страдать и умирать. И не только от новых вирусов, а, к примеру, от рака или от невозможности получить доступ к более продвинутой системе оказания медицинской помощи или от каких бы то ни было ошибок: врача, умной программы или самого пациента. Получается так, что уже вроде бы и не ясно, почему умирают пациенты, тяжелые пациенты: от патологии, от токсичного и рискованного процесса лечения, включая все произошедшие в нем изменения: коммуникативные, институциональные и прочие, от конкретных людей, которые в специфических условиях больницы просто не могут договориться, как продолжать лечение тяжело больного.

К примеру, пока мы готовились к организации сегодняшней дискуссии об искусственном интеллекте в медицине и встал вопрос о перспективе пациента, я написала одному знакомому с вполне внушительной, так сказать, «карьерой» пациента. Этот человек перенес очень серьезную форму рака, очень тяжелое лечение за границей и продолжение лечения на его завершающей стадии здесь, в Новосибирске, из-за пандемии. Когда я отправила ему сообщение, через несколько часов я увидела, что оно даже не прочитано. Дело в том, что в принципе никто не ожидал и до сих пор неясно, что послужило причиной, но у пациента при хорошем самочувствии, физически активной жизни, отсутствии видимых симптомов новой патологии резко ухудшились медицинские показатели. А в итоге оказалось, что у пациента новый агрессивный рак, острый лейкоз. И после второй химиотерапии этот человек умер. Он умер в боксе, в больнице. Потому что при лечении лейкоза требуется социальная изоляция. Хотел ли человек уйти из жизни вот так, на больничной кровати, когда дома у него жена и дети? Никто не знает, почему этот человек оказался болен в первый раз. Поскольку у него была хорошая наследственность, у него правильный образ жизни и так далее, и тому подобное. Почему произошло новое заболевание. И почему не удалось его спасти. Как можно и можно ли вообще ответить на вопрос: почему медицина оказалась неспособной вылечить этого человека? Оттого ли, что две разные медицинские системы просто оказались бессильны перед тяжелой патологией? Или оттого что не было возможности наладить коммуникацию между специалистами из разных стран? Предположений и версий может быть, конечно, много. И я привела этот пример именно потому, что, по сути дела, подобные проблемы, как обещают разработчики искусственного интеллекта, «умной медицины», могут быть и будут решены в «умной медицине». Но, несмотря на весь восторг относительно «умной медицины», позволяющей улучшить доступ к получению медицинских услуг, оптимизировать управление процессом болезни и ее лечения, улучшить возможности людей не в норме, вопрос остается открытым: нужна ли «умная медицина» пациенту, человеку вообще? И, что не менее важно, должны ли пациенты, практикующие врачи, общественность, просто люди быть вовлечены в процесс проектирования искусственного интеллекта? Или им достаточно оставаться просто конечными пользователями, потребителями «умных» медицинских услуг?

В дискуссиях о внедрении искусственного интеллекта в здравоохранении в основном обсуждается вопрос о том, будет ли человек в безопасности, как можно защитить пациента от новых рисков. Но о какой безопасности идет речь и о защите от чего и о защите кого, вообще, идет речь? Ну, скажем так, сторонники искусственного интеллекта говорят о том, что машина не устает и не подвержена эмоциональному выгоранию, не позволяет эмоциям влиять на их суждения, способны быстрее анализировать ситуацию и принимать решения, могут быть запрограммированы на ускоренный по сравнению с человеком процесс обучения.

«Умная» клиника в целом позволяет преодолеть множество разрывов и проблем в процессе лечения и ухода за пациентами. Поскольку алгоритмы, причем постоянно обновляясь в соответствии, ну, буквально как обновляются наши смартфоны, эти алгоритмы позволяют стандартизировать медицинские анализы, исследования, назначения и в целом процедуры в рамках всей системы здравоохранения. В основном обсуждается безопасность этих алгоритмов. Но я бы хотела отметить, что алгоритмы медицины и, вообще, стандартизация медицины – это не новинка и не какой-то модный тренд. Они существуют уже давно в форме стандартных протоколов и схем лечения.

Уже очень много было сказано о том, что в тех ситуациях, когда стандартных действий по протоколу достаточно для эффективности процесса лечения, врача и пациента не вполне можно рассматривать, как, собственно говоря, самостоятельных, самостоятельно думающих принимающих решение. Я хотела бы сейчас процитировать немецкого исследователя Джованни Майо. Он пишет о том, что: «Врачу уже как бы и не нужно самостоятельно думать в процессе поиска и применения готовой схемы лечения. Поскольку она уже прописана и при этом выверена и детализирована до такой степени, что врач уже не подстраивает протокол лечения под конкретный и уникальный случай пациента, но подгоняет случай пациента под жесткий и неповоротливый стандарт лечения. Потому что этот самый стандарт лечения обеспечивает коммерческую эффективность всей клиники».

Другое дело – это, конечно же, ситуация, когда стандартизованный протокол перестает быть эффективным, когда он перестает работать, если происходит сбой и требуется изменение терапии или происходит усложнение терапии. На Западе эту проблему решили, по сути дела, введением нового алгоритма прохождения процедуры этического консультирования для совместного принятия решения. Речь идет о направляемом специальным инструментом процессе переговоров о принятии медицинского решения. Есть разработанный исследователями протокол консультации, протокол, вернее, разговора, который должен привести его участников к принятию лучшего из возможных вариантов решения проблемы. Но и с этой процедурой, как оказалось, не всё так просто. Поскольку никто не берет на себя ответственность за решение, которое принимается таким образом.

Но проблема стандартизации медицины мне, вообще, очень хорошо знакома лично как пациенту. Я тоже проходила несколько лет назад химиотерапию, проходила ее по стандартному протоколу лечения, принятому, ну, наверное, в большинстве стран. Всё было прописано: как меня надо лечить, какими препаратами, как надо программировать инфузомат. Это такой специальный прибор, который позволяет установить определенную скорость введения химиотерапии. Поскольку ученые доказали, что от скорости введения этих препаратов очень сильно зависит, очень сильно она влияет на результат. По протоколу было детально прописано, что делать при возникновении побочных эффектов, как и устранять и так далее. Буквально было прописано всё. И со своим врачом я общалась, ну, фактически только в самом начале. Поскольку далее, когда я подписала информированное согласие, в общем-то, дело оставалось только за техникой.

Но не всё оказалось так легко. Однажды я пошла просто гулять. Я обязана была как пациент поддерживать активный образ жизни настолько долго, насколько я могла это себе позволить, скажем так. И я упала в обморок. Это была совершенно такая нестандартная ситуация. У меня просто, ну, как бы произошло онемение, и отказали ноги, и я упала. И упала так неудачно, что это закончилось несколькими переломами, и меня снова госпитализировали.

И вот когда ко мне пришел врач, онколог, я была в другом отделении госпитализирована, он мне и говорит (вы уж извините, что я так, наверное, чересчур от пациента говорю): «Как вас, вообще, так угораздило? У нас такого ни разу в жизни не было, сколько мы работаем. Бывали случаи, когда люди падали в обморок, теряли сознание. Но чтобы так, чтобы переломать себе кости – ну, такого не было еще ни разу».

И в этой связи должна ли медицина быть стандартизована? Может ли человек сам управлять этими стандартами? Или они все-таки всё более и более будут управлять людьми, участниками процесса лечения? Разработчики искусственного интеллекта, конечно, заявляют о том, что роботы не вытесняют врачей, сохраняя за последними возможность и способность управлять ими. Но так ли это? Особенно в свете вот того, что я рассказала про протоколы лечения.

На другом полюсе дискуссии относительно искусственного интеллекта в медицине и ставится, собственно говоря, вопрос об изменении мышления и поведения человека, говорится о том, что человеческое мышление является основополагающим компонентом клинической деятельности. А способность использовать, что называется, целостный подход к пациенту – суть того, что значит быть врачом.

И в той связи, конечно же, внедрение искусственного интеллекта связано с рисками. Он может быть плохо запрограммирован и всё что угодно, может использоваться в неподходящих ситуациях, иметь неполные данные, может быть взломан. Но дело в том, что, кто, вообще, будет нести ответственность за вред, причиненный искусственным интеллектом, его ошибками конкретному больному: программист, компания-разработчик, регулирующая искусственный интеллект структура или врач? Должен ли врач иметь право отменить диагноз или решение машины? И должно ли быть обратное право? Может ли машина найти компромисс между медицинскими данными и желаниями пациентов? Всё это вопросы, которые исследователи и не только исследователи пытаются обсуждать, пытаются как-то дать на них ответ.

Принципиальный вопрос, мне кажется, в том, может ли, я не побоюсь этого слова, вообще, вот эта вот новая технологическая норма – эффективный, быстрый и управляемый результат, – может ли она быть новой нормой медицины будущего? Кому такая медицина будет помогать и в чем?

К примеру, что происходит на встрече врача и пациента в «умной медицине», то есть в процессе медицинской консультации. Если вместо традиционной медицинской консультации предлагаются цифровые услуги direct-to-patient, которые не зависят ни от времени суток, ни от географии, не определяются привычными нормами коммуникации, скажем, и языком, конечно же, плюсов много. Но вопрос в том, что мы не до конца понимаем, кто такой подключенный пациент и к чему он подключен? К управлению своим здоровьем?

Я хотела бы привести еще одно уже очень известное высказывание французского хирурга Рене Лериша: «Здоровье – это такая жизнь, когда органы молчат. Здоров тот человек, который не задумывается о своих ощущениях, который практически не чувствует своего тела и не видит в нем источника своих проблем».

Очень схожим образом в свое время высказался Ганс-Георг Гадамер, писавший о невидимости здоровья. По его мнению, здоровье – это не то, вокруг чего вращается вся наша жизнь. Оно не находится в центре. Оно, скорее, является всегда ее незаметным фоном. Здоровье – это значит не чувствовать себя, а быть и жить в мире, жить с людьми.

Продолжая эту традицию, шведский ученый Фредерик [нрзб, 00:28:46] говорит о том, что здоровье – это своего рода уютное бытие в мире, а болезнь – неуютность, потеря своего привычного и понятного или обжитого места в мире. Согласно автору, процесс лечения, или управления возвращением утраченного здоровья, и должен пониматься как возвращение в уютное существование в мире. Это своего рода поиск и обживание нового места в мире.

Как же можно управлять своим здоровьем в «умной медицине»? Ведь здоровье перестает быть состоянием, которое человек проживает невидимо. Здоровье становится непрерывным процессом, имеющим как минимум два аспекта. Это непрерывный контроль и теоретически бесконечное улучшение или оптимизация. Так понимаемое здоровье не ограничивается молчанием органов или уютным существованием в мире. Здоровье становится процессом, который можно и нужно улучшать. Поскольку в такой логике нет такого показателя, который невозможно было бы улучшить.

Существует ли норма улучшения здоровья? И каким образом может определяться эта граница между нормой и патологией улучшения здоровья? Что стоит по ту сторону этой границы: общество здоровья или все-таки человек-изделие? На этом у меня всё. Благодарю вас.

Зубарев К.: Спасибо, Наталья. Можно все-таки еще раз в четырех тезисах зафиксировать основные моменты?

Синюкова Н.: Ты хочешь услышать небольшое summary? Да, конечно. Я, прежде всего, хотела во введении отметить то, что мы много всего обсуждаем, а в больницах пока… Ну, я не врач, конечно, я пациент, скажем так, пациент и исследователь. Но, несмотря на все технологии, несмотря на все новые возможности медицины, люди продолжают умирать и страдать. И делают это они в больнице, не у себя дома. Это принципиально важно, на мой взгляд. И в этой связи, конечно, думать о том, что такие проблемы будут улучшены только за счет лишь того, что медицина станет более «умной», «искусственно интеллектуальной», надо, конечно, всегда задумываться об обратной стороне процесса и, прежде всего, думать о пациентах. Пациент, попадая в больницу, он всё, он как бы не принадлежит себе и так уже. Его оттуда даже уже не выпускают. Понимаете?

Значит, еще один момент. Мы в основном, конечно, говорим о безопасности. То есть пытаемся как-то проранжировать: безопасный искусственный интеллект, опасный искусственный интеллект. А, так или иначе, суть-то, кроме того, заключается и в том, вообще, сохранит ли врач и пациент за собой возможность управления этим процессом. Ну, что еще сказать? Я много всего наговорила.

Зубарев К.: Я говорил про то, чтобы Вы не добавляли тезисы, а чтобы Вы, ну, как бы резюмировали. Звук идет, меня слышно, коллеги? Может быть, кто-то готов задать вопрос?

Заворин А.: Плохо, что нас плохо слышно. Давайте я немножко парирую, немножко выступлю оппонентом тому, что Вы говорили. Меня зовут Андрей Заворин. Я занимаюсь разработкой решений по искусственному интеллекту, в том числе, в медицине. Сегодня произошло событие…

Синюкова Н.: Секундочку, можно попросить вас? Вот если вы, мне кажется, будете говорить чуть-чуть помедленнее, то это эхо нам не так будет искажать Вашу речь.

Заворин А.: Давайте. Медленнее. Хорошо. Сегодня прошло совещание у мэра Локтя по «умным остановкам». Мы занимаемся разработкой одного проекта, называется «цифровая остановка с интеллектуальными терминалами и вышкой сотовой связи». Может быть, вы слышали о нем. И первый вопрос, который задал мэр (это было два часа назад), он спросил: «Зачем мы занимаемся «умными остановками», если у нас мусор в городе?». После 30-минутной дискуссии было принято решение: в течение двух недель изменить регламенты уборки улиц города. Потому что уровень технологический современных объектов не соответствует регламенту 2007 года. И этому есть пример. Сегодня многие технологии играют роль паровоза. И чем паровоз сильнее едет, тем вагоны, то есть офлайновые процессы, отстающие процессы, тем больше они развиваются и прогрессируют. И отрицать это невозможно, а это факт, подтверждённый во многих отраслях. И такие решения сегодня цифровые с точки зрения AI, они подтягивают, в том числе, уровень цифровой грамотности врачей, уровень обслуживающего персонала и, в том числе, инфраструктуру. Самое простое: компьютеры в школах обновили тогда, когда появилась в этом потребность, а не какое-то решение Минобра, то есть когда они стали необходимы, для того чтобы учебный процесс был эффективным. Не слышно ничего. Да? Давайте я свои тезисы продолжу. Главный ведь докладчик один. Я постараюсь…

Второй вопрос. Рекомендательные системы, о которых вы упомянули. Все рекомендательные системы основаны на датасетах предыдущего опыта. А это означает, что они содержат все ошибки предыдущего опыта. Большинство инноваций происходит через отрицание предыдущего опыта. И [нрзб, 00:47:00] – это сильное ограничение технологическому современному развитию нейронных сетей и высокотехнологичных решений. Потому что в них пока ограничением являемся мы сами.

Еще один тезис. Вы упомянули о том, что в больницах бардак и неустроенность. На самом деле, я согласен, пирамида Маслоу, она работает. То есть пока не будут удовлетворены примитивные потребности людей, говорить о высокоуровневых не приходится. Но значительное количество высоких технологий, сегодня они как раз вот эту проблему решают. И многие из них направлены на удовлетворение самых простых потребностей населения. Например, телемедицина является самым главным фактором доступности медицины для людей из стран Африки. То есть другого решения по доступности медицинского обслуживания в этих странах просто нет. И можно много примеров аналогичных перечислять.

И еще одно замечание. Окно Овертона существует, его никто не отменял. И отношение населения к тому, что мы обсуждаем, ровно такое, какое оно формируется, в том числе, внешней средой. И если целенаправленно не заниматься цифровой грамотностью населения, не заниматься целенаправленной пропагандой, то это не изменится само. Потому что [нрзб, 00:49:10] существовал и существует как форма мышления уже много сотен лет. И это нужно понимать.

Ну, и последнее. Мы очень много дискутируем в понятии дихотомии: хорошо – плохо, правильно – неправильно, добро – зло, польза – не польза. На самом деле, вы знаете, что мир не таков. И бесполезно, на мой взгляд, вообще обсуждение этической составляющей искусственного интеллекта. Оно бессмысленно. Полезно – это в смысле эффективно. Это неэффективно. На самом деле, главной проблемой является отсутствие нормативного регулирования в этой части. Потому что никто из нас не обсуждает, насколько этично переходить дорогу на красный свет. Для этого существует регулятивная норма, запрещающая, регулирующая это. И вот создание регулятивных механизмов – вот это цель. Не этические обсуждения, а построение законов, выстраивание нового порядка, нормативного регулирования. Вот в этом месте расшивается проблема этики. Спасибо.

Пестунов А.: Маленький вопрос. Я хотел уточнить. Вы говорите, что «никто из нас не обсуждает, насколько этично переходить дорогу на красный свет». Однако здесь, как мне кажется, есть что обсудить. Например, в контексте штрафов за переход на красный свет или штрафам за превышение скорости. Если человек готов заплатить эту сумму [штраф] за то, чтобы превысить скорость, и он к этому относится не как к нарушению, а как просто к привилегии, за которую он готов платить. Вопрос: «Как это трактовать с этической точки зрения: получается, что чем у человека больше денег, тем с большей скоростью он может ехать? или же штраф для него должен быть вторичен, а первичен этический аспект факта нарушения».

Заворин А.: Плата за нарушение имеет свой размер. И нормативно мы сами устанавливаем цену. Если у нас плата за нарушение составляет одну тысячу рублей, то она доступна многим, и многие ее игнорируют. Потому что цена низка за нарушение. И если, например, существует план и штрафы в зоне Евросоюза, например, по законодательству о персональных данных в один миллион долларов за каждый случай нарушения, то компании, которые нарушают персональные данные, например, при исследовании рынка или при разработке свои технологий, они 500 раз подумают, и они никогда не допустят этих нарушений, максимально приложат силы к тому, чтобы этого не допустить. Но это не вопрос этики. Это вопрос: как мы считаем, насколько важным является то или иное действие и его последствия.

И еще один момент, такой, не очень приятный, тоже этический. Вот идет война. И сколько, мы считаем, должно быть погибших. Вот наш же Минздрав обсуждает не о том, что не должны умирать люди после ковида. Оно обсуждает, что смертность после ковида должна быть, например, в два раза ниже. Это этично или нет? Но это же эффективно. Потому что дискуссия по поводу того, в два или в три, она не эффективна – она этична. А с точки зрения регулятора, эффективность работы тех или иных технологий, бета-систем, она немножко другими механизмами регулируется и измеряется. Это мое мнение, и я ни на чем не настаиваю.

Сидорова Т.: На мой взгляд, отвергая необходимость этических дебатов, Вы противоречите тому, о чем Вы говорите. На самом деле, этические дебаты завершаются принятием нормы какой-нибудь. Потому что в этих дебатах как раз и определяется та самая норма: что, вообще, на сегодняшний момент, какими возможностями мы располагаем применительно в данному случае к лечению пациента. Мы это определяем как норму, то есть мы принимаем в качестве нормы. Вот, собственно говоря, для чего нужны этические дебаты. Те правила, которые вы оцениваете как необходимые для регулирования. Да? Правильно я понимаю, что здесь идет речь о существовании подобных правил? Они ведь и являются как раз результатом того, что вот эти дебаты продолжаются. И как раз в странах Евросоюза всегда, если речь идет, например, о регулировании применения медицинских технологий, существует такая Конвенция о правах человека 1997 года, которая была подписана. Вот там есть специальные рекомендации, что необходимо как раз, в том числе, наладить систематическое обсуждение вот этих новых этических проблем, которые возникают в связи с появлением новых технологий. Благодаря этому, собственно говоря, и появляются правила. Хотя огромный зазор между теми нормами и между теми мнениями, которые, на самом деле, в обществе складываются в отношении того, что морально допустимо.

Вот мы на прошлом обсуждении касались вот этой проблемы: что для нас морально допустимо в отношении использования данных? Мы этого еще не знаем. То есть мы должны услышать это мнение. И это мнение, оно не выражается даже экспертами. Но, тем не менее, они могут быть по-разному представлены, обоснованы и аргументированы. Тогда вот самые разнонаправленные мнения могут быть и в самом обществе. И как найти нам то, что мы считаем нормальным, мы, наверное, не придем к пониманию нормы без подобных дискуссий. Поэтому, я думаю, что обсуждать как раз вот эти этические проблемы, этическая дискуссия как раз необходима. Тогда как вы говорите о необходимости регулирования и необходимости [нрзб, 00:57:11]. Спасибо.

Заворин А.: [нрзб, 00:57:28].

Сидорова Т.: [нрзб, 00:57:37] это естественно. Этот аргумент по поводу того, что есть нечто фактическое и должное. И то, что должное, не претендует на истину. Действительно, мнений же может быть много. И среди этих мнений найти вот надо результирующее, которое нам позволит сказать о том, что есть нормально. Ведь та норма, которая [нрзб, 00:58:06] в обществе будет принята как моральная норма. То есть то, что я принимаю, и то, с чем я соглашусь. А от этого зависит как раз эффективность применения этих технологий, как они будут продвигаться, в конце концов, в обществе. И я думаю, что как раз разработчики заинтересованы в том, чтобы принимать участие в этических дебатах, для того чтобы эффективно продвигать свои решения.

Заворин А.: [нрзб, 00:58:40] Есть комитет, который создан при Государственной Думе, который [нрзб, 00:58:49]. Одним из требований [нрзб, 00:58:55] экспертных консультаций, а не дебаты на 49-м канале на тему того, можно ли с остановками [нрзб, 00:59:05]. То есть я разделяю просто ту дискуссию, которая сейчас. Потому что она носит характер нашего взаимного развития. То есть мы делимся опытом, и это крайне полезно. Я говорил об общественной дискуссии, о том, как социум всеобще воспринимает. Тут возникает порог некомпетентности, они не могут судить об этом. И вот здесь ключевым расшивающим корневую проблему является [нрзб, 00:59:43]. Вот цифровая пропаганда, объяснить бабушке, зачем ей вот эта «цифровая остановка», зачем ей вот этот аппарат, с которым ей нужно куда-то что-то воткнуть. Или вакцинация. Почему 5G не переносит коронавирусную инфекцию. Это же надо объяснять. Они же думают по-другому: что через сети 5G происходит распространение ковида. То есть я вот об этом. Это неэффективно. Поэтому донесение на уровне [нрзб, 01:00:18], оно неэффективно. На данном этапе надо немножко по-другому ситуацию развернуть. И последнее еще можно? Я просто сам занимался [нрзб, 01:00:37] закона в Государственной Думе [нрзб, 01:00:42] и что там работает, а что – нет. Это вступает в противоречие с обсуждением где-то там в дискуссии, в том числе, на научных конференциях. [нрзб, 01:00:59]

Сидорова Т.: То есть, смотрите, опять же, а я хочу ваше внимание обратить на то, что кгда вы говорите о норме, имеете в виду норму этического плана. Да? Тогда как, смотрите, есть этические кодексы, а есть еще и моральные нормы. Вот этические нормы – это то, что как бы очень близко уже, но не является таковой, то есть это [нрзб, 01:01:37]. Вот у врачей, у них есть медицинская этика, которая как раз прописана в этих самых кодексах этических, и они должны ориентироваться на них. То есть это, так сказать, правила чести. И одновременно, помните, на прошлом заседании я говорила о 13-й статье в 323-м законе, которая закрепляет обязанность соблюдать врачебную тайну. Почему вдруг появляется законодательно закрепленная норма? Потому что не срабатывает уровень этической или моральной регуляции. Почему не срабатывает? А вот потому, что современные процессы в медицине, они настолько сложны. В том числе, Наталья несколько раз делала акцент на негативных проявлениях. И мы их не можем игнорировать.

Заворин А.: [нрзб, 01:02:35] На самом деле, когда я открываю [нрзб, 01:02:49], я понимаю, что я не прочитаю вот это всё, что там написано. То есть я уже даже в суть не вникаю. Я читаю тезисы: «Сбербанк» запустил новый… то-то то-то; компания [нрзб, 01:03:04] разработала [нрзб, 01:03:06]. Всё. Это чтение тезисов. И вот здесь [нрзб, 01:03:11]. Врач, которому (нет звука) .

Заворин А.: Трансформация настолько высока, что сегодня не то, что [нрзб, 01:03:35] – это революция в области законодательства. Потому что последний закон, по которому мы жили, 2001 года. Давайте-ка вспомним, кто мы были и что мы делали, какой был мир примерно хотя бы в 2001 году.

Сидорова Т.: Я тоже считаю, очень прогрессивный закон. Если о нем говорить, то спасибо тем, кто смог…

Заворин А.: Два месяца, две недели, два дня нужно на принятие закона. Тогда это эффективно.

Сидорова Т.: Я, кстати, имела отношение к изменениям в законодательстве о регулировании [нрзб, 01:04:18] и тоже видела, как там это происходит в Госдуме. Но, вообще, вот здесь ничего не меняется, кстати, несмотря на то, что у нас с помощью [нрзб, 01:04:30]. В основном говорят о Москве, что там пятеро детей, 18 детей застряли таким же образом в Красноярске, 12 детей – в Благовещенске и так далее. Но закон не меняется. Знаете, почему? Потому что это очень мощное лобби клиник, которые заинтересованы в том, что… Ну, то есть как они принимаются, эти законы. Но спасибо людям, которые все-таки добиваются своего.

Наумов Ю.: Мы говорим об искусственном интеллекте и технологии в медицине. Это другой, два вопроса. Мы говорим с вами в рамках Российской Федерации или в рамках всего человечества.

Сидорова Т.: Человечества, конечно же.

Наумов Ю.: Ну, тогда надо так относиться к таким аспектам, что каждая страна [нрзб, 01:05:34]. То есть мы должны говорить либо о медицине, либо о здоровье, которое называется, скажем, public health. Медицина [нрзб, 01:05:58] для достижения (пропал звук) .

Синюкова Н.: К сожалению, мы, по сути, пропустили все основные моменты, которые вы обсуждали сейчас. Но то, что фоном вот я услышала, особенно то, что касается вопросов так называемой организационной этики, на Западе это вот направление имеет отдельное исследовательское направление. Это организационная этика, регулирующая, собственно говоря, процесс внедрения той или иной новой технологии не только, конечно же, в медицину. И в этом смысле, если я правильно поняла, вы обсуждали то, насколько разработчики должны участвовать, вообще, быть включены в этические дискуссии относительно внедрения искусственного интеллекта. Правильно?

Сидорова Т.: Н аталья, мы дискутировали по поводу необходимости этических дебатов. Лично я высказывалась за то, что этические дебаты имеют смысл, и они являются как раз вот той почвой, с помощью которой общество определяет, что является нормой.

Синюкова Н.: Можно одну минутку? Ну, это, конечно, я с вами, Татьяна Александровна, совершенно, полностью согласна. Другое дело, чтобы этот процесс, всё это обсуждение не перешло в очередную коммерцию. Как это происходит на Западе. Как это происходит в западных больницах, в которых проблема справедливости процесса лечения, то есть допустимости применения конкретных технологий в конкретном случае пациента в большей степени решается за счет так называемой вот этой вот: повышения чувствительности к этическим вопросам, обсуждение этических вопросов. Но, по сути дела, во многих случаях обсуждается не человек и не этичное и правильное, должное отношение к нему, а обсуждается процесс зарабатывания денег. Так или иначе.

Зубарев К.: Спасибо. Продолжаем? Я просто думаю, есть кому-то еще сказать. Давайте одну реплику, и мы тогда перейдем к следующему докладчику и продолжим. Представьтесь, пожалуйста.

Кайгородов П.: Павел Кайгородов, НГУЭУ. Я снова возвращаюсь к зацепившей всех реплике. Понимаете, в чем штука? «Народ не поймет» – это проблема, я не спорю. Но я, впрочем, отнюдь не уверен, что юриспруденция проще, чем этика. Потому что, превознося эффективность, вы тем самым становитесь на позицию этики утилитаризма, где благо большинства и оптимальность – это и есть благо. И в этом смысле невозможно не рассуждать в категориях этики какой-то. И отказ от восприятия чего-то как этической проблемы – это тоже этическая позиция в этом отношении. Поэтому, боюсь, мы здесь себя загнали в небольшую ловушку в этом смысле.

Заворин А.: Ну, я все-таки уточню. Коллеги, мой первый тезис был о том, что высокие технологии являются убегающей отраслью, а офлайновые и вот эти процессы, о которых мы говорим, проблемные зоны, которые остались у нас, они являются догоняющей. Но это сильно стимулирует. Я привел пример мэра, который на остановке принял регламент новый по уборке улиц. Его бы никогда не приняли, если бы не было новой сущности, то есть некоего нового стимула.

Второе. Я не сказал, что этика не нужна. От вас, Наталья, прозвучал просто тезис о том, хорошо ли/плохо, эффективно/неэффективно. Я уточнил свою позицию. С моей точки зрения, сегодня у нас существует не дефицит этических дебатов и уточнения этических норм. У нас существует огромная проблема между скоростью законодательного регулирования и технологического прогресса. То есть отставание законодательных императивных норм катастрофически растет. И в этом отношении мы уже работаем, сев просто в песочницу. То есть многие технологии невозможно просто использовать. Ну, например, если вы не знаете, в 1997 году (вы вдумайтесь только) была изобретена летающая машина, которая могла пролетать 300 километров. Вопрос: почему до сих пор машины не летают? Вот это разрыв регулятора. Монополи на воздух у государства, а также его неспособность регулировать воздушное пространство в связи с тем, что машины поднимутся в воздух, является сдерживающим. И до сих пор в этой отрасли нет прогресса. И так можно бесконечно много разговаривать по аналогичным вещам. Поэтому я уточнил, что сегодня было бы наиболее эффективным минимизировать этические дебаты по поводу того, кого должна сбить машина Tesla: ребенка или старика. Это хорошая история. Но, в конечном счете, будет установлена норма, кого она будет сбивать. Потому что эта ситуация, она дихотомична (или… или…). Или машин не будет таких.

Зубарев К.: Ну, нормы устанавливаются же все равно в результате какой-то дискуссии.

Заворин А.: Дискуссии все вырастают в итоге, должны вырастать, в принятие реальных решений. Вот сегодня законодательство, которое принято, в 2019 году президент дал поручение разработать закон о регулировании искусственного интеллекта. У нас июль 2021 года, прошло два года. За два года был разработан один законодательный акт. Он важный, базовый. Но скорость представьте. А потребность в нем возникла задолго до того, как президент дал это поручение. И вот эти процессы сегодня являются критически уязвимыми, для того чтобы IT-технологии перешли от вымыслов наших к реальной практике, когда африканское племя [нрзб, 01:13:32] получит наконец-то телемедицинский сервис и сможет лечить свои болезни и решать свои проблемы.

Синюкова Н.: А они болеют там чем-нибудь, можно задать вопрос? Есть ли такая потребность?

Зубарев К.: Я бы просто, Наталья, не переходил бы сейчас к реплике Андрея. Я бы сейчас, наоборот, перешел бы как раз вот, если, может быть, коллеги из «СберМед ИИ» имеют доступ к этой информации. Может быть, они что-то скажут. Александр Костин, пожалуйста.

Костин А.: Мой доклад, собственно говоря, пересекается со всем, что было уже сегодня сказано. Скорость развития в медицине таких технологий, как искусственный интеллект и прогнозная аналитика, они напрямую зависят от доступности качественных больших данных, получение которых невозможно без доверия пациента. Проблема доверия в медицине возникает и при использовании цифровых продуктов на базе искусственного интеллекта, которые всё сильнее влияют на постановку диагноза, принятие врачебных решений или выполнение медицинских манипуляций.

Алгоритмы, которые используются для диагностики заболеваний часто обучены на датасетах, где недостаточно представлены данные о некоторых категориях пациентов. Доказать, что медицинская технология достойна доверия, – это задача ее разработчика. Один из сильных аргументов – наличие государственного разрешения и использование технологий. Чтобы его получить, производитель цифровых продуктов должен создать у себя систему менеджмента качества, пройти сложные процедуры независимых технических и клинических испытаний и экспертизу.

В последние годы в России стал активно обсуждаться ряд этических проблем, связанных с цифровым здравоохранением, особенно в том, что касается использования систем на основе искусственного интеллекта. В частности, введены критерии отнесения программного обеспечения к программным медицинским изделиям в соответствии с методическими рекомендациями международного форума регуляторов медицинских изделий определены классы потенциального риска применения этих вот программных медицинских изделий, в том числе, созданных с использованием искусственного интеллекта.

Кратко расскажу о нашей компании. То есть компания «СберМед ИИ» создана в 2020 году как экосистемный интегратор передовых решений с использованием технологии искусственного интеллекта для медицины. «СберМед ИИ» объединил в себе разработки лаборатории искусственного интеллекта «Сбера», проекта «КБН Аналитика» Национальные технологические инициативы Сколковского института науки и технологий для дальнейшего внедрения инновационных технологий в систему здравоохранения в России. Платформа решений содержит библиотеку приложений и датасетов, которая является одной из крупнейших в России.

Коротко расскажу о тех продуктах, которые у нас в данный момент есть с применением искусственного интеллекта. Первый продукт – это топ-3, это цифровой сервис «Умный помощник врача», разработанный «Сбером» и Правительством Москвы. Он стал одним из пяти компаний-чемпионов в номинации «Электронное здоровье» престижного международного конкурса WSIS Prises 2021 , проводимого под эгидой ООН. С октября 2020 года данный помощник внедрен в рамках развития системы поддержки и принятия врачебных решений во всех взрослых поликлиниках Москвы. То есть смысл данного продукта в том, что по комплексу симптомов программа предлагает три наиболее вероятных диагноза при данном обращении.

Следующий продукт – это «КТ Инсульт», диагностика инсульта по неконтрастным компьютерным томографическим снимкам. Модель определяет тип и локализацию зоны инсульта по неконтрастной компьютерной томографии головы.

Следующий продукт – это маммография. Автоматическая классификация маммографических исследований с определением группы BI с возможностью автоматического выделения подозрительных очагов.

Затем «КТ легких», модель анализа компьютерных томограмм при диагностике пневмоний, в том числе, с признаками COVID-19.

Следующий продукт – рентгенография органов грудной клетки – предназначен для анализа рентгенографических изображений органов в прямой проекции и последующего формирования заключения в условиях облачной инфраструктуры.

Затем еще продукт «Анализ высыпаний на коже». Предложение предназначено для обработки фотографий участков кожи с целью распознавания семи возможных типов заболевания кожи, включая меланому, базалиому, меланоцитарный невус и актинический себорейный кератоз, сосудистые высыпания, дерматофибромы и другие высыпания.

И еще один продукт: акустическая диагностика COVID-19 по записи кашля, дыхания и голоса. То есть на основании вот этих трех вещей программа вам с большой долей вероятности скажет, есть ли заболевание органов дыхательной системы или нет. По последним двум приложениям – вы их можете найти, скачать себе на телефон и попробовать их протестировать.

Следующий продукт – «Функциональное МРТ покоя. Предоперационное картирование речевой, моторной и зрительной зоны коры головного мозга».

Затем продукт есть «Детектирование фокальных разрядов на ЭЭГ». И сейчас еще разрабатывается один продукт. Это MDDC, то есть диагностический [нрзб, 01:20:24], который объединяет все наши, скажем, топовые продукты.

Резюмируя, скажу, что развитие искусственного интеллекта в медицине невозможно, как мы уже обсуждали, без урегулирования вопросов доступа к данным, к созданию большого количества датасетов по различным направлениям. И открытость этих данных станет отправной точкой для кратного роста IT-решений в данной сфере. Потому что сейчас игроков в России по искусственному интеллекту в несколько раз меньше, чем в США и в Европе. Поэтому если мы будем сейчас долго рассуждать об этичности/неэтичности, мы упустим время, и появятся конкуренты за границей, которые, в любом случае… Ну, то есть говорить о том, что… На сегодняшний день мы должны понимать, что искусственный интеллект, он есть и будет. И кто станет, скажем так, первым, тут зависит от нас. То есть каким быть искусственному интеллекту – зависит от нас. Данные должны циркулировать бесшовно. То есть есть проблема передачи персональных данных. Поэтому требуется законодательное урегулирование возможности получения бесшовного согласия персональных данных.

Далее речь идет о доступе к массиву обезличенных данных. И действительно можно ожидать всплеска интереса разработчиков и врачей к созданию сервисов искусственного интеллекта, в первую очередь, в области обработки изображения и получения второго мнения медицинского.

Сейчас в России приватность медицинских данных обретает новый смысл: как строгое регулирование, а не как секретность и недоступность. Поэтому у инноваторов должно быть право на риск в регуляторных песочницах так называемых и на стабилизацию эксперимента в случае удачи. Наша компания «СберМед ИИ» как раз находится в числе первых участников данной песочницы. Спасибо за внимание. Доклад окончен.

Зубарев К.: Александр, спасибо. Вопрос все-таки, вот смотрите, Вы поднимаете вопрос, что не хватает данных. Соответственно, данные реальные, на которых можно делать определенные выводы, – это все-таки персонифицированные данные?

Костин А.: Да, всё верно.

Зубарев К.: И получается такое как бы противоречие, что мы, с одной стороны, говорим, что у нас нет времени обсуждать (и я с вами, кстати, абсолютно согласен в этом плане). С другой стороны, нам все-таки нужно обратиться к людям, которые сегодня, ну, наверное, боятся как раз вот этой опасности. То есть они не понимают, куда и как будут использоваться эти данные, которые они предоставляют. Вопрос мой такой. То есть видите ли вы это как противоречие? И, может быть, как раз решение лежит в области этой дихотомии?

Костин А.: Да, я вижу противоречие. И таких противоречий в медицине, собственно говоря, очень много. Потому что даже если взять электронную медицинскую карту, которая на сегодняшний день существует в муниципальном здравоохранении города Москвы. То есть сейчас, собственно говоря, человек, не зная, он все равно предоставляет свои медицинские данные широкому кругу медицинских работников. Тем не менее, это существует, и правовое регулирование данного вопроса, я так понимаю, на сегодняшний день существует. То есть в искусственном интеллекте будет всё то же самое. То есть, да, на сегодняшний день много противоречивых вопросов, которые вы задаете. Да, есть проблема с законодательством. Я надеюсь, что эта проблема будет со временем устранена.

Зубарев К.: Я правильно понимаю, что есть такая позиция, что, условно, не надо сейчас учитывать позицию каждого отдельного человека [01:25:00] (ну, его страхи и так далее). Нужно принять какие-то определенные нормы на государственном уровне, которые бы позволили втягивать в эти разработки персонализированные данные.

Костин А.: Ну, мое мнение: да. В любом случае, человек должен дать какое-то свое согласие либо несогласие на передачу персональных данных. А дальше уже, если он дает согласие, то это, скажем так, этот материал, эти данные должны попасть в общую базу. Если он не дает свое согласие, ну, значит, соответственно, здесь уже какие-то другие механизмы включаются.

Наумов Ю.: Александр, хотел бы вам задать вопрос. Данные, которые вы получаете, вы откуда получаете? Из страховых компаний, скажем, медицинских центров?

Костин А.: В данный момент мы данные получаем от медицинских центров напрямую. То есть у нас переговоры проводятся на уровне Министерства здравоохранения с субъектами Федерации и, соответственно, с медицинскими организациями.

Наумов Ю.: То есть плюс-минус сколько там: 15-20-120 миллионов людей на протяжении 10-15 лет? Или какой формат данных у вас? Или это продолжающиеся данные? Скажем, какие массивы данных?

Костин А.: Массивы данных. Я думаю, что несколько миллионов на сегодняшний день, если в целом мы берем.

Зубарев К.: Нет, давайте так, чтобы усугубить. Вот несколько миллионов. А сколько надо?

Наумов Ю.: Я работаю в Соединенных Штатах Америки и часто сталкиваюсь с людьми, которые занимаются общественным здравоохранением, математическим моделированием инфекционных заболеваний, всяких паразитарных заболеваний. И основной поток информации идет через страховые компании. Кто работает в медицинской области, знает, что такое ICD-код. Вы слышали, наверное.

Костин А.: Да.

Наумов Ю.: Поскольку всё американское, скажем, медицинское общественное здравоохранение пошло через страховые компании, которые обязаны покрывать медицинские услуги на каждого человека. И, таким образом, происходит, так сказать, форматирование баз данных. Я не знаю, в Российской Федерации давно не работаю. Хотя в наши журналы отправляются публикации из Российской Федерации. И к чему я веду? О том, что поскольку если не будет создана какая-то унифицированная система загрузки информации, создание системы, работающей как искусственный интеллект, вряд ли, скажем, будет переходить из одного государства, скажем, других регионов и так далее, будет, скажем, международным стандартом. Вот как вы бы решили эту проблему?

Костин А.: Ну, я подозреваю, что наша компания не компетентна в данном вопросе, чтобы решить эту проблему на государственном уровне. То есть я с вами согласен, что унификация введения информации в базу, она должна регулироваться, наверное, все-таки на государственном уровне. Я не знаю, как в США. В Российской Федерации тех данных, которые нужны нам для обработки, страховые компании их не имеют, их имеют только медицинские организации.

Наумов Ю.: Видите, вся информация, которая отправляется в страховые компании, есть unidentified. Поэтому вы не знаете, кто этот человек. Но, по крайней мере, вся клиническая информация известна вам.

Костин А.: Да. Но в России, к сожалению, такого механизма нет.

Наумов Ю.: Да. Но, видите, если мы будем говорить об искусственном интеллекте, технологии, я предполагаю, что, скажем, стартап-компании будут выходить не только, скажем, на территории Российской Федерации, пойдут в Китай, Латинскую Америку, в Европу. Для того чтобы, скажем, там привлечь внимание и пациентов, и медицинских, скажем, центров, необходимо предложить что-то очень интересное и докторам, и клиентам, пациентам.

Костин А.: Согласен с вами. Но на сегодняшний день разработка искусственного интеллекта еще на, скажем, начальных этапах. Поэтому, да. Вопросов очень много. Вопросов больше, чем ответов, к сожалению, сегодня.

Заворин А.: Александр, можно вопрос? Вы знаете о том, что в Китае принят закон о национализации датасетов и всех данных, которые собирают IT-компании в рамках разработки AI-решений. [01:30:00] Можете откомментировать свою позицию, позицию компании вашей, как вы относитесь к этому и какие прогнозы по отношению к этому в России?

Костин А.: Ну, вот, опять же, вы меня спрашиваете как представителя компании или лично мое мнение? То есть лично мое мнение, наверное, все-таки: ну, Китай – страна специфическая. Поэтому они на законодательном уровне очень просто решили таким образом сделать. Для разработчиков это, конечно, идеальный вариант. Для разработки искусственного интеллекта это просто то как раз, что говорил сейчас коллега из США (не помню, как зовут). У нас, к сожалению, наверное, пока невозможно на законодательном уровне сделать такую унификацию, чтобы все датасеты попадали в единую базу.

Зубарев К.: Ну, а, вообще, такая инициатива возможна? Ну, собственно говоря, как я Юрия услышал, что существует проблема. Ну, то есть, вернее, как? Для того чтобы данные могли быть, ну, как бы их было этично использовать, то они должны пройти процедуру деперсонализации.

Костин А.: Да.

Зубарев К.: Соответственно, тут либо компания, если это коммерческая структура, она должна показать этот действенный механизм, подписать какие-то протоколы, свою ответственность за то, что она клятвенно обещает эту процедуру соблюдать. Либо это подпадает какой-то государственный протокол, где разрабатываются стандарты этой деперсонализации, про что говорит Андрей. И, соответственно, тогда люди как бы легче или медицинские учреждения, любые организации, которые такого рода данные генерируют, могут их как бы предоставлять, не боясь, что, соответственно, их обвинят люди в том, что они оперируют неправильно персонифицированными данными.

Заворин А.: Ну, инициатива такая быть может, возможна. Почему нет?

Сидорова Т.: Разработчики жаждут альтруизма от носителей данных. Но, мне кажется, всё дело испортит коммерческая конкуренция. Потому что вот не напрасно был поставлен вопрос все-таки о некой унификации. Поскольку, знаете, в медицине есть международная классификация болезней. Международная классификация. То есть врачи всегда стремились к тому, чтобы разные симптомы понимать одинаково. И, соответственно, формировались нозологии, нозологические списки болезней, которые помогали как раз, где бы человек ни находился, все-таки применять какие-то, ну, пусть они там стандартизированные будут решения. Но, тем не менее, эти решения клинически оправданы и подтверждены с помощью каких-то испытаний. Вот когда будут применяться данные разными компаниями, которые будут продвигать свои продукты, как человек, который является носителем данных и который готов предоставлять эти данные, который готов расстаться со своим правом распоряжаться в дальнейшем этими данными, как он может быть уверен в том, что эти данные будут эффективно использоваться, а не в целях продвижения каких-то конкретных продуктов, в которых заинтересованы только конкретные компании. А может быть, другие продукты будут лучше для самого этого пациента.

Заворин А.: Я скажу коротко. Данные – это великое благо. И вот в том, что делают китайцы, блага многократно больше, чем угроз. Это первое. Open source рулит. То есть всё, что сегодня создается великого с точки зрения IT, AI, оно требует как раз этих больших данных. И я бы сравнил это с правом на нефть. Вот у кого сейчас право на нефть: у вас как у владельца земельного участка или у государства, которое владеет недрами? То есть произошла национализация недр. С точки зрения информационной. [01:35:00] Это второй тезис. Третье, правильно совершенно Юрий заметил, у нас отсутствует еще такая штука, она тоже, это такой вызов, с которым мы столкнулись, – процедура очищения, деперсонализация данных. Чем более развитые сегодня экосистемы есть, ну, например, в США, где работает очень жесткий GDRP, то есть там вот эта система деперсонализации данных, прежде чем они куда-то, вообще, передаются, она носит регулятивный характер. То есть невозможно их передать, пока ты не сделал вот такого действия. А в странах типа Мозамбика это в принципе невозможно. Потому что у них понятия даже нет о том, как это работает. И с этой точки зрения если мы говорим о централизации и централизованной деперсонализации данных, то это является целью. Не лозунг о том, что это надо делать, не требование, что мы вас накажем за это, а создание каких-то инфраструктурных решений, правовых механизмов высокоуровневых, которые это обеспечат.

Зубарев К.: Спасибо, Андрей. Юрий Аникин хотел сказать.

Аникин Ю.: Коллеги, добрый день! Александру спасибо за участие. Важно, мне кажется, представителя разработчика такого уровня в дискуссии иметь и, в том числе, собирать эти вопросы на себя. Понятно, что вопросы не к конкретным разработчикам, конкретной компании, но позиция все-таки, мне кажется, недостаточно сильная, что ли. Потому что главной угрозой, которую разработчики обозначают: если народ не сделается сознательным и не отдаст все данные о своем здоровье, то мы проиграем рынок. И причем рынок проиграют конкретные компании, но точно не государство и не государственная система здравоохранения. При этом польза системы здравоохранения, по крайней мере, не озвучивается. А в чем именно будет массовая польза пациенту, насколько здоровье его улучшится? Не обслуживание (вот я здесь обращаю внимание), а его здоровье насколько улучшится. Спасибо.

Зубарев К.: Спасибо, Юрий. Коллеги, есть еще реплики?

Заворин А.: Давайте я отвечу на этот вопрос. Я сейчас вот в компании «Боткин.AI». Если в курсе немножко, то они занимаются созданием решений для рентгенологии, для расшифровки как раз снимков и так далее. То есть они помогают центрам УЗИ и томографии автоматизировать задачи. И вот как решается эта проблема? Наш «узист» в России сегодня зарабатывает 900 долларов, 1000 долларов. Ну, это зарплата «узиста». Когда он приезжает в Польшу (это как бы еще не пуп земли, но это еврозона), его зарплата становится 2000 евро. Когда он переезжает из Польши 200 километров до Берлина, его зарплата возрастает до 3500 евро. А в чем проблема, знаете? А в Берлине просто «узистов» нет. От слова «совсем». И с точки зрения медицины там сегодня получить услугу томографии дико дорого, очень дорого. Помимо того, что вот у нас она просто недоступна, то есть там очереди. А там вот эта доступность еще имеет цену примерно пятикратную по отношению к той, которую мы платим. И если говорить о параметре, например, для медицины – это доступность медицины, то простое решение Botkin'а, оно, на самом деле, очень сильно продвигает вот эту метрику, этот параметр.

Наумов Ю.: Я хотел сделать комментарий по поводу УЗИ. В США медики обязаны качественно выполнять УЗИ у кровати больного, а иначе он не получить лицензию работать. Поэтому такая узкая специализация является, ну, неэффективной для медицинской деятельности. Предполагается, если больной подходит к доктору, то он должен сделать всё, что необходимо для качественной и точной диагностики, за что они и получают деньги.

Заворин А.: Вы правы. Я уточню, что делает Botkin. Они снижают приемы врача где-то, условно, с 35 минут до 10 минут. То есть врач фактически автоматизирует значительное количество процессов, и эффективность использования одного врача возрастает в 2,5 раза. [01:40:00]

Зубарев К.: Спасибо. Есть еще у кого-нибудь реплики? Я бы тогда перешел к следующему докладчику. Иван Владиславович, вы с нами?

Толмачев И.: Да. Добрый день!

Зубарев К.: Я бы вам дал слово. Толмачев Иван Владиславович, руководитель Целевой поисковой лаборатории медико-инженерных технологий Фонда перспективных исследований совместно с Новосибирским государственным медицинским университетом.

Толмачев И.: Уважаемые коллеги, спасибо за приглашение. Скажите, пожалуйста, вы презентацию видите?

Зубарев К.: Да, мы видим презентацию и слышим хорошо.

Толмачев И.: Хотел бы, собственно, рассказать про технологии искусственного интеллекта, перспективы и вызовы, с которыми сталкиваются в медицине. Ну, собственно, представленный доклад сделан на основе аналитики, которую проводила наша лаборатория. Ну, и, собственно, хотел бы перейти непосредственно к изложению.

Вообще говоря, мы живем в мире капитализма. Поэтому одним из основных критериев оценки эффективности сейчас является финансовый критерий. Вот хорошо это или плохо – это вопрос дискуссии. Но, к сожалению, по-моему, к моему сожалению, так это есть. И, соответственно, большая часть технологий оценивается с точки зрения эффективности их рыночного применения. То же самое начинает касаться и технологий искусственного интеллекта и в целом цифровых технологий для здравоохранения. Как мы можем заметить, есть существенный рост, я бы даже сказал, взрывной экспоненциальный рост этих технологий. И весь мир идет по этому направлению. И, скажем так, отказаться от этого становится уже невозможно. То есть если мы сейчас не работаем в этой области, мы окажемся в условиях догоняющих, как это было со многими технологическими решениями, для которых наблюдался взрывной рост в ХХ веке.

Если говорить о системах искусственного интеллекта и возможности их применения в медицине, следует разделить два направления. Во-первых, это вопрос клиники, то есть конкретные вещи, касающиеся довольно конкретного пациента. За это направление, соответственно, отвечают системы поддержки принятия врачебных решений. И второй момент – это системы искусственного интеллекта, которые применимы в здравоохранении, то есть которые существуют для оптимизации, улучшения бизнес-процессов, ну, либо формирования каких-то новых бизнес-процессов на основе указанных решений. Ну, и, соответственно, свой доклад я хотел бы разбить поэтому на две части. Первая касается как раз систем поддержки принятия врачебных решений. Это то, что касается конкретных клинических задач, и то, что касается определения состояния здоровья человека.

Если мы посмотрим на разновидности систем искусственного интеллекта, которые были применимы в медицине, они исторически возникали следующим образом. Первые были экспертные системы. Потом развивались системы по типу BIOS, то есть вероятностной модели. Ну, и, собственно, последнее время наиболее актуальными являются методы (в кавычках назовем) «статистического моделирования», которые, собственно, преобразовались в современный подход нейросетевой, который также является новым. Но за счет разработки алгоритма распространения ошибки, собственно, с 2008 года они начали применяться более активно.

В чем, собственно, проблемы существующих подходов? Чем не устроили классические экспертные системы? Экспертные системы, они очень сильно ограничены по точности. Проще говоря, они ориентированы на понятие средней статистики. То есть с точки зрения доказательной медицины, экспертная система будет работать. Она будет давать статистически достоверный значимый результат, она будет оказывать поддержку принятия решений адекватно, но примерно для 70% случаев. То есть та самая первая сигма статистики, в которую укладывается нормальное распределение. И, соответственно, это же является ограничением для экспертных систем. Если говорить о существующих клинических рекомендациях, то между экспертной системой и клиническими рекомендациями можно провести прямую аналогию. По факту то, что изложено в клинрекомендациях – это и есть вариация экспертной системы, только положенной на бумагу и оформленная в виде как раз рекомендаций Минздрава. Ну, и, собственно, это один и основных регламентов, по которым действую наши врачи.

Вероятностные модели были уже следующим этапом и позволили получить новые эффекты, в том числе, повысить эффективность диагностики. Но у них есть тоже ряд ограничений, связанный с накоплением данных.

Ну, и, соответственно, современный прогнозный тренд в области систем, основанных на статистических моделях, нейросетях и так далее, главное ограничение, с ними связанное, – это как раз те самые данные, на которых они должны учиться.

Если говорить простым языком, то сколько бы данных мы по медицине ни накопили, их будет недостаточно, для того чтобы создать адекватную, гарантированно работающую модель. Всегда будет какая-то операционная характеристика, то есть 100% эффективных моделей, к сожалению, на данном этапе развития технологий получить не удается.

С чем это связано? Это связано, во-первых, со спецификой медицинских данных. То есть существует так называемая проблема интероперабельности. То есть медицинские данные обладают разными модальностями. У нас могут быть сигналы, изображения, видеофрагменты. Различные омиксные данные, метаданные, компьютерные модели. Это всё собой представляет медицинские данные. По факту мы научились хранить в структурированном виде только два типа изображений. Это медицинские изображения и текстовую информацию. Для остальных, скажем так, модальностей существуют определенные стандарты, шаблоны. Но, к сожалению, они полностью не формализованы. То есть, проще говоря, если мы говорим о медицинских изображениях формата DICOM, в принципе, за счет существования проприетарного формата их удается качественно хранить и аннотировать. То же самое касается текстовой информации за счет существования формата [нрзб, 01:45:45], соответственно. Если говорить об остальных направлениях, всё становится намного сложнее.

В связи с этим основные системы искусственного интеллекта, которые сейчас появляются и используются, они как раз больше всего и связаны либо с системами распознавания изображений, то есть это решения для задачи классификации изображений медицинских, либо это система, которая работает с текстовой информацией, симптомной, синдромной, которая занесена в электронную историю болезни. И в этой области как раз и существуют основные решения.

Вторая специфика, связанная с медицинскими данными, – это их непосредственная опасность. То есть они должны быть защищены не хуже, чем банковские данные. Почему это так? Потому что есть прямая опасность от их использования злоумышленниками. За примером далеко ходить не надо. Это было, если не ошибаюсь, года 3-4 назад. В одной из поликлиник была похищена база данных регистратуры, в которой хранилась информация о пациенте, то есть фамилия, имя, отчество, телефонный номер и дата визита. Даже не было информации о том, какого врача он посещал и, собственно, какой диагноз, какое заболевание, по какому поводу он обращался. Но злоумышленники начали проводить обзвон посетителей и, соответственно, предлагали им вступить в мошенническую схему по закупке суперэффективного препарата от тяжелого заболевания, которое у них якобы было обнаружено в процессе визита. И, скажем так, процент людей, которые «повелись» на данную мошенническую схему, был значительно больше, чем фейковые звонки сейчас, которые раздаются из банков. То есть, сами понимаете, сами по себе медицинские данные – это довольно такая вещь небезопасная с точки зрения открытого их распространения. Ну, и в связи с этим есть определенные ограничения на формирование датасетов, на их аннотацию и, собственно, на использование данных пациентов для создания новых систем поддержки принятия решений на основе искусственного интеллекта.

Кроме того, существуют еще законодательные барьеры, связанные с тем, что нет формализации, что такое система поддержки принятия врачебных решений. Под нее можно записать очень много всего одновременно, начиная от простых помощников, которые будут говорить по набору показателей больше/меньше болен человек либо здоров, ну, и заканчивая сложными системами распознавания изображений. То есть это всё будет относиться к системе поддержки принятия врачебных решений.

Единственное, что у нас есть в законодательстве в связи с СППВРами – это отнесение их к третьему классу опасности согласно классификации Росздравнадзора при регистрации программного обеспечения как медицинского изделия. Это требование, оно сформировано было пару лет назад, соответственно.

Если мы будем говорить о трендах ИИ в медицине, я не буду подробно на них останавливаться, чтобы не затягивать время, в целом идет развитие по нескольким направлениям. Это как персональная медицина, то есть персонализированный помощник, который будет помогать человеку сохранять здоровье. Это вещи, связанные с большими данными, в частности омиксные данные, по, собственно, опять же, персонализированным системам поддержки принятия решений на основе омиксов. Это различные системы планирования лечения при сложных заболеваниях, в том числе, онкологии. Это ургентная система, которая, которая будет позволять оказывать неотложную помощь, то есть когда, скажем так, квалификации человека, который оказывает помощь, недостаточно для оказания правильной помощи. То есть, в том числе, в этом направлении тоже идет определенная работа.

Если говорить о технологических барьерах, которые существуют в этой области. То есть, помимо этических барьеров, понятное дело, есть технологические. Многие из них я уже упомянул. Это проблема медицинской задачи. То есть данные медицинских исследований, помимо того, что они должны храниться в структурированном виде, они должны быть еще и правильно аннотированы и, по-хорошему, еще аргументированы, для того чтобы их было достаточно. Является нетривиальной задачей. То есть это является еще долговременной задачей, то есть самой времязатратной.

И вторая задача, которая существует проблемная, – это модель внедрения итогового решения. То есть постараюсь объяснить. Врачи изначально не очень заинтересованы впрямую пользоваться новыми технологиями. То есть они предпочитают работать по старым проверенным схемам. И их можно понять по той причине, что от них зависит здоровье пациентов. Доверить лечение какому-то алгоритму, не зная, как он действует, – это задача с несколькими звездочками. И, соответственно, отработать ту модель, которая подойдет под требования врача с точки зрения внедрения этой системы, – это отдельная задача и задача непростая.

Опять же, говорили, уже сегодня упоминали о системах, которые позволяют распознавать очаги, к примеру, на рентгеновских изображениях, на КТ-изображениях и на [нрзб, 01:50:45]. В чем проблема? Решений много в этой области. Решения распространяются, тиражируются для разных нозологий и так далее. Если врач пользуется этим решением, возникает вопрос: если случай простой, хороший врач-рентгенолог видит его, что называется, [нрзб, 01:51:02]. Если случай сложный, то он не будет доверять системе искусственного интеллекта. Соответственно, как внедрить вот эту djn модель, которая позволит распознать на изображении очаг воспаления, опухоли – чего угодно.

И как раз здесь возникает множество вопросов. Ну, первый вариант решения, который был предложен: а почему бы нам не использовать эти системы в обучении ординаторов-студентов? Следующий вопрос. Если мы учили студента с использованием этой системы, насколько хорошие его будут знания, насколько он справится, если этой системы не будет. Ну, и так далее. То есть каждый раз при появлении новой модели искусственного интеллекта возникает множество вопросов: как его эффективно внедрять в соответствии с желаниями и требованиями врача.

Какие проекты, собственно, выполнялись за последние годы? Тоже не буду подробно останавливаться. Тренды, опять же, известны. Лидерами рынков являются многие зарубежные компании, такие как IBM, Google, ну, и их дочерние компании, соответственно. То есть они выполняют некоторые проекты. Опять же, повторюсь, чаше всего они связаны с теми данными, которые уже были накоплены. То есть очень хорошо идут задачи в области медицинской визуализации, в области гистологии, цитологии и, скажем так, вещи узкоспециализированные. Допустим, это система мониторинга уровня сахара в крови у больных сахарным диабетом. Тренды 2020 года, опять же, в принципе, вкладываются в ту же самую позицию. То есть то, где были накоплены данные, там и появляются системы искусственного интеллекта.

Если говорить о российских разработках, тоже есть довольно неплохие образцы. В том числе, есть образцы, которые уже получили разрешительные документы от Росздравнадзора, к примеру, система «Вебиомед», которая представляет собой, по сути, симптомат, по набору симптомов позволяет оценить риски развития заболеваний. Есть, опять же, система, основанная на анализе медицинских изображений, в том числе, система планирования операций. То есть это делается [нрзб, 01:53:08].

В качестве экспертных систем следует указать [нрзб, 01:53:11] при поддержке Сеченовской академии, если не ошибаюсь, она выполняется. Это по факту большой справочник, который содержит в себе рекомендации для различных состояний. Ну, а также коммерческие сервисы по мониторингу здоровья. То есть это как бы больше бизнес-история, и здесь идет стыковка телемедицинских решений, ну, и, соответственно, систем поддержки принятия врачебных решений.

В качестве одного из интересных трендов, который тоже хотелось указать, собственно, в котором, в том числе, работает наша лаборатория, – это так называемые медицинские киберфизические системы. В чем их сложность? И в чем, собственно, проблемы данного подхода. То есть всё, про что я говорил, – это, прежде всего, были помощники врача, это всё были системы, которые позволяли врачу оптимизировать его, облегчать его работу, снимать с него рутинные задачи. Если мы будем говорить о медицинских киберфизических системах, то это в перспективе системы, которые смогут работать без врача. Но, скажем так, сразу оговорюсь, это в далекой очень перспективе. По факту это система, которая подражает биологическому принципу. То есть мы объединяем в единую систему объект управления, которым является наш организм, и программно-аппаратную часть. То есть, проще говоря, у нас есть диагностические системы, терапевтические системы и, соответственно, системы, которые будут позволять оптимизировать определенные процессы в теле человека.

В общей концепции врач здесь является незаменимым звеном, опять же, по той причине, что в данном случае на него складывается обязанность, вернее, задача управления системой поддержки принятия врачебных решений, ну, и управления состоянием его пациента. То есть задача систем поддержки принятия врачебных решений в данном случае – снять рутинные процессы с врача и оптимизировать процесс управления.

Опять же, это не близкий тренд. Это, скорее, далекий тренд. И, скажем так, подобные системы воспринимаются в данный момент очень критично. Потому что возникает вопрос ответственности: кто отвечает за состояние, в котором человек оказался – врач, система и так далее. Ну, опять же, я думаю, не стоит объявлять эти вещи, они и так известны. Но как далекая перспектива, возможно, такие системы появятся.

Говоря об актуальных задачах, которые существуют перед разработчиками и пользователями искусственного интеллекта:

- это, во-первых, формирование аннотированных датасетов, которые содержат медицинские данные необходимого объема;

- гармонизация законодательства для обеспечения возможности использования ИИ в медицине;

- формирование платформы для решения задач хранения и интеграции данных и разработки ИИ (по типу того, что делается за рубежом, в частности, в Китае это платформа Ali, в Америке это, соответственно, Google и IBM платформы);

- разработка отечественных мобильных платформ для размещения нейросетей с целью обработки данных в реальном времени (ну, это имеется в виду нейропроцесс принятия решения);

- разработка методологии тестирования и верификации медицинских решений на основе ИИ.

То есть вот это технические и законодательные задачи, которые требуется решить для эффективного внедрения технологий искусственного интеллекта.

Если говорить о прогнозируемом облике далеком, скажем так, которого хотелось бы достичь, то это может выглядеть так. То есть когда у нас есть цифровой аватар пациента, то есть его модель, который может отвечать на разные типы воздействий. И в зависимости от его поведения мы можем правильно подбирать профилактику, лечение и реабилитацию. Но, опять же, это, скажем так, далекая визионерская, скорее, позиция, которая, возможно, когда-нибудь у нас настанет. Это то, что касалось систем поддержки принятия врачебных решений, то, что касается клинического процесса.

Также существуют еще задачи, связанные со здравоохранением. То есть, условно, это можно назвать околомедициной. То есть когда мы пытаемся оптимизировать некоторые бизнес-процессы при помощи, опять же, технологий ИИ. Проблемы все те же самые: необходим объем накопленных данных, адекватная их аннотация и потом разработка адекватной модели для внедрения. Собственно, для здравоохранения есть решения в области маршрутизации, логистики, догоспитальной и госпитальной. Это оптимизация задач управления здравоохранением и задача цифровой эпидемиологии. То есть правильная оценка, распределение рисков эпидемий и так далее. То есть эти решения также сейчас активно начинают применяться.

В качестве интересного такого решения, тоже которое хорошо применимо в здравоохранении, – это система голосовых помощников. Тоже есть в России интересный проект. Это центр речевых технологий. Они разрабатывают систему автоматизированного ввода информации о пациенте в историю болезни. То есть, проще говоря, врач сидит не с клавиатурой и мышкой, а сидит с гарнитурой и заносит данные при помощи голоса. То есть такие решения довольно хороши, во многом облегчают работу врача и, опять же, снимают с него рутину. То есть для здравоохранения это такие помощники, просто довольно внедримые, потому что меньше барьеров связанных законодательных, и в то же время дают хорошую эффективность с точки зрения применимости.

Опять же, если говорить системах для здравоохранения и околомедицинских данных. Насколько вы можете знать, основными носителями данных сейчас о людях являются за рубежом, ну, понятно, это гигантские корпорации Google, Amazon и так далее. В Российской Федерации большое количество информации о людях держат у себя сотовые операторы. То есть те самые компании «MTC», «Билайн», «Мегафон» и так далее. Для медицинских и околомедицинских целей они эти данные не используют. Ну, и, тем более, у них эти данные являются обезличенными. Но существует в мире пример, когда подобные данные использовались для целей здравоохранения и на основе подобных решений были приняты и получены интересные результаты. Опять же, я говорю о стране Китай.

В чем принципиальная разница между нашими компаниями и китайскими? Китайские, они, по сути, подчиняются государству целиком и полностью. И, соответственно, те данные, которые у нас являются обезличенными, в Китае могут использоваться не как обезличенные. В частности, одна из причин, почему им удалось хорошо справляться с ковидом, – это как раз и было использование тех самых окомедицинских данных, которые были накоплены и генерировались операторами мобильной связи.

Так получилось, что мы во многом сейчас привязаны к нашим средствам связи, то есть к телефонам: мы их носим с собой постоянно, мы общаемся, мы через них расплачиваемся и так далее. Соответственно, использовался вопрос, связанный с распространением ковида. То есть, проще говоря, каким образом можно прерывать цепочки распространения коронавирусной инфекции? Вовремя заметить контакт заболевшего человека длительный с другим человеком. То есть с точки зрения позиционирования на карте это две точки, которые стояли рядом больше пяти минут. И, таким образом, отправляя принудительно на тесты людей, которые контактировали с заболевшими, можно вовремя прерывать цепочки распространения инфекции. Ну, собственно, по этому пути и пошел Китай. И за счет этого им удалось существенно снизить заболеваемость.

Но, как мы понимаем, здесь возникают вполне определенные весы. На одной чаше весов – наша свобода и наша, скажем так, независимость от инструмента насилия, то есть от государства, а с другой стороны – наша безопасность. Соответственно, какой толикой свободы мы должны и готовы пожертвовать ради обеспечения безопасности, в том числе, и медицинской безопасности. Вот Китай, собственно, эту этическую дилемму решает в сторону безопасности, прежде всего. У нас эта этическая дилемма решается все-таки в сторону пока что свободы.

Ну, развивая даже тот же самый вопрос, к примеру, мы объединяем данные операторов сотовых сетей с госуслугами. Что мы получаем? Мы получаем информацию о том, какой абонент вакцинировался и какой абонент имеет право расплачиваться в магазине. То есть, сами понимаете, развивать эту систему можно до бесконечности, ограничивать свободу людей при помощи технологий – тоже, и увеличить их безопасность – тоже. Но вопрос, как говорится, где здесь проходит граница и на что мы готовы ради этой самой безопасности.

Буквально на днях, 28 июня, ВОЗ озвучила шесть основных принципов этических, которые связаны с технологией искусственного интеллекта. То есть это свежий документ, буквально он был опубликован на днях. Собственно, основные принципы я визуализировал на слайде. Это защита от автономии человека, содействие благополучию и безопасности людей и общественным интересам, обеспечение прозрачности, интерпретируемости и понятности систем искусственного интеллекта, повышение ответственности и подотчетности, обеспечение инклюзивности и справедливости, а также продвижение ИИ, который будет гибким и устойчивым. То есть вот эти шесть принципов были сформулированы буквально на днях. И ВОЗ предлагает в процессе разработки, соответственно, следовать этим шести принципам. Спасибо за внимание. Я готов услышать ваши вопросы.

Зубарев К.: Спасибо, Иван. Коллеги, есть ли у кого-нибудь. Есть, да? Юрий.

Наумов Ю.: Иван, большое спасибо. Хорошая презентация. У меня к вам вопрос. Ваше мнение, личное мнение. Вот мы говорим, допустим, об искусственном интеллекте А по большому счету, мы говорим об оптимизации алгоритмов. Ваше впечатление: это искусственный интеллект? Мое понимание интеллекта – это когда какая-то система, которая принимает решение и предлагает это решение доктору. Не доктор является decision maker , а искусственный интеллект является decision maker. Либо программист, программа принимает решение, в каком направлении вести доктора. Спасибо.

Толмачев И.: Спасибо за вопрос. Тут, видите, вопрос, на самом деле, именно более этический, чем технический. Если мы будем подходить с формальной точки зрения, то рано или поздно (скорее, рано, чем поздно) операционные характеристики, то есть качество работы искусственного интеллекта может превысить возможности человека. Но это, опять же, связано, проще говоря, с возможностью обобщения данных. Но все-таки юридическая ответственность, этическая ответственность все равно остается на человеке.

Тут, видите, опять же, хотелось бы пояснить, во многом искусственный интеллект не правильно ассоциируют с естественным интеллектом. Это то же самое, что сравнивать птицу и самолет. И тот и другой летает, но функции абсолютно разные. Соответственно, искусственный интеллект – это как самолет. Он позволит, условно, летать из одной страны в другую, но он не может садиться на ветку. То же самое с естественным интеллектом. То есть у него есть серьезные преимущества, но в области скорости принятия решений и обобщения данных он проигрывает искусственному интеллекту. Если смог ответить. Наверное, вот мое такое мнение.

Синюкова Н.: А можно тоже тогда вам задать вопрос? Меня буквально-таки очень сильно зацепило, и даже вот эта ваша картинка про анализ медицинских изображений. А в случае, например... Ну, очень часто в медицинской практике бывают такие ситуации, когда вроде бы по картинке (не важно) ПЭТ/КТ, КТ, МРТ вроде бы речь идет, например, о какой-то онкологии, а в результате оказывается, что человек, в общем-то, страдает от чего-то другого. И в этой связи вы сказали, да, что диагностика за счет искусственного интеллекта – это узкоспециализированная диагностика. И, вообще, возможен в рамках этического интеллекта быть внедрен какой-то такой подход не только анализа Big Data и так далее, а именно, что называется, целостного подхода к пациенту. И кто будет контролировать? Ну, формально, если вот посмотреть на снимок ПЭТ/КТ, допустим, там (я не знаю) реактивное увеличение лимфоузлов, и оно, допустим, светится как патологическое. А в результате оказывается, что, допустим, такую реакцию дал банальный токсоплазмоз. Причем даже в протоколе диагностики у подозреваемого заболевания не стоит необходимость проверки вот на такую банальную инфекцию. А что в случае с искусственным интеллектом, кто эти ошибки, кто будет брать на себя ответственность, как этот процесс контролировать? И, вообще, возможно ли в рамках как бы «умной» медицины, можем ли мы когда-либо поговорить о том, что этот подход «умной» медицины, он, так или иначе, будет целостным? Как вы думаете?

Толмачев И.: По-моему, если это случится, это будет далекое будущее. Потому что большая часть решений искусственного интеллекта – это то, что называется сейчас «narrow», то есть узкий целенаправленный искусственный интеллект. Сделать «global», то есть который будет дублировать человека и «super», который будет превосходить человека, – пока эта задача в данный момент технологический нерешима. Но, надеюсь, когда-нибудь.

Опять же, повторюсь, сейчас видим возможности искусственного интеллекта – это все-таки помощник рвача, который снимает с него рутинные процессы. Но пока что не больше. Следующая веха будет – это врач, который работает совместно с искусственным интеллектом. Следующая веха – уже, возможно, будет искусственный интеллект контролировать врача. А потом искусственный интеллект, который работает без врача. Наверное, в таком порядке.

Зубарев К.: Ну, я так понял Ивана Владиславовича, что они как раз видят, что это как раз система поддержки принятия решений. То есть врача они не выкидывают в той схеме, которую я увидел. То есть это ключевая фигура. И это как бы позиция сейчас. Юрий?

Аникин Ю.: Спасибо. Не очень хочется повторяться. Но, мне кажется, было бы полезно связать это с нашим первым круглым столом, где я тоже мысль говорил о том, что принятие решения – это принятие ответственности. Вот пока мы говорим «поддержка принятия решений», здесь всё хорошо, здесь вопросов не возникает, мы не меняем схему распределения ответственности. Проблема не в том, что мы врача замещаем. Проблема в том, что на кого мы ответственность кладем за принятое решение. Не на разработчика же, правильно? И не на того человека, который в итоге кнопку нажмет.

Мне показалось, что, знаете, как будет? Будет примерно, как сейчас со всеми остальными не с медицинскими данными, а с распределением ответственности при оказании услуги, скажем, перевозки. Будет оператор, типа «СберМеда». Будут провайдеры, даже не услуг, а алгоритмов. Пускай они будут narrow, пускай они будут не с сильным интеллектом, но они будут решать конкретные задачки. И будет пользователь. И пользователь после фотографии ему предложат: «Ты можешь ждать живого врача, скажем, две недели на прием, или ты можешь поставить «галочку», что ты ознакомлен с распределением ответственности по использованию алгоритма. Ну, и провайдер, естественно, защитится государственно сертификацией, как мы сейчас в предыдущем докладе тоже слышали. То есть окажется, что у провайдера нет этой ответственности. У оператора нет, потому что мы не перевозчики, мы только предоставляем информационную услугу. И ее возьмет на себя пользователь. Вот как бы и всё массовое влияние на систему здравоохранения.

Толмачев И.: Спасибо за комментарий. Наши мнения во многом совпадают.

Наумов Ю.: Иван, вы можете рассказать, какую систему поддержки для ведения больных. Например, фармакодинамика, фармакокинетика, что более интересно для практикующих врачей? Диагностика – это уже, в принципе, решенная проблема в медицине. А вот именно ведение больных, исходя из резистентности лекарств, уникального генетического бэкграунда. Как вы смотрите в этом направлении?

Толмачев И.: На самом деле, с такими системами я немного знаком. То есть вопрос, допустим, метаболизации лекарств в зависимости от генетического типа. То есть эти вещи, они, на самом деле, могут значительно улучшить, скажем так, исходы. Тут, видите, вопрос только доказательности. По факту такие системы рекомендательного типа, они становятся уже ближе к экспертным системам, но основаны на данных. То есть, проще говоря, мы выполняем такую-то рекомендацию и смотрим исход. И если он оказывается статистически существенно лучше, то, соответственно, такие технологии внедряются. Вопрос: насколько будет отсрочено получение результатов по тестированию таких систем? Тут тоже существенный подводный камень. На самом деле, хороший вопрос. Если говорить именно о системах лечения, которые основаны были не на рекомендациях, а на данных пациента, это правильный путь. Но вопрос, как говорится, когда будет подтверждение эффективности этого пути. Вот только в этом сложности.

Зубарев К.: Спасибо. Иван, а я вот внимательно читаю принципы, получается, ВОЗ, которые вы заявили, и читаю первый принцип: защита автономии человека. Правильно ли я понимаю? Ну, то есть у нас, получается, два тезиса, как вы сказали кейс Китая, когда они пошли в сторону безопасности, и второй кейс, получается, ВОЗ, который, наверное, основывался на демократических принципах каких-то и поставил во главу автономность человека.

Толмачев И.: Ну, ни для кого не секрет, что Китай особо боится, скажем так, независимости человека. И они поэтому преследуют принцип безопасности, прежде всего. Поэтому они внедряют такие решения. Ну, одна из причин, почему Китай довольно передовая страна в области искусственного интеллекта – это как раз потому что они многими этическими вопросами даже не задаются.

Зубарев К.: Ну, может быть, просто это может быть основанием как раз доказательности тех решений и подходов, которые используются. Ведь, собственно говоря, если они действительно, пошли по такому пути, то доказательная база у них как бы будет больше. Она и сейчас у них, в принципе, доказательная база больше в силу их количества. Но если они еще как бы покажут на каком-то временном промежутке, что их решения как бы были… Ну, они уже это, собственно говоря, доказывают и показывают.

Толмачев И.: Так и есть. То есть в медицине, на самом деле, основные прорывы в данный момент наблюдаются, в том числе, у китайцев. Просто они меньше публикуют их на английском языке. У них много есть, скажем так, на собственном языке публикаций в этой области.

Наумов Ю.: Иван, у меня такой комментарий. Например, в Америке, когда проводится тестирование и разработка, обычно используется разный генетический бэкграунд. Если в Китае моногенная нация, тогда, скажем, вот эти их разработки будут неэффективны для Латинской Америки, Европы, Африки.

Толмачев И.: Это в целом проблема многомерных систем, основанных на многомерной статистике. За счет того, что очень много факторов влияет на данные, они сильно привязаны и к территории, и к национальностям, и так далее. То есть это один из бичей, вообще говоря, современных систем поддержки принятия врачебных решений – проблема формирования адекватных выборок. То есть примеры неудач, как раз связанных с тем, что делались системы на одной этнической выборке, а применялись на другой, они есть. То есть это прямо известные факты применения подобных вещей.

Зубарев К.: Юрий, ты хочешь задать вопрос?

Аникин Ю.: Да. У меня коротенький вопрос. К разработчикам все-таки вопрос. Я не очень понимаю, как здесь появилась зависимость именно от данных данного государства. Если все равно все стремятся на международный рынок, то учитесь на данных других государств. Где здесь проблема?

Толмачев И.: Вопрос только: как их взять?

Зубарев К.: Как их взять, во-первых. Но я-то когда говорил про это, я говорил про подходы разные: то, что Всемирная организация здравоохранения, в принципе, заложила, и то, как повел себя Китай. Мне кажется, это разногласие, оно будет нарастать. [02:15:00] Ну, а технологическое превосходство Китая будет только наращиваться. Вот и всё.

Аникин Ю.: Почему наши компании не могут наращивать свой технологический уровень на китайских данных? Непонятно.

Зубарев К.: Могут. Если их дадут.

Толмачев И.: Никто же не даст.

Аникин Ю.: Регистрируешь компанию в Китае и делаешь бизнес. В чем проблема?

Манов Ю.: Ответ такой, что, скажем, в Соединенных Штатах Америки вы покупаете данные. Данные покупаются либо CDC, либо Medicare, которые, скажем, определенные критерии. То есть кто вы, представляете какую организацию, насколько вы серьезны. Это большой-большой этический и юридический вопрос. Поэтому, мне кажется, это большая проблема для разработчиков и для применения программного обеспечения и экспертных систем для выхода на разные, скажем, рынки.

Сидорова Т.: Да. Как мне кажется, мы все приходим к выводу о том, что вот это 4Р-медицина, то есть персонализированная медицина, которая еще, кроме того, будет поддержанной какими-то совершенными системами интеллектуальными, она, возможно, будет только в высокоразвитом, справедливом обществе. Потому что это не совместимо с рыночной конкуренцией. И, как мне кажется, я хотела вот среагировать на то, о чем говорил Иван Владиславович, персонализированная медицина, как раз от этого будет выигрывать, конечно же, пациент. Потому что те сложности, которые вы обозначили, отвечая на реплику Юрия Николаевича, вы рассуждаете в логике, опять же, разработчиков, может быть, медицинских специалистов. А вот если смотреть на это, опять же, с позиции пациента, то чем персональнее, тем для него как раз и выгоднее. И хорошо бы, чтобы пусть бесконечно малые какие-то выборки, они тоже будут обеспечены системой поддержки врачебных решений.

Зубарев К.: Спасибо, Татьяна Александровна. Есть еще кто-нибудь, кто хочет реплику сказать? Коллеги, я бы тогда перешел к последнему докладчику. Елена Георгиевна Гребенщикова, доктор философских наук, замдиректора ИНИОН РАН и заведующая кафедрой биоэтики РНИМУ имени Н.И. Пирогова (Москва).

Гребенщикова Е.: Добрый день! Ну, я, в общем-то, готовилась к докладу и подготовила некоторые слайды. Но пока я вот сейчас послушала всё, я поняла, что, наверное, мне уже не стоит повторяться, учитывая и время, и те проблемы, которые я хотела поднять. Частично они уже освещались, частично о них уже было сказано, ну, собственно, в каком-то близком контексте. И, мне кажется, просто уже что-то будет близкое.

И, в общем-то, вот сейчас я поняла, что, наверное, есть смысл сказать о такой довольно, может быть, немножко для вас маргинальной, но очень близкой теме, связанной с тем, что электронное здравоохранение – это же не только телемедицина, искусственный интеллект, но и мобильное здравоохранение. То есть это то, что сейчас теоретически уже концептуализировано как практики Life Login, регистрация жизни, персональная аналитика, квантификация себя, персональная информатика и так далее. То есть это разные способы сбора информации о себе, анализа, визуализации. И, прежде всего, это, конечно, информация о здоровье, информация об образе жизни.

С одной стороны, такой как бы широкой, культурной перспективы теоретической, конечно, это то, что пришло на смену нам известным дневникам, журналам и фактически открыло новые возможности о себе, забота о себе. Но, с другой стороны, собственно говоря, это уже новые способы понимания и интерпретация медицинской информации. Почему? Потому что расширяется смысл информации, которая относится к здоровью, и во внимание принимаются, в общем-то, такие многообразные, по сути, биологические данные, которые интегрируются в этот контекст – контекст заботы о себе. Но «забота о себе» – это термин такой, в духе М. Фуко. Просто всегда мы его берем в кавычки. Я думаю, понятно, о чем я говорю. Такое емкое понятие, в общем-то, здесь. С другой стороны, собственно, об этом уже было сказано, конечно, здесь важную роль играют различные такие маркетинговые усилия, которые направлены на потребителей, и они, безусловно, влияют на границы между профессионалами (экспертами), с одной стороны, которые традиционно управляют массивами знаний, которые принимают клинические решения, а с другой стороны, пациентами, которые предположительно не имеют этих знаний, компетенций. Ну, по крайней мере, до этого момента мы считали, что они не имели этих знаний.

Почему у них вдруг эти знания возникают? Ну, просто потому, что есть какое-то мобильное приложение, которое не только выдает новую информацию, но и дает ссылки, и по этим ссылкам человек уже сам получает некую информацию. То есть это одно из следствий, конечно, такого IT-прогресса не только в здравоохранении, но здесь это играет несколько другую роль, чем в других сферах жизни.

С другой стороны, в общем-то, есть инициативы, связанные с партисипативной медициной, когда общество встраивается в производство знаний, связанных (я не знаю) такие проекты как бы гражданской науки. Мы собираем какую-то информацию или какие-то образцы слюны, например, и добровольно это передаем, для того чтобы что-то новое открыли. И, собственно говоря, вот здесь вот эта конвергенция биомедицинских и IT -технологий, она тоже, в общем-то, формирует новые такие вот, ну, когнитивные ресурсы и, безусловно, бросает вызов существующей нормативной структуре и показывает, что все эти процессы уже выходят за границы традиционной, скажем так, клинической практики и, опять же, включают разные стороны жизни человека.

Если посмотреть на тело, что, конечно, вот это цифровое тело, оцифрованное тело – это тоже, в общем-то, вот те тенденции, которые, собственно, сейчас складываются. То есть это хранение, вообще, всякой информации о теле, визуализация этих данных. Но здесь очень важно, что вот эти представления сейчас пересекаются с ценностью самооптимизации и самоменеджмента. То есть необходимо принимать эффективные решения, и эти решения в итоге влияют на социальный успех. И, собственно говоря, здесь, конечно, возникает проблема ценностей, что такое здоровье с точки зрения ценности.

Я вот очень часто своим студентам привожу разницу, которая была когда-то выяснена, когда проводили опрос российских студентов и зарубежных. То есть попытались посмотреть и понять, вообще, почему есть самоценность здоровья, а есть, в общем-то, ну, такая инструментальная ценность здоровья. То есть надо быть здоровым не потому, что надо быть здоровым. А надо быть здоровым, для того чтобы достичь каких-то социальных целей. И вот здесь, конечно, вот эти моменты также сейчас, наверное, придется нам переосмысливать.

Но вот еще одна проблема, о которой, собственно говоря, уже было сказано, но она, конечно, имеет немножко другой аспект, – это проблема ответственности. То есть расширение автономии пациента – фактически это принятие самостоятельных, осознанных решений. И всё это влияет, безусловно, на то, как медицинские установки проникают в общество. Ну, об этом уже сейчас вот сказали, что фактически информированное согласие может стать способом перераспределения ответственности между институтами здравоохранения и пациентами.

Но какую роль в этой ситуации могут сыграть пациенты? Если мы посмотрим на традиционную практику, то какое-то хроническое заболевание, и пациент, в принципе, ну, не имел такой возможности раньше постоянно отслеживать уровень глюкозы в крови или еще каких-то параметров. Сейчас он имеет возможность отслеживать огромное количество параметров. И, соответственно, это меняет его представление. И отслеживает не только пациент с хроническими заболеваниями, а, в принципе, это можно делать всем, кому почему-то это захотелось. Собственно, вот эти модели поведения, связанные со здравоохранительными установками, они, собственно говоря, тоже меняются. И, наверное, идея о том, что вот... Есть такая фраза очень расхожая «доктор в кармане». Она связана, кстати, да, вот с анализом китайских нескольких кейсов. [02:25:00] Но фактически этот «доктор в кармане» – это некая реакция на революционные ожидания, которое связано с мобильностью, доступностью и оперативностью новых систем здравоохранения.

Почему? Потому что мобильность, в принципе, сейчас считается революционной. Она, с одной стороны, действительно, помогает людям где-то в Африке, в отдаленных регионах, быть на связи с врачом, получать такую же заботу, как люди в каких-то оборудованных городских клиниках. А с другой стороны, здесь возникает, в общем-то, возможность принимать решения на основе каких-то актуальных, более современных данных, многообразных данных. Это всё, конечно, революционно, безусловно.

Но в медицине проблема революции, проблема хайпа имеет несколько аспектов. И, наверное, все здесь присутствующие знают о том, что были революционные ожидания в отношении нанотехнологий, в отношении генетики, той же самой персонализированной медицины. И не все эти ожидания, собственно говоря, реализованы в настоящий момент в то, что ожидалось. И, в общем-то, вот с этой точки зрения, конечно, установка на то, что надо оценивать положительные и негативные эффекты и понимать, кто на самом деле выигрывает, а кто испытывает вред от этих технологий, в общем-то, это, наверное, действительно очень важно, но это тема для такой социогуманитарной экспертизы, собственно говоря.

Ну, несколько еще моментов, которые я бы, наверное, в качестве, может быть, комментариев, но просто в докладе скажу. Мне кажется, что вот связанные с этими революционными преобразованиями ожидания улучшения качества услуг, которые переплетаются с сомнениями, они, конечно, демонстрируют, что есть довольно сложные проблемы, связанные в принципе с системой здравоохранения. То есть существует, и это доказано, приверженность общества новым технологиям. Но в то же время мотивы самодиагностики, самолечения обычно не выходят на первый план. Они связаны, прежде всего, с недоверием к системе здравоохранения. То есть я не доверяю своему врачу. Это первая причина. Второе – это высокая стоимость платных услуг. И третье – дефицит времени у пациентов. И в результате нам надо вот с точки зрения мотивации посмотреть, вообще, на самом деле, все ли хотят сами лечиться с помощью электронных устройств или есть просто проблемы, которые могут подталкивать к каким-то новым технологическим решениям.

Еще один момент связан с автономией, который я вот тоже бы хотела в качестве комментария уже прокомментировать, – это то, что расширении автономии – безусловное благо, как нам кажется. Но сейчас есть исследования, которые показывают, что усиление автономии может рассматриваться с точки зрения так называемого «сковывающего эффекта». То есть пользователи говорят о том, что они, вообще, получают какое-то ощущение слежки, какое-то ощущение такой дисциплины, которая уже довлеет на человека и заставляет его больше обращать на это внимание. Но такие данные есть, например, по различным программам, которые... Ну, женщины начинают худеть, начинают считать калории, записывать эти калории в телефонах, постоянно следить за собой. И в результате у них уже возникают другие проблемы. И они отказываются и от телефона, и от приложения. И, в общем, как бы вот это уже какая-то оборотная сторона всего, с чем мы можем столкнуться дальше.

Ну, и, собственно, вот в этой же такой логике можно посмотреть на перенос ответственности с государственных структур на граждан. То есть фактически, если мы говорим о том, что все должны что-то делать. Ну, пациенты могут испытывать, в общем-то, стресс в силу чрезмерной эмоциональной нагрузки, потому что на них можно таким образом перераспределить ответственность за здоровье системы здравоохранения. Ну, и во-вторых, никто не гарантирует, что доступ к новым информационным услугам, новые подключения через какие-то мобильные приложения и всё остальное, что это позволит автоматически улучшить здоровье населения и, опять же, заставит пересмотреть роль медицинских работников в этой же системе.

Ну, и мне кажется, что в таком контексте, конечно, надо посмотреть на то, что такое активное продвижение цифровых решений и устройств биотехнологическими, медицинскими компаниями, и задуматься, является ли тот или иной выбор результатом решения пациента. Хотя здесь, конечно, нам придется отвечать на вопрос: насколько пациент, вообще, способен принимать решение такого выбора. Какого-то совета со стороны лечащего врача, скажем так, или просто веры в технологию, подкрепленную хорошей рекламой. Собственно, есть исследования, которые показывают, что вера в новые технологии оказывается иногда сильнее, в общем-то, даже той необходимости, которая могла бы подталкивать пациента к таким решениям.

Ну, мне кажется, я немножко попыталась отреагировать на то, что было сказано. Может быть, несколько быстро. И, с другой стороны, показать, что все-таки мобильное здравоохранение, разные программы для самотрекинга, программы, которые позволяют анализировать всё, что угодно анализировать, разные трекеры здоровья, они используются как в медицинских целях, так и в немедицинских. То есть человек, больной диабетом, понятно, использует это в медицинских целях. Человек, который помешан на ЗОЖ, он будет использовать это совсем в других целях. Но, опять же, с точки зрения своего здоровья. И всё это, безусловно, так или иначе, влияет на наши здравоохранительные установки, это влияет на социальную акцептацию инноваций, любых инноваций: искусственный интеллект, система поддержки принятия врачебных решений, поддержку телемедицинских услуг – всё, что угодно. Ну, и, с другой стороны, оно, конечно, ставит несколько новых проблем, о которых я попыталась так вкратце сказать.

Зубарев К.: Спасибо, Елена Георгиевна. У меня два вопроса, но они, наверное, как бы в один слились. Вот вы говорили про социально-гуманитарную экспертизу. Как, по-вашему, она могла бы выглядеть в таких, допустим, технологиях?

Гребенщикова Е.: Ну, здесь я термин этот использовала только как необходимость, можно как угодно назвать, социально-этической оценки и оценки этических вызовов, биоэтических вызовов, связанных с вот этими технологиями. То есть все-таки надо взвешивать пользу и риск. Понятно, что необходимо регулировать, и в России – особенно. Но до того как что-то урегулировать, все-таки надо прийти к какому-то решению: хорошо нам от этого или, в общем-то, может быть, нам это не нужно. Ну, и так далее.

Зубарев К.: Ну, и вот как бы близкий вопрос. Как вы думаете (ну, это вопрос, наверное, не только вам, а всем), возможно ли такую экспертизу делать по запросу пользователя? Ну, то есть, условно, как бы вижу какое-то приложение. Я лично не так часто, но у меня два опыта. Один опыт – это как бы уровень стресса изучал. Ну, приложение, которое разработали наши ребята из Академпарка, уровень стресса они определяют. И я когда смотрел, они доказательную базу приводили какое-то большое количество статей. И когда ты в статьи ныряешь, я как простой пользователь, как пациент я там ничего не понимаю. Наверное, разработчик считает то, что у него 25 научных статей в разных журналах и так далее, то это вроде как и есть доказательная база. Но, по большому счету, я на 100% не уверен, поможет это снизить стресс или не поможет. И вторая часть – это как бы просто приложение мониторинга (я не знаю) храпа, которое, в принципе, ночью показывает. А там дальше как бы выводы делаешь сам, от чего у тебя это дело и что помогает, а что не помогает. Но я просто думаю, что как бы какая-то профессиональная экспертиза по какому-то запросу моему, если бы она была, я бы, наверное, с удовольствием воспользовался (как вариант).

Гребенщикова Е.: Здесь, наверное, должно быть несколько аспектов. Во-первых, есть, я не знаю, как компьютерщики говорят, бета-тестирование пользовательское. То есть пользователям показывают какое-то приложение и смотрят, вообще, как они на него реагируют. И на Западе есть довольно много исследований, которые показали, что ожидания разработчиков... Ну, была такая идея разработки таблетки от целиакии – непереносимости всяких продуктов: пшеница, вот всё это. Но пользователи очень активно выступили против. И выяснилось, что проблема, на самом деле, не в таблетке, а в том, как им представляют эту таблетку.

Второй момент – это, конечно же, то, о чем надо сказать. Я имела в виду все-таки институты экспертизы. То есть у нас более-менее сложилась в медицине экспертиза, связанная с работой этических комитетов. И, соответственно, эти институты тоже должны работать вот в этом направлении. Другое дело, что сейчас просто этой практики, по крайней мере, в России нет. Но в целом очень многие исследования, например, связанные с генетикой и этническими особенностями, они не поддерживаются этическими комитетами. Почему? Потому что признается неэтичным выяснение таких вещей в определенных условиях. Не всегда. Но здесь тоже, в общем-то, это должно работать. Это надо обсуждать в каком-то более, наверное, таком профессиональном контексте. Ну, и пользовательское, безусловно, тестирование, такая социальная экспертиза.

Зубарев К.: Вопросы? Татьяна Александровна.

Сидорова Т.: Большое спасибо за участие в нашем мероприятии. Елена Георгиевна, вопрос по поводу вот этого самооптимизирующегося пациента, тот пациент, который занимается самоменеджментом. Когда у нас была техническая здесь пауза (налаживали звук), у нас здесь состоялась небольшая дискуссия, которую вы, наверное, не имели возможности послушать. Мы обсуждали вопрос о том, что нужны ли, вообще, вот эти этические дебаты. Я была одной из сторон этой дискуссии. Поэтому имею право изложить ее так, как я ее представляла. Нужны ли этические дебаты в условиях, когда (это я передаю, как мне кажется, точно, слова представителя лагеря разработчиков искусственного интеллекта) нужны ли этические дебаты, если потребители крайне не компетентны как раз, как пользователи этих довольно действительно, сложных цифровых продуктов. И под потребителями имелись в виду врачи, ну, и, в первую очередь, пользователи, аналогия с бабушкой, которая не знает, что это такое, и представляет, что COVID распространяется через GPS и так далее. А вы говорите о другом пациенте. Все-таки нужны ли этические дебаты? И какой пациент действительно, заинтересован в таких дебатах? Спасибо.

Гребенщикова Е.: Ну, дебаты, собственно говоря, нужны. В общем виде можно сказать, что есть две точки зрения на эту проблему. Хотя вчера мы с белорусами обсуждали такую ситуацию, как вовлечение общества в науку и публичные дебаты по поводу биомедицины. А сейчас вышел... Вернее, не вышел, он в 2019 году вышел, но вот сейчас стал доступен в переводе такой сборничек, подготовленный руководящим комитетом по биоэтике Совета Европы. Вот можно посмотреть там более конкретно, зачем надо вовлекать общество, почему и так далее. Я думаю, что вот, кстати, эта тема в Америке тоже очень хорошо разработана. Потому что все инициативы, связанные с public understanding of science, public engagement with science, они у них проработаны.

В общем виде я могу сказать, что есть две точки зрения. Первая – это содержательная точка зрения. Она говорит о том, что необходимо учитывать разные взгляды, ценности, перспективы, которые касаются той или иной области науки и технологий. Потенциально это может привести к более приемлемым с социальной точки зрения результатам и показать спонсорам, разработчикам, ученым то, чего они не видят как как бы другая сторона, вот как вы сейчас выражаетесь. То есть это просто обогатит то, что они делают. И это улучшит социальную акцептацию вот этих инноваций.

Вторая точка зрения, что ценности этого публичного диалога – это то что... Она называется «нормативная». Сам по себе процесс вовлечения публики имеет ценность. Потому что с ней надо консультироваться относительно затрагивающих ее решений. То есть в демократическом обществе, когда деньги налогоплательщиков тратятся на науку, нельзя не учитывать мнение вот этих самых налогоплательщиков.

Второй вопрос, который касается бабушки, которая не является экспертом, – это очень большая проблема. Ну, так же, как и в медицине. Человек, который принимает решение об операции и услышал от двух хирургов два противоположных мнения, он находится вот в этой ситуации такой когнитивной неопределенности. То есть вроде бы один врач говорит, что надо делать, второй: не надо. А что делать человеку? Ну, он же не может изучить всю абдоминальную хирургию за два дня, когда ему надо принимать решение. Эта проблема существует, безусловно. Но сейчас, в общем-то, есть некое понимание, что «человек с улицы» должен в сущности понимать смысл происходящего. Он не должен быть специалистом, иначе он уже просто другой статус имеет. И он должен иметь возможность быть вовлеченным в коммуникацию по поводу той или иной технологической инновации. То есть не просто трансляция знаний, а это должен быть коммуникативный процесс, в ходе которого, собственно, можно задавать вопросы, можно это обсуждать, приходить к какому-то общему решению, взаимно обогащать друг друга своими точками зрения, взглядами и в результате находить некое общее решение.

Понятно, что в этой коммуникации могут участвовать только стейкхолдеры. То есть человек, который ничего не понимает и ему это не нужно, действительно его и не надо вовлекать. Мы, конечно, должны учитывать разные взгляды, разные группы и так далее. Но при этом если бабушка слышать об этом не хочет, то не надо из бабушки делать такого активного социального агента. Это бессмысленно, и действительно мы до нее не достучимся. Но при этом те люди, которые хотят участвовать в этой социальной коммуникации, они должны иметь возможность в ней поучаствовать, и, собственно говоря, может быть, они что-то скажут такое, о чем вообще никто из разработчиков не подумал.

Но в целом, в общем-то, проблема действительно, большая, и на нее можно посмотреть даже с нескольких точек зрения. Но я просто сейчас больше как бы говорю с точки зрения этики. Безусловно, социальная акцептация инноваций – это то, что очень этически напряженное. То есть если с точки зрения повседневной морали технология вызывает какие-то сомнения, опасения, еще что-то, безусловно, будут проблемы с тем, что вы ее не сможете как-то преподнести обществу без каких-то социальных технологий. Но это уже будет обман. Когда используются социальные технологии, для того чтобы как бы протянуть что-то. Ну, и они у нас не очень хорошо работают. То есть сейчас это вряд ли возможно. Тем не менее, это, конечно, возможно. То есть манипулировать мнением потребителя можно. Так же, как в биоэтике мы знаем, что хороший врач, в принципе, принимает решение вместо пациента иногда. И он не говорит ему, что вы должны сделать то-то. Он просто говорит, что: «Вы знаете, на вашем месте другого варианта я не вижу. Вам, конечно, решать надо самому, безусловно. Это ваше решение. Но я бы вообще… я даже не вижу, что тут…» Ну, как вы всякие формы влияния на мнение, они есть. И политические технологии работают. Но в сфере инноваций и биомедицинских это тоже, собственно, может быть. Здесь немножко ситуация пока еще не такая, но, тем не менее, это те вопросы, которые уже сейчас, конечно, стоят на повестке.

Зубарев К.: Я дополню, пока мысль не ушла, что, ну, если говорить про коммуникацию, то, наверное, не государство в этом нам помощник в том плане, что они вот этот процесс принятия решения, скачивать/не скачивать приложение, они не сильно участвуют. А вот, допустим, те операционные системы, я имею в виду Google или Apple, которые когда мы заходим в их магазин, к примеру, там контент какого возраста от года, от двух, от трех. То есть некоторое такое рейтингование, что касается приложений, которые позволяют заниматься самосовершенствованием, какое-то рейтингование такое можно с ними договориться проводить. И тогда пациент, допустим, скачивая какое-то приложение, он уже действительно сам принимает решение о том, что как бы там высокое доверие, проверено, прошло экспертизу, гуманитарную экспертизу, социальную экспертизу, медицинскую экспертизу и так далее. И тогда он может как бы сам ориентироваться и принимать решение скачивать ему приложение и пользоваться или нет. Ну, вот как-то так.

Наумов Ю.: Очень такую горячую тему подняли действительно. Я хочу сказать немного о том, что я работаю, так скажем, проверяю стартаповские компании, которые выходят на рынок и хотят получить деньги от инвесторов. Такое впечатление создается, что каждый день появляются такие уникальные устройства, implantable devices, например, определять глюкозу, инсулин – что угодно. Но вопрос возникает: насколько они хорошо держатся на теле человека? Поскольку если неправильно поставил устройство – неправильная информация пойдет на web-сайт к доктору или к провайдеру. Поэтому эта система новые технологии могут вести к неправильному пониманию. То есть пациент считает, что он знает всё, и он может заниматься самолечением. Привести себя к гипогликемии и к гипергликемии, к чему угодно, к инсульту. Поэтому у меня вопрос к вам как к этику: кто должен заниматься обучением потенциальных клиентов: доктор, который имеет ограниченное время, скажем, 10-15 минут на пациента, либо средства массовой информации, телевизор, радио, социальные сети? Потому что, скажем, очень сильный акцент на самодиагностику, самолечение, даже используя хорошие технологические устройства, escaping, непосещение доктора регулярно, в принципе, приведет к утяжелению состояния больного и разочарованию в современной медицине, которая имеет поразительные технологические устройства. Ваше мнение?

Гребенщикова Е.: Кстати, как этик я могу сказать, что здесь очень хорошо я могу проиллюстрировать пример, который Юрий привел. То есть человек подписывает пользовательское согласие, и снимается ответственность с производителя, доктора, еще кого-то. Ему говорят: «Мы вам даем коробочку. В этой коробочке такие-то возможности. Вы ее так-то должны присоединить куда-то там. Но вы вот смотрите, вы тут сами с этим разбирайтесь как бы. Присоединяете-то правильно, а то сами будете виноваты». Вот с этой точки зрения здесь как раз всё понятно.

С точки зрения социального обучения это достаточно серьезная проблема. Она касается не только новых технологий. Если вы возьмете тонометр, даже старый тонометр, который со стрелкой, и заставите человека, которого не обучили правильно мерить давление, он там каким-то образом начнет его мерить, и он тоже так же будет получать неправильные данные, хотя ему будет казаться, что всё нормально работает. То есть это проблема взаимодействия с технологией, которые требуют неких таких механизмов больше социального обучения, но в сфере здоровья, безусловно, нужен какой-то такой... Я не знаю, тут нужен ли общий подход.

Наумов Ю.: Вопрос тут: кто должен обучать пациентов: доктор, средства массовой информации, телевидение, радио, социальные сети или какой-то там социальный работник? Кто несет первичную ответственность за это?

Гребенщикова Е.: Ну, я сказала про ответственность. Как раз вот я поняла эту проблему как ответственность. Я вам сказала, что ответственность легко переложат. А кто должен обучать? В этой ситуации я думаю, что мне даже не надо отвечать на этот вопрос. А разработчики должны сесть, собраться, вот как вы сейчас, и пригласить вот так же в Zoom еще врачей, организаторов здравоохранения, представителей пациентов и сказать: «Вот мы имеем. Давайте подумаем, как здесь лучше это всё организовать. И вот в зависимости от того, как они поймут эту ситуацию: в чем специфика сложностей, какой возраст, много аспектов. Всё это необходимо учитывать и только после этого, наверное, понимать, как пациента обучить и так далее.

Ну, кстати, вот есть же проблема цифрового разрыва. Это очень большая проблема в медицине. Неспособность старшего поколения иногда взаимодействовать с довольно простыми какими-то системами. Ну, даже просто записаться в поликлинику – иногда это проблема для пожилого человека. Мы это, безусловно, должны учитывать. Поэтому сказать, что устройство будет использоваться 18-90 лет – ну, это сложно сказать. Потому что мы тогда просто потеряем какую-то группу людей, которые не смогут нажать на кнопку. На правильную кнопку – на красную. Нажмут на синюю.

Зубарев К.: Спасибо. Юрий Аникин.

Аникин Ю.: Ну, у меня даже больше не к предыдущему докладу, хотя он тоже акценты оставил. И хорошо, что зашел вопрос явным образом о гуманитарной этической экспертизе, собственно, с которой мы и начинали эти круглые столы, намереваясь понять, с какой стороны нужно заходить, какие вопросы первейшие. Но смотрите, что я сейчас понял. Вопрос экспертизы не будет заниматься вопросами эффективности. То есть вопрос экспертизы – это, грубо говоря, вопрос допуска к телу. Например, к телу пациента. Но решающим будет не вопрос допуска, а вопрос эффективности. То есть когда мне будут предлагать через телефон провести диагностику, поставить диагноз одного и того же КТ за 100 рублей, за 200 рублей, у меня будет очень мало доводов. Но здесь уже включится логика экономическая. Понимаете? Эффективность всегда будет в терминах экономики, но не в терминах этики или в терминах здравоохранения. Дальше потом, когда мне поставят диагноз, все равно логика того приложения, то приложение будет лучше, развитее, интереснее и, соответственно, маркетингово более привлекательнее, которое будет эффективнее экономически. Опять тут не будет ни слова про то, что оно будет лучше лечить или будет более этично. Вот вопрос к автоматизации, который Наталья Александровна в прошлый раз поднимала, мне кажется, здесь это главный вопрос. И я не понимаю, как, вообще, можно из этой ситуации выходить: обсуждениями или круглыми столами или даже законодательством. Спасибо.

Сарап П.: Можно прокомментировать?

Зубарев К.: Да, давайте. Конечно. Да, Павел.

Сарап П.: По поводу последней реплики. По-моему, в 2016 году дали Нобелевскую премию за теорию неполных контрактов по экономике. Там одно из следствий – то, что если на конкурентном рынке потребитель не может оценить качество услуг, то это качество услуг на конкурентном рынке неизбежно падает. То есть если пациент не может оценить качество высокотехнологичной медицинской услуги, то качество этой услуги на рынке будет неизбежно снижаться. А качество такой услуги, например, как массаж, оно будет повышаться. Потому что пациент в состоянии это как-то оценить. Поэтому здесь неизбежная у нас проблема. Мы это никогда не преодолеем.

Зубарев К.: В этом смысле я другую аналогию знаю. Что вот, допустим, в энергетике вопрос надежности, он как бы выше вопроса экономики. Ну, как бы принцип надежности, он гораздо выше стоимости. И тут должен быть тоже какой-то такой же принцип «не навреди», ниже которого как бы... Но должна быть тогда какая-то действительно экспертиза. Она должна быть каким-то кем-то организована – тем, кому доверяют. Или тем, кто может как бы не допускать на рынок. Даже вот так я могу сказать.

Гребенщикова Е.: Но это уже не этическая экспертиза.

Зубарев К.: Да, это не этическая экспертиза. Я и сказал, что это как бы технологическая.

Гребенщикова Е.: Нет, у нас-то в России есть этическая экспертиза для апробации. И там есть как раз Этический комитет, который этим занимается. И руководит им Сергей Иванович Куцев. Он как раз рассматривает все аспекты. И любая этическая экспертиза, собственно говоря, ну, так же, как и в Этическом комитете при планировании биомедицинского исследования или лекарственных средств рассматривается всё, в том числе, и моменты, связанные со здоровьем пациентов. И там всегда должно быть много специалистам по тем или иным вещам. Но в целом вот в узком смысле это не этика. Если это будет механизм называться «этической экспертизой», он все равно будет работать так же, как и все остальные этические комитеты в медицине, которые, собственно, рассматривают все аспекты.

Но я бы тут еще один момент такой акцентировала. Что вы скачиваете приложение, анализируете снимок за 100 рублей. Потом вдруг сомневаетесь: может, надо было 200 заплатить? Берете, платите 200 и получаете два разных результата. И вот дальше куда вы идете? К врачу? Или если за 300 нет, то что делать? Вот это более интересная ситуация. И тогда уже, конечно, вопрос доверия этим технологиям. Качество будет снижаться на рынке. Потому что в этом приложении мы пишем, что я скачала за 200, и там другой результат. И что теперь, ребята, делать? И все начинают это обсуждать: что я скачал за 300 китайский, а там вообще еще что-то. Мне кажется, тут могут быть разные совершенно сюжеты для дальнейшей, так сказать, дискуссии. И это тоже проблема надежности и, опять же, социального такого вот доверия.

Зубарев К.: Ну, тут еще вот я хотел тоже вставку сделать. Я, по-моему, в какой-то момент не сказал. Все-таки нужно понимать, что когда... Ну, надо просто разделять как бы некую границу. Человек занимается развитием себя. И тогда тут вопрос времени не очень стоит и критичности принятия решения. То есть он может то попробовать и за 100, и за 200, и так далее. А возникает ситуация, когда как бы время. Когда ты заболел, все-таки там есть фактор времени. И вот у меня был случай – мне руку оперировали. Мне сказали: «Цена такая». И всё. И, допустим, вот коллеги из НИИТО обсуждали, когда человек берет на себя ответственность, что, допустим, они печатают 3D -изделия из материала. И этот материал, эти процедуры, они пока не прошли никакую государственную экспертизу, как бы они не приняты, я так понимаю Минздравом. И человек полностью берет на себя ответственность. Он как бы участник эксперимента. Но у него время. То есть когда ему полчерепа нужно как-то поменять, ну, как бы... Так, Сергей.

Ти С.: У меня вопрос, может быть, не к последнему докладчику, но навеянный его выступлением. Как вы думаете, появится ли и если появится, то когда и при каких условиях стоит ожидать дополнительный раздел клятвы Гиппократа по отношению этических обязанностей врача к технологиям, которые он применяет, в частности, к использованию искусственного интеллекта? Должна ли быть такая глава в клятве врача? Поскольку все-таки клятва Гиппократа и клятва врача – этический документ как бы более-менее применяемый для всех врачей именно как часть какой-то ответственности врача перед обществом, а не столько перед компанией либо перед работодателем, появится ли такой раздел, связанный с применением и улучшением или контролем над технологиями в этическом договоре врача. Вот у меня такой вопрос.

Зубарев К.: Или присоединение к клятве Гиппократа разработчика информационной системы, которая работает на...

Ти С.: Ну, не знаю насчет разработчика информационной системы. Мой вопрос, скорее, к той части ответственности, которая лежит на враче. Ну, в общем, да, я обозначил вопрос.

Гребенщикова Е.: Я думаю, что нет, не появится. Это не нужно в клятве Гиппократа. Потому что клятва Гиппократа задает общие рамки. То есть у нас есть некие принципы, которые должны соблюдаться всегда. А принцип «не навреди», он универсальный принцип, по сути. Мы понимаем, что в медицине есть вред всегда. Потому что любое вмешательство, инвазивное вмешательство, это всегда можно оценивать, как вред. Но при этом баланс риска и пользы должен быть на стороне пользы для пациента. Ну, грубо говоря, ампутация ноги – это очень большой вред для человека, на самом деле. Но на другой стороне весов – его жизнь. И, собственно говоря, вот это намеренное повреждение, оно перевешивается тем благом, которое приобретается в результате вмешательства. И идея, собственно говоря, Гиппократа «не навреди», ее по-разному можно рассматривать. Мы всегда будет приходить к тому, что мы понимаем, как на это посмотреть.

Три других принципа, которые сейчас есть, ну, определяют биоэтический принципализм (ну, по крайней мере, в России, потому что мы заимствовали американскую модель принципализма). они тоже более-менее понятны. Они заставляют уважать фундаментальные такие моменты, связанные с автономией человека, с тем, что необходимо профилактировать, и так далее. Скорее, вот эти принципы... Ну, во-первых, сейчас все крупные компании, типа Google, Amazon имеют очень такие большие отделы по этике. В частности, по этике искусственного интеллекта, которые как раз направлены на разработку принципов этики искусственного интеллекта. Вот то, что сейчас было показано ВОЗ, – это не единственная инициатива разных структур, связанных с вот этими вызовами электронного здравоохранения. И разрабатывать принципы этики под эти вещи необходимо, конечно, всем. Если говорить о том, как можно это регламентировать на уровне каких-то стандартов, то, скорее, это должны быть этические кодексы профессиональные, которые периодически пересматриваются профессиональными организациями. И вот когда профессиональная организация на очередном своем съезде утверждает, например, новый кодекс врача-психиатра или врача-дерматолога, они могли бы, конечно, имплементировать какие-то новые вызовы в эти этические кодексы или хотя бы их как-то прописать на уровне профессионального сознания специалистов.

Почему? Потом что в данный момент я со своими коллегами обсуждаю проблему использования таких устройств для дерматологии, и большинство врачей-дерматологов убеждены, что в дерматологии это не нужно. Есть много программ – и наши, и зарубежные, – анализирующих родинки. Но врачи против, у них есть аргументы, почему это не надо делать. Есть контраргументы: удаленность, еще что-то, COVID, и никуда не выпускают (как мы в Москве сидели). Ну, это касается не только родинок, а любых других образований на коже. Но вот это должны обсуждать все-таки в рамках профессионального сообщества и выносить это в какие-то вот такие внутренние этические документы. Потому что использование тех же самых приложений (я не знаю) в пульмонологии, в принципе, многими приветствуется. КТ, рентген дают хорошие результаты, и, собственно говоря, профессиональное сообщество может совершенно по-другому к этому относиться, считая, что действительно, пусть активнее развивается. Потому что люди в удаленных местах будут иметь больше возможности решать эти проблемы. Тут все-таки общие установки есть, но они касаются хоть птиц, хоть самолета, на самом деле.

Ти С.: Я уточню вопрос на примере небольшого кейса. Условно говоря, должно ли общество (ну, я в данном случае общество и государство не разделяю) обязать врача... Ну, то есть до этого, до вашего доклада был доклад по поводу того, что в определенных областях медицины программное обеспечение на искусственном интеллекте выдает рекомендуемый диагноз, попадающий с 70-процентной точностью на масштабах одной сигмы. Вопрос такой: обязан ли этически врач, когда используется такая система и система выдает неправильную рекомендацию, каким-то образом... Ну, знаете, как на железной дороге красный флаг проводник вывешивает, и после этого ничего не должно двигаться. То есть обязан ли врач, квалифицированный человек, который находится и готовится на службе, ну, общества, как бы останавливать этот процесс или подвешивать вопрос так, чтобы этот как бы баг решался. Ну, то есть в каком-то смысле обязать врачей способствовать развитию и улучшению и научению искусственного интеллекта по тем базам и по тем знаниям, которые уже накоплены обществом, в том числе, и по медицинским данным, и обучению других врачей. Вот в таком формате. Или это условие слишком сильное такое требование для врачей от общества?

Гребенщикова Е.: Ну, мне кажется, это, вообще, основное условие взаимодействия, по крайней мере, сейчас, когда мы очень сильно сомневаемся в этих экспертных системах, взаимодействия с этой техникой и условие даже доверия пациентов технике. Потому что мы всегда можем опереться на мнение врача. Мне кажется, это, конечно, должно быть. Тем более, что есть много ситуаций, когда компьютеры, ну, системы ошибались. Причем ошибались не потому, что был неправильный алгоритм, а потому что когда вводили данные, составляли таким образом алгоритм, что в результате получалась ошибка. Но мы понимаем, что пациент, который взаимодействует с врачом, врач ошибается на этом пациенте, грубо говоря. Когда ошибается компьютер, там могут быть десятки, сотни человек. И это уже другая цена ошибки, безусловно.

Сарап П.: Можно реплику?

Зубарев К.: Да, давайте.

Сарап П.: Дело в том, что врач в случае сомнительном, он должен обращаться к коллегам за советом. То есть я уже не помню, в каких-то американских рекомендациях это прописано или нет. Я не могу сейчас точно воспроизвести, но на практике это всегда так. То есть мы обязаны вызывать на себя помощь, в любом случае. При этом ответственность не снимается с лечащего врача. Соответственно, вот эти все экспертные системы можно использовать как консилиум, то есть совет с каким-то внешним интеллектом, может быть, более наученным и так далее. И в зависимости от того, что этот искусственный интеллект посоветует, можно либо принимать эти рекомендации, либо их отвергать под свою ответственность. И, откровенно говоря, вот я как доктор, то есть я в здравоохранении, если считать врачебный стаж, то там уже за 20 лет перевалило, а если считать учебу и прочее-прочее, то где-то лет 30 уже, получается, то есть я вот вас слушаю, но вы страшно далеки, вообще, от реальности. Потому что вот эти все вопросы, их не существует в медицине. То есть нет вопроса по согласию пациента на обработку персональных данных и на предоставление персональных данных. Потому что пациента приперло так, что он готов на любую обработку своих персональных данных. Это первый вопрос.

Второй вопрос: на ком ответственность? Поймите, пожалуйста, что врачи принимают ответственность и находятся вот на этой грани постоянно. То есть в день каждый врач, ну, где-нибудь в хирургическом отделении, вот у него 15, например, пациентов – вот он 15 раз в день принимает на себя эту ответственность. Если вы думаете, что существует какая-то ответственность в отношении того, что примет пациент, так сказать, свою долю ответственности или нет на себя – тоже нет вопросов. То есть есть информированное согласие, и под давлением обстоятельств любой пациент это подпишет. И он примет то, что его анализы будут обрабатываться искусственным интеллектом. Этот искусственный интеллект будет аккредитован в этой медицинской системе, и все риски, связанные с работой искусственного интеллекта пациент вынужден будет тоже на себя принять. Понимаете?

Потом такой вопрос: в каком состоянии вот сейчас всё, что связано с информатизацией здравоохранения? Я выполняю в своей больнице (а это БСМП города Красноярска) функции врача-консультанта. Я сижу удаленно. То есть я нахожусь на территории больницы, но я не выхожу никуда. Тем более, сейчас COVID. То есть у меня есть электронная история болезни и есть внутренняя связь. Понимаете? И всё сейчас решается в электронном виде. И если мы говорим о внедрении каких-то алгоритмов, то сейчас существует лабораторная информационная система, которая прицеплена жестко к электронной истории болезни. И у нас есть IT -шники, которые могут написать любой алгоритм. То есть они могут подтянуть из лабораторной системы любые лабораторные показатели и для нас какие-то показатели интегративные рассчитать. И это всё работает.

Теперь то, к чему стремятся разработчики. Разработчики хотят показать какую-то точность: 95-99%. Но этого практически нам не нужно. Потому что если какие-то большие нарушения... То есть вот мне достаточно написать регрессионную модель и ее использовать. Если какие-то большие отклонения от нормы, мы все равно их не можем за один заход, за одну итерацию компенсировать. И после взятия промежуточных контрольных значений эта уже регрессионная модель попадает с точностью 95% в нужное значение показателей. Всё. Поэтому что может внедряться? Вот такие легкие алгоритмы, которые не будут подменять результат работы врача, которые будут давать вспомогательную какую-то информацию, соотнося те или иные варианты просто друг с другом: что более вероятно, что менее вероятно. А там уже врач разберется. Вот примерно так.

Зубарев К.: Спасибо, Павел. Но это вы ближе к той схеме, которую Иван Владиславович нарисовал.

Сарап П.: Ну, у Ивана Владиславовича очень хорошая презентация. Спасибо ему. Отличная.

Зубарев К.: Юрий Николаевич.

Наумов Ю.: Я хотел бы задать всем участникам встречи: должны ли искусственный интеллект и все эти экспертные системы давать информацию о стоимости процедуры, услуги, лекарствах, дозировках и так далее? Потому что одно и то же заболевание или диагностика вы можете применять разные средства, зависит от времени и точности и стоимости. Будут ли будущие экспертные системы АI информировать пациента и доктора о стоимости услуг?

Зубарев К.: Кстати, они уже это делают. Ну, по крайней мере, вот я лично когда иду в аптеку, я в 2ГИС набираю лекарство, и оно мне на карте показывает все цены, которые есть в городе.

Сарап П.: Ну, вот, знаете, работая с пациентами, я должен сказать, что я склоняюсь к мысли, что нужно давать такую информацию. Почему? Потому что я как работник, как ремесленник я хочу гордиться результатами своей работы. А они зависят не только от меня. Они зависят от пациента, который хочет из овчины сшить сразу семь шапок. Вот, наверное, так. То есть это единственный вариант. То есть пациент должен разделить этот момент со мной, со мной ответственность.

Наумов Ю.: Видите ли, я работаю в Соединенных Штатах, и там нет правительственной медицины. Есть частные клиники и частные страховые компании. И поэтому больной сразу же приходит и задает вопрос: «Сколько это будет стоить? Как часто я буду применять? Качество жизни мое повысится или снизится?» Потому что он думает не только о себе, но и о членах своей семьи. И поэтому если мы делаем такие разработки, диагностика, оно, конечно, эффективно для, скажем, health care-провайдера. Но может быть очень неэффективно для пациента. Поэтому будет, скажем, взаимонепонимание между пациентом, клиентом и доктором, медицинскими службами.

Зубарев К.: Ну, я думаю, что вопрос, он как бы, давайте мы его повесим. Ну, как бы в тезисах мы все равно будем всё это выделять. Вопрос хороший. И я думаю, что раз у потребителей такой запрос есть, я думаю, что найдется и какое-то решение. И оно, кстати, будет действительно востребовано именно рынком. Я просто по себе знаю, что один раз воспользовались, ну, просто я нашел этот сервис, и я теперь им пользуюсь. Я считаю, что если раз, два, три покупаешь лекарство, там уже можно сэкономить. Хороший вопрос. Давайте мы его повесим. Коллеги, спасибо. Ну, мы уже немножечко перешли за временные лимиты. Если есть у кого-нибудь какие-то завершающие реплики, которые хотят короткие сказать, я бы попросил это сделать. Юрий, Сергей?

Аникин Ю.: Ну, добавить нечего. Хотел бы поблагодарить. Мне кажется, очень хорошо, что все позиции подсвечены. И действительно понятно, что тут необходимо обсуждение и диалог из этих позиций, и они открыты к обсуждению. Но, мне кажется, мы свою постановку задачи проблематизации этой этической экспертизы усложнили. Потому что (повторюсь) экспертиза может максимум, что сделать, – допустить, но не изменить как бы целевую функцию всех этих технологий.

Зубарев К.: Ну, вопрос проблематизирующий как бы саму форму и сам результат этой работы, но все-таки дают указания на некоторые другие формы результатов, которые могут быть по итогам вот этих всех вопросов. Спасибо. Татьяна Александровна.

Сидорова Т.: Ну, я не совсем согласна с Юрием, если я правильно понимаю главную мысль, о которой вы говорите. Мне кажется, все-таки главное, что сегодня состоялось, – это то, что мы обозначили какие-то различные точки зрения. И вот особенно, конечно, то, о чем говорил Павел Владимирович. Это вот для меня как биоэтика, это вообще центральное событие сегодняшнего вечера. Потому что это позиция врачей (и она так ярко здесь прозвучала), которая не совсем различает позицию пациента и заинтересованность пациента в том, чтобы он действительно был автономен в выражении своего согласия. Вы действительно, обозначили, что у нас есть вот это непреодолимое пока различие в толковании самых разных моментов. И они должны быть обязательно где-то прозвучать. И вот сегодня они звучали. Спасибо.

Зубарев К.: Спасибо. Я, если можно, слово дам Александру Костину. Александр, можете какое-то резюме сделать? Если вы еще с нами.

Костин А.: Да, я еще с вами. Ну, резюме какое? Как я уже и сказал, искусственный интеллект есть и будет. И нужно приложить все усилия к тому, чтобы сделать его, скажем так, максимально полезным для всех участников: и для врача, и для пациента. Я бы сказал так.

Зубарев К.: Понятно. Иван Владиславович.

Толмачев И.: Важный момент, что мы, на самом деле, уделили внимание очень многим этическим дилеммам, которые возникают в вопросах искусственного интеллекта. Мое мнение: что, так или иначе, эти технологии будут развиваться. Вопрос: где окажется в них наша страна, соответственно, и насколько, скажем так, барьеры этические будут помогать либо мешать их внедрению, внедрению подобных решений.

Зубарев К.: Спасибо. Елена Георгиевна.

Гребенщикова Е.: Ну, я могу только поблагодарить за приглашение и за интересную дискуссию. Мне кажется, что всё очень интересно было. Спасибо.

Зубарев К.: Коллеги, спасибо большое за то, что приняли участие и откликнулись на наше приглашение. Я просто немножечко организационно хочу теперь как бы завершить. Что все-таки это у нас серия мероприятий, круглых столов. В следующий четверг мы будем проводить такой же круглый стол, только посвященный применению технологий искусственного интеллекта в образовании. Поэтому если кому-то эта история тоже интересна, мы всех приглашаем. Единственное, что мы все результаты... Ну, во-первых, запись, видеозапись разговора будет доступна на YouTube. Единственное, что, наверное, начало разговора все-таки, наверное, там потеряется. Но мы потом посмотрим. Мы будем расшифровывать. И если кому-то потребуется текстовое описание, то вы тоже можете у нас запросить.

Я сейчас думал, куда можно обращаться за результатами. То есть у нас пока цифрового такого портала как бы нет. Поэтому можно, вот есть «Точка кипения» как такая точка доступа или входа. В принципе, можно туда писать или там оставить комментарий под постом. Как бы туда зайти подписаться, все материалы мы там будем выкладывать.

И, наверное, следующее, что нужно сказать. Я думаю, что все вопросы, которые мы сейчас озвучили, мы попытаемся скомпоновать в некоторые тезисы и будем их обсуждать с нашими московскими коллегами в каком-то таком более расширенном формате «Школа антропологии будущего». Ну, я думаю, что это какое-то такое будет мероприятие «стенка на стенку», и мы попытаемся там все эти вопросы... Ну, я имею в виду, не «стенка на стенку» как противоборствующие. Я думаю, что на таком уже большом высоком уровне мы будем все эти вопросы еще раз поднимать. И поэтому следите тоже за информацией. И можно будет, я думаю, участвовать также в гибридном формате. Еще раз всем спасибо. Всем желаю здоровья. Лучше не болеть, и тогда многих этических вопросов не будет. Спасибо вам большое.