Круглый стол
Круглый стол состоялся 18 июня 2021 года в Точке кипения НГТУ (Новосибирск)
Участники
Зубарев Кирилл Ильич , лидер Точки кипения НГТУ, модератор программы SEDeC МШУ «Сколково» (модератор круглого стола).
Спикеры:
Хвостик Евгений, заместитель руководителя группы иностранной информации ИД «Коммерсантъ» (Москва).
Тема : Общественная дискуссия в США и Западной Европе по поводу растущего государственного применения ИИ для идентификации и отслеживания активности пользователей интернете – этические и юридические аспекты.
Сидорова Татьяна Александровна , к. филос. н., кафедра фундаментальной медицины, Институт медицины и психологии им. В. Зельмана, НГУ .
Тема : Гуманитарные проблемы использования ИИ в медицине
Заворин Андрей , разработчик
Пестунов Андрей Игоревич, к. физ.-мат. Н., заведующий кафедрой информационных технологий. НГУЭУ.
Тема : Человек и цифровые технологии: появление сверхлюдей или подъем планки "нормальности".
Градосельская Галина Витальевна, в. н. с. Международной лаборатории прикладного сетевого анализа НИУ ВШЭ, руководитель научно-учебной группы «Сетевые методы и модели в анализе текстовой информации». Один из основателей SNA анализа в России, разработчик методологии "информационных волн", автор курсов и учебных пособий по SNA анализу, автор книги "Бизнес сети в России».
Тема : Искусственный интеллект как социальный артефакт.
Колонин Антон, к. т. н., основатель проекта по интеллектуальному поиску информации Aigents , ведет курс «социальной кибернетики» в НГУ.
Тема : Риски ИИ в контексте передачи человеком функций мышления и ответственности
Аникин Юрий Александрович , к. т. н., заместитель главного ученого секретаря СО РАН.
Тема: Изменение роли человека в науке вследствие технологизации и ИИ
Смирнов Сергей Алевтинович, д. филос. н., в. н. с., Институт философии и права СО РАН.
Тема : Человек и ИИ: проблема границы
Студенты, аспиранты, преподаватели новосибирских вузов.
Стенограмма
Зубарев К. И.: Здравствуйте, коллеги! Меня зовут Кирилл Зубарев. Я являюсь лидером Точки кипения НГТУ. На правах хозяина рад приветствовать вас всех у нас в Точке кипения. У нас сегодня такое собрание, ну, оно первое в этой повестке, и оно немножечко кулуарное. То есть мы пригласили людей поговорить на тему этических вопросов. Коллеги, можно проходить, брать стульчики, если не хватает, и садиться. Немножко кулуарная встреча, я подчеркну этот формат. Мы хотим обменяться, в первую очередь, мнениями по поводу такого непростого вопроса, как этические моменты, связанные с применением «умных» технологий.
Но, вообще, немножечко хотел бы предысторию этого вопроса рассказать. Я лично, для меня как бы ярким моментом таким вот этот вопрос встал год, наверное, назад, полтора. Мы приглашали студентов послушать записанные лекции ведущих визионеров. И коллеги из Москвы, Белов, по-моему, Алексей, представитель РВК, он просто рассказывал такие красивые технологии из будущего по поводу того, что сейчас уже реально работает. И он затронул вот эту тему социального рейтинга Китая. И после этой лекции, когда закончилась видеотрансляция, мы попросили обменяться мнениями со студентом. И был очень яркий эмоциональный момент. Один из студентов, ну, прямо так встал, покраснел. Ну, видимо, он как бы не выступает, но тут он не выдержал, как бы через себя перешагнул и сказал: «Вы что, не понимаете? Как можно, вообще, с улыбкой про эти вещи говорить. Вы что, не понимаете, в какой мир мы идем?» И для него это была прям больная тема, видимо, что он даже молчать не мог. А так как он не умеет выступать в профессиональных коммуникациях, вот такое было эмоциональное выступление. Но это вот как бы моя первая встреча. Для меня это было очень удивительно. И я до сих пор помню как сейчас, как это происходило. Слава Богу, до драки дело не дошло.
История этой встречи, она такая. Есть группа инициаторов, они все здесь присутствуют. Смирнов Сергей Алевтинович, Юрий Александрович Аникин, Сергей Ти, мы обсуждали вопрос того, какие темы можно бы приземлить в Новосибирск, для того чтобы вступать в профессиональную коммуникацию с мировым сообществом. Понятно, что развитые темы уже где-то заняты, места закреплены. И вот мы подумали, что тема новых технологий, искусственного интеллекта и вопросы, связанные с этическими вопросами, тема, связанная с правоприменительной практикой, – это еще совершенно не изученные вопросы. И вот мы как бы так немножечко обнаглели и решили попробовать за эти вопросы взяться.
Я еще раз подчеркну, что это такая большая «хотелка» – затянуть на территорию Новосибирска и сделать это одним из мест профессионального общения с мировым сообществом, кто думает над этой проблемой. Ну, и, соответственно, конечно, в пределе мы бы хотели провести какое-то большое мероприятие, посвященное этой теме, с участием людей, кто действительно профессионально в мире этими вопросами занимается. Это первая такая рамочная установка. Ее нужно обязательно сказать, что это не просто вот так вот, что мы посидим сейчас, обменяемся мнениями. То есть мы хотели бы это дальше потом развивать до пределов, которые нам позволят.
Вторая тема, вторая рамка этого разговора – это подготовка к другим круглым столам. Я имею в виду рамка для этого разговора. Мы понимаем, что разные сферы жизни и разно социально значимые среды – вопросы этики будут в них выглядеть по-разному. И мы впоследствии, вот уже две встречи запланированы, будем обсуждать уже более предметно в отраслях, которые для людей являются как бы болезненными, или люди чувствительны, когда какие-то технологии заходят новые в эти сферы.
Мы планируем обсуждать 1 июля применение искусственного интеллекта в образовании. И через неделю – 8 июля – мы планируем применение искусственного интеллекта в медицине и вопросы, связанные с редактированием генома. Ну, в общем, как бы вот эти технологии и этические вопросы, связанные с ними. Понятно, что там есть еще много вопросов, сфер таких: это безопасность, вопрос финансов, транспорта и так далее. Я думаю, что мы каким-то образом потом к ним тоже придем. Значит, это вторая рамка.
Третья рамка – это для того чтобы нам выходить на какой-то уровень мировой, мы понимаем, что нам нужны тоже серьезные партнеры, на кого мы можем опереться. Поэтому мы бы хотели, ну, как бы соответствовать тому дискурсу, который уже ведут большие корпорации, и мы планируем как бы выйти на коммуникацию с ними. Это «Сбербанк», это «Школа антропологии будущего», которая на базе РАНХиГС сделана, это, возможно, «Яндекс», ну, и другие корпорации. Ну, как бы это тоже вопрос на обсуждение, кому это интересно, кто обсуждает эти вопросы. Не только в России, но и за рубежом.
И последняя, четвертая рамочка, которую хотелось бы задать, перед тем как выступления будут и обсуждения, – это формат: а чего мы хотим в результате, как это будет овеществляться, то есть что мы хотим получить в результате, в каких форматах эти результаты этого разговора можно почувствовать.
И мы для себя сделали как бы гипотезы. Первая гипотеза – это некие полигоны в тех сферах деятельности, которые я указывал, на кейсах. Ну, то есть как бы тоже понять нужно, как этот полигон будет выглядеть отработки вот этой экспертизы гуманитарной. Это первый формат, который возможен. Второе – это институт гуманитарной экспертизы, применение тех или иных технологий. Еще мы внутри как бы группы обсуждали такие вещи, как манифест определенный, как заявление какой-то определенной группы о том, что мы видим в будущем риски какие-то или что необходимо сегодня предпринять, для того чтобы избежать этих рисков. Соответственно, вот такие четыре рамочки хотелось бы задать для нашего разговора.
По выступающим. У нас семь человек. Не хотелось бы, конечно, ограничивать. Но я думаю, что чтобы всем хватило времени и обсудить, 7-10 минут максимум – выступление. И потом мы как бы, наверное, какое-то отношение будем производить.
Мы пригласили и любезно согласился Евгений Хвостик, заместитель руководителя группы иностранной информации Издательского дома «Коммерсант» (Москва) выступить с такими кейсами или с той повесткой, которая в области этики использования искусственного интеллекта разворачивается в мире, сделать небольшое вступление, чтобы задать масштаб проблемы и понять, как в мире эта повестка насколько она остро стоит. Евгений, здравствуйте!
Хвостик Е.: Здравствуйте!
Зубарев К. И.: Вас хорошо слышно. Мы сейчас попробуем вывести вас на большой экран, чтобы вы тоже всё видели. То есть, в принципе, можете начинать.
Хвостик Е.: Очень приятно присутствовать на такой дискуссии. Большое спасибо за приглашение. Как вы уже сказали, меня зовут Евгений Хвостик, зам начальника группы иностранной информации ИД «Коммерсант». Я занимаюсь, помимо прочих тем, хайтек, искусственный интеллект, облачные технологии и так далее. Поскольку наш отдел занимается иностранной информацией, то мы анализируем и освещаем темы, связанные только с тем, что находится за пределами России. И когда какие-то темы смежные, то мы их рассматриваем вместе с коллегами, которые занимаются российским рынком и российской ситуацией.
Ну, в общем, хотелось бы сначала сказать, что, например, использование систем искусственного интеллекта, вот уже в таком массовом потребительском объеме, на Западе началось относительно давно. Например, с 2014 года уже Amazon, крупнейший интернет-ритейлер, начал применять искусственный интеллект для подбора кадров. Но через несколько лет в 2018 году компания отказалась от использования этой системы. Потому что выяснилось, что программа отдавала предпочтение мужчинам и чаще игнорировала женщин. Объяснялось это просто: программа была настроена на подбор кандидатов с учетом критериев, которые применялись предыдущие около 10-15 лет. Ну, и, соответственно, поскольку проблема такая продолжает существовать, как бы предпочтение мужчин женщинам даже в развитых странах, в США, соответственно, программа делала точно такие же ошибки, которые делала компания до этого. Потому что программы пишут живые люди. Программа оценивает те же критерии и выдает те же выводы, которые до этого делали живые люди.
В 2018 году та же Amazon решила использовать систему искусственного интеллекта для оценки эффективности деятельности своих сотрудников. Выражалось это в анализе, во-первых, KPI производительность сотрудников, плюс системы анализа эффективности людей на рабочих местах, камеры наблюдения, пропускные системы и так далее, опоздания, как люди отлучались с мест рабочих во время работы. Естественно, система давала все эти рекомендации и как бы сама не принимала решения. Но потом выяснилось, что эта система работает настолько в прямом смысле бездушно, что некоторые рекомендации давала уже вплоть до увольнения людей. И затем в компании решили приостановить действие этой системы.
Еще одним интересным кейсом уже с участием государства стал пилотный проект в Штате Нью-Джерси, когда местные власти решили сократить нагрузку на местные тюрьмы (или, как у нас, следственные изоляторы) и внедрили в пилотном тоже режиме систему оценки деяний того или иного подозреваемого, подследственного, для того чтобы она рекомендовала судьям ту или иную меру пресечения: то есть либо находиться под стражей до суда, либо под подписку о невыезде. Спустя несколько лет выяснилось, что система также несет некоторый дискриминационный характер. Потому что в рекомендации о заключении под стражу до суда чаще выносились в отношении чернокожих, чем в отношении белых. Когда стали разбираться, также выяснилось, что система просто работала по аналогии с предыдущими решениями. Она анализировала базы данных решений, образование, возраст подследственных. И так же, как в предыдущие годы, получилось так, что она точно так же дискриминировала чернокожих, как раньше это делали живые люди, живые судьи. В общем, я бы сказал, что...
Ну, про Китай, я так понимаю, что вы обсуждали уже в предыдущий раз. Ну, собственно, применение в Китае систем искусственного интеллекта, оно уже успело подвергнуться критике правозащитников, особенно что касается систем распознавания лиц в Синьцзянском автономном округе. Как известно, там есть так называемое исправительное заведение. Некоторые правозащитники называют их «концлагерями». И правозащитники говорят, что там тотальная слежка, «большой брат», Оруэлл – вот это всё.
Во многом на фоне вот таких сообщений о Китае, где-то начиная с 2018-2019 года в США и в Европе пошло довольно мощное движение по ограничению использования правоохранительными органами, властями систем распознавания лиц, идентификации удаленной людей, наблюдение с камер. И так, например, в 2019 году в США городской совет Сан-Франциско первым запретил полиции использовать на систематической основе систему распознавания лиц. Потом к этой инициативе подключились другие города Калифорнии. И в конце 2019 года весь штат Калифорния ввел трехлетний мораторий на использование вот этих систем как бы без особого разрешения. То есть когда нужно найти какого-то конкретного преступника, а не так, чтобы у полицейских включены были все камеры, всё это в единую базу, и полицейский всегда мог подключиться и отследить любого человека.
Затем в Евросоюзе велась активно дискуссия по этому поводу. И всё это привело к тому, что вот в апреле уже этого года Еврокомиссия предложила, наверное, самый масштабный в мире комплексный законопроект об ограничении систем применения искусственного интеллекта. Они разделили все системы искусственного интеллекта на четыре как бы вида. Полностью неприемлемые системы искусственного интеллекта, которые будут полностью запрещены в ЕС, – это системы, которые влияют на выбор людей. То есть это системы, грубо говоря, назойливой, скажем так, рекламы, навязывание людям, влияние на свободу их выбора. Ну, такие, в принципе, в Евросоюзе системы и так не особо используется, но они решили подстраховаться. А вторая по серьезности система искусственного интеллекта в ЕС – это вот как раз система распознавания лиц, удаленной идентификации. И здесь Евросоюз решил серьезно ограничить и контролировать использование таких систем, в частности, пока сейчас идет период общественных консультаций, общественного обсуждения этого законопроекта до середины августа, насколько я помню. Потом Еврокомиссия будет принимать какие-то возражения. А потом это будет спущено на уровень Совета Европы и национальных парламентов стран ЕС.
Так вот, системы наблюдения, идентификации, использование их полицейскими и правоохранительными органами предлагается строго ограничить, во-первых, решением суда, во-вторых, строго ограничить по времени и месту использования либо для поиска конкретных преступников, то есть ордер на обыск, надо искать конкретного человека, либо для поиска пропавших людей. И каждый раз власти будут контролировать использование этих систем. И, что самое главное, оно будет ограничено по времени и по месту. То есть, когда, допустим, какого-то человека найдут, то всё, этот ордер прекращается. Ну, вот пока в Европе сейчас идет период обсуждения этой инициативы.
И, как бы завершая выступление, я бы хотел привести такой курьезный пример. В апреле Институт Мадрида провел опрос в нескольких странах Европы. Вопрос задавался следующий: не считаете ли вы, что количество депутатов местных законодательных собраний, парламентов слишком велико? И, как вы считаете, нельзя ли часть этих депутатов заменить искусственным интеллектом? Таким образом, как вы оцениваете их работу? Больше половины (51%) ответили, что да, часть депутатов можно сократить, работа их (по мнению опрошенных) такова, что их можно заменить искусственным интеллектом.
Таким образом, можно отметить такой курьезный момент, что правозащитники пытаются всячески ограничить применение искусственного интеллекта властями, но при этом население довольно негативно относится в растущей бюрократии, к коррупции самих политиков, что, в общем, хочет бороться с этим при помощи того же искусственного интеллекта.
И я хочу сразу извиниться и предупредить, что мне придется на полчаса отлучиться. Поскольку у нас в Москве режим удаленной работы и мне приходится ходить в разные места. Спасибо.
Зубарев К. И.: Спасибо, Евгений! Скажите, могу я вопросы уже задавать? Я думаю, что вопросы какие-то есть, мы по ходу их задаем. Если их исчерпаем, то тогда потом переходим. Вопрос: а есть ли какой-то дискурс в связи с применением искусственного интеллекта в транспорте? Примеры, какие-то кейсы?
Хвостик Е.: В транспорте, вы что имеете в виду. Оплата?
Зубарев К. И.: Я имею в виду в автопилотах или в управлении транспортными системами. [00:45:00]
Хвостик Е.: Если брать шире искусственный интеллект, во-первых, это автопилоты. То есть, как мы все знаем, у Tesla, например, есть режим автопилота. Правда, это тоже вызывает споры. Потому что в прошлом, по-моему, году в Штатах произошло первое смертельное ДТП с участием Tesla, которая шла на автопилоте. Там выяснилось, что виноват был не автомобиль, а грузовик, в который он врезался. Но, тем не менее, это вызвало целую бурю в СМИ, вплоть до запрета применения автопилота в Tesla. Плюс, насколько я знаю, уже некоторое время в Азии используются пилотные шатлы, поезда в аэропорты. По-моему, в Корее где-то в аэропорт можно поехать на поезде, который отправляется без машиниста. Ну, и, в принципе, если брать шире как бы использование искусственного интеллекта на транспорте, то можно отметить значительное расширение так называемых «умных» автомобилей, которые оснащены сенсорами, радарами и так далее, также можно в России увидеть тестовые такие автомобили, которые анализируют обстановку на дорогах, принимают решение. И, конечно, там сидит пилот для контроля и для наблюдения. Но, в принципе, это тоже говорит о том, что искусственный интеллект на транспорте очень активно применяется. И я могу по личному опыту сказать, что, например, в Tesla в Стокгольме довелось мне поездить в качестве пассажира. И водитель мне показал, что, в принципе, там есть система, которая оказывает помощь при парковке. Это было пару лет назад. Сейчас это, в общем, довольно распространенное явление. Тоже оценивает ситуацию, экстренное торможение и вот это всё. То есть это всё тоже искусственный интеллект на транспорте, конечно. Это всё очень бурно развивается.
Сидорова Т. А.: Спасибо за интересное сообщение. Меня зовут Сидорова Татьяна. Вопрос следующий. Вы сосредоточились на том, что само отношение к искусственному интеллекту, в первую очередь, определяется регулированием. То есть разрешать/не разрешать, ограничивать/не ограничивать. А меняется ли что-то, скажем, в самом техническом содержании этих искусственных интеллектуальных систем в качестве реакции на общественные дискуссии и, соответственно, на потребности какие-то общественные, которые выражаются, в конечном итоге, в этих запретительных и ограничительных нормах?
Хвостик Е.: С технической точки зрения я могу сказать, что, например, в США, когда в прошлом году там пошли протесты из-за убийства чернокожего полицейскими, как мы знаем, три корпорации (Intel – первая, по-моему) отказалась поставлять свои технологии полиции, технологии, связанные с распознаванием лиц. Это было связано с тем, что полиция массово применяла нательные камеры и камеры в машинах для отслеживания по лицам подозреваемых. Грубо говоря, это была тотальная слежка в каких-то неблагополучных чернокожих районах. Другие компании (это, по-моему, Amazon и Microsoft), они с технической точки зрения ограничили определенные алгоритмы, которые существовали в ПО, в софте, который применяла полиция тоже при работе систем распознавания лиц и удаленной идентификации. То есть дело в том, что корпорации, которые занимаются техническим обслуживанием и разработкой, они, в общем, являются такими же участниками общественной дискуссии. Плюс, они еще являются, как правило, акционерными компаниями. И если общественная дискуссия как бы ведет в ту сторону, что слежку надо… ну, не слежку, а использование искусственного интеллекта правоохранительными органами нужно как-то ограничивать. Но если какая-то компания западная акционерная как бы не обращает на это внимания, продолжает полиции что-то поставлять, то у компании могут, например, упасть в цене акции, их могут критиковать акционеры. То есть это сказывается на бизнесе компании. И, соответственно, та компания, которая занимается именно техническим оснащением, она тоже принимает определенные меры. Она не запрещает, она просто может изменить систему работы своих технологий, которые поставляются властям или тем, кто их использует. То есть я бы сказал, что с этой стороны идет какое-то определенное техническое изменение работы этих систем.
Зубарев К. И.: Есть у кого-то, коллеги?
Аникин Ю. А.: Добрый день! Спасибо. Вопрос следующий. Аникин Юрий. Мне кажется, одно из самых важных, что прозвучало, – это как раз готовность людей заменять не просто депутатов. У депутатов, у них же конкретная функция – это представление людей. Представление людей как раз в области регулирования социальных отношений и проектирования будущих норм. И здесь человек как бы очевидно отказывается от этой ответственности проектировать эти самые социальные нормы самому и переложить их на искусственный интеллект. Я правильно понимаю?
Хвостик Е.: Понимаете, там речь идет о том, чтобы заменить... Там не задавались конкретные вопросы: при решении каких проблем нужно использовать искусственный интеллект и заменить этих интеллектом депутатов. Но, на самом деле, я не знаю, если вы знакомы с работой местных каких-то законодательных собраний, довольно часто там действительно довольно техническая работа происходит. Не знаю, принятие каких-то норм в третьем чтении, когда уже, в общем, всё одобрено, остались какие-то правки. И депутату выдают 600 страниц текста, и его надо прочитать за три дня, как голосование по третьему чтению. То есть тут нельзя сказать, что каждый депутат 24 часа только тем и занимается, что прямо решает судьбы народа. На самом деле, там довольно много технической работы. И в этом плане эта доля здравого смысла, мнение вот этих опрошенных людей, она, может быть, присутствует. Но, конечно, надо смотреть по каждому конкретному кейсу по применению этих искусственных технологий, как при использовании любой технологии. Так же, как нельзя заменить музыканта нейросетью (хотя кто-то пытается). Ну, и так далее.
Зубарев К. И.: Евгений, а можно вот еще раз, может быть, уточните. Я, может быть, не совсем понял. Вот вы говорили про Европейскую комиссию, которая выделила четыре типа технологий. Ну, вернее, категорий, наверное. Да?
Хвостик Е.: Да.
Зубарев К. И.: Я так понял, что мы там акцентировали внимание на технологии, тип технологий, которые полностью запретить. А можете еще раз вот эти градации сказать?
Хвостик Е.: Значит, смотрите, сейчас я просто процитирую. К системам искусственного интеллекта (сначала самые, которые запретить) с неприемлемо высоким риском предлагается относить системы, которые (цитата) «манипулируют человеческим поведением, влияют на свободу выбора». Например, гаджеты, любые устройства или игрушки, которые поощряют опасное поведение несовершеннолетних, либо системы, которые позволяют правительствам осуществлять так называемый «социальный скоринг», моделирование поведения человека или его классификацию при помощи анализа искусственного интеллекта и его поведения в соцсетях, используя, в том числе, такие данные, как вес, пол, возраст, внешность, место рождения, проживание, должность и так далее. Вот этим системам будет полный запрет. И системам искусственного интеллекта с высоким риском ЕС предлагает применять строгое ограничение. И вот это уже речь идет и об удаленной биометрической идентификации, также об автоматической оценке кредитоспособности гражданина (это кредитный скоринг), который, кстати, в России сейчас всё чаще используется, автоматический. Вот эти системы Еврокомиссия предлагает серьезно контролировать и ограничить.
Если как бы спускаться ниже по степени риска, например, третьим уровнем являются системы с ограниченным риском. Этими системами ЕС предлагает считать системы со специфическими прозрачными задачами, например, чат-боты. Ну, чат-ботами, я думаю, мы уже все успели попользоваться. В общем, тоже есть определенные, конечно, риски. Чат-бот может сейчас уже в интернете пошли всякие шутки, мемы, как чат-бот человеку предлагает какие-то кредитные карты, потому что не так понял. Но, тем не менее, это чат-бот, и ЕС не видит тут каких-то смертельных рисков, но предлагает как бы контролировать работу таких систем.
Зубарев К. И.: Спасибо. Есть еще вопросы? Друзья, если нет вопросов, я тогда передаю слово следующему докладчику. Сидорова Татьяна Александровна, кафедра фундаментальной медицины, Институт медицины и психологии НГУ .
Сидорова Т. А.: Здравствуйте, уважаемые коллеги! Поскольку я работаю в Институте медицины и психологии, то, конечно же, сориентировалась, в первую очередь, на гуманитарных проблемах искусственного интеллекта в медицине и попыталась их рассмотреть среди направлений цифровизации медицины. Поэтому я представлю следующие области цифровизации медицины, которые связаны, в первую очередь, с формированием цифровых баз данных, с работой с большими данными, созданием интегрированных систем организацией управления здравоохранением, внедрением телемедицины, ну, и в узком значении само применение искусственного интеллекта и робототехники, использование различных мобильных устройств для контроля за здоровьем человека. Все эти сферы взаимосвязаны. Все они основаны на сборе биомедицинских данных. А искусственный интеллект является здесь средством обработки этих данных и аппроксимации.
Цифровизация медицины и, в частности, использование больших данных и технологий искусственного интеллекта дает возможность поднять на новый уровень диагностику, лечение и систему профилактики заболеваний. Однако остро встает вопрос, в какой мере можно использовать эти возможности и как регулировать применение. Поскольку ограничения замедляют развитие технологий и в целом прогресс в медицине, неограниченное применение чревато дискриминацией и нарушением прав и свобод личности.
Обозначу некоторые проблемы крупным планом в телемедицине, в области дистанционного наблюдения за здоровьем человека. Здесь я обозначила плюсы и минусы телемедицины. Безусловно, к плюсам телемедицины относится то, что она преодолевает гигантские расстояния, но не только связывает врачей и пациентов, но и дистанцирует их, делает излишним непосредственное общение. С одной стороны, телемедицина дает возможность привлечь авторитетных специалистов в консультирование, а с другой – создает соблазн избыточного онлайн-консультирования. Эта избыточность может порождаться как избыточным предложением со стороны врачей (и это будет, как правило, связано с платным предоставлением услуги), так и желанием пациента по сколь угодно ничтожному поводу обращаться с жалобами могут стать источником такой избыточности. Это, в конечном итоге, ведет к возрастающей зависимости человека от медицины, получившей название «медикализация». Причем она может сопровождаться появлением специфических ятрогений онлайн-генеза. Напомню, что ятрогения – это болезнь от слов врача или болезнь от лечения, или в современном контексте можно говорить о том, что это болезни от прогресса медицины, которые связаны с излишними разбалансированными вмешательствами в функции организма.
В качестве иллюстраций я выбрала самую продвинутую китайскую облачную медицинскую экосистему Ping An Good Doctor, которая включает дистанционные консультации, в том числе, через терминалы, установленные в метро, на предприятиях, в учреждениях, онлайн-аптеке и ряд других функционалов, которые пациенты могут использовать, опираясь на рекомендации врача, ну, и одновременно занимаясь самолечением.
Кроме того, к плюсам дистанционной медицины можно отнести персонализацию, которая коррелирует с возрастанием ответственности за здоровье у конкретного пациента. Поскольку он имеет возможность корректировать мониторирование своего состояния, оперативно реагировать на изменения, что-то исправляя в образе жизни, становясь комплаентным, то есть приверженным дисциплине по исполнению назначений врача. Но, с другой стороны, это способствует потребительскому использованию медицинских средств. Медицина становится гипермаркетом цифровых услуг и тем самым затрагивает болезненный вопрос о превращении медицинской помощи в медицинскую услугу. Гуманитарные вопросы при использовании данных в медицине я вынесла на этом слайде. К ним можно отнести широкое применение технологий, использующих данные, включая искусственный интеллект. Это может принести непреднамеренный вред, если мы не будем думать о следующих вопросах. Транспарентность использования данных, то есть с какой целью они собираются. Об этом общество должно знать. Как обеспечить подотчетность и объяснимость. Люди должны понимать, где и как используются эти данные. Соблюдение конфиденциальности. Эффективность, справедливость и беспристрастность. Например, существует риск того, что использование биомедицинских данных может принести пользу одним группам за счет других. Технологии больших данных предполагают новые ресурсы обеспечения автономии пациентов, но делают проблематичным требования уважения неприкосновенности их личного пространства и конфиденциальности.
На этом слайде представлена информация о нарастающих масштабах цифровизации и датаизации в медицине. Начало нужно видеть в проекте «Геном человека», который взял старт в конце 80-х годов и завершился в 2003 году. Но с тех пор эти темпы и масштабы, растут с неизмеримой скоростью. С 2019 года в США осуществляется программа, которая называется «Все мы», которая соберет данные по результатам секвенирования генома и образа жизни одного миллиона американцев.
Следующий аспект гуманитарного анализа сбора биомедицинских данных связан с соблюдением врачебной тайны. Биомедицинские данные представляют собой сведения, которые традиционно в медицине составляли врачебную тайну. Данное медицинское, правовое, социально-этическое понятие представляет собой запрет медицинскому работнику сообщать третьим лицам информацию о состоянии здоровья пациента. Врачебная тайна – это один из важнейших принципов профессиональной медицинской этики. И, кроме того, в российском законодательстве, в Федеральном законе 323 «Об основах охраны здоровья граждан», защита врачебной тайны как раз обеспечивается отдельной статьей № 13.
Нарастающая датаизация медицины остро ставит вопрос о соблюдении права на приватность и конфиденциальность, права на распоряжении информации о собственном здоровье и, кроме того, ставит на грань существования само вот это незыблемое для медицины в течение тысячелетий этическое требование, которое еще встречается в клятве Гиппократа, где врач дает обещание «что бы я ни увидел и ни услышал из жизни людской, будет для меня навеки тайной».
Данные, составляющие медицинскую тайну, сегодня все более востребованы третьими сторонами и, например, вызывают интерес не только у коммерческих структур, но и у государственных органов. Например, в 2019 году МВД Российской Федерации запросило у Минздрава предоставлять сведения о людях с психическими расстройствами, алкоголизмом, наркоманией для предотвращения преступлений. Представители Минздрава заявили, что подобная передача будет разглашением медицинской тайны. Профессиональные сообщества, правозащитники также выступили против.
В цифровую эпоху медицинские документы и другие сведения, составляющие врачебную тайну, не являются единственным источником данных о физическом состоянии здоровья человека. И к таким источникам можно относить оцифрованные медицинские карты, мобильные приложения для здравоохранения. Ну, и, кроме того, данные соцсетей, поисковых запросов и так далее. Социальные сети и истории поисковых запросов, данные о передвижении, посещении людей в лечебных учреждениях, покупках тоже становятся источниками данных, которые потенциально могут быть использованы, например, при оценке рисков страхования или при приеме на работу. Возникает проблема не только эффективного, но и этичного оборота и использования медицинских данных.
Прежде чем использовать эти большие данные, нужно решить главный этический вопрос: как обеспечить пациенту приватность. Сегодня технически доступно вычисление людей с конкретными особенностями, даже если сами индивидуумы явно на них не указали. При этом важно отметить, что большие данные не требуют однозначно указания на принадлежность к той или иной группе. Они позволяют выявлять ее признаки автоматически. Например, прием определенных лекарств может указывать на ВИЧ-статус. Искусственный интеллект сегодня, например, используется в Facebook, который внедрил алгоритм, который делает выводы о суицидальных намерениях пользователей. Обычные лайки в Facebook могут с точностью предсказывать сексуальную ориентацию индивида, его этническую принадлежность, религиозные и политические взгляды, черты личности, уровень интеллекта и так далее, и так далее. И сегодня специалистам отделов кадров, занимающихся рекрутингом, не так необходимы хитроумные тесты. Анализ цифровых следов даст более надежный портрет претендента на должность и, в том числе, на медицинскую страховку. И поэтому реальность сегодня такова, что мобильный оператор знает об обращениях человека за медицинской помощью больше, чем сама система здравоохранения. Поэтому действительно, в обществе растет озабоченность, как регулировать использование данных.
Вот здесь я привожу пример Великобритании, где после длительного обсуждения всеми заинтересованными сторонами был сформулирован кодекс правил в отношении использования технологий, основанных на данных. Причем этот кодекс обновляется. По замыслу создателей этот кодекс должен стать частью общей цифровой национальной стратегии и помочь создать среду, которая поддерживает инновационные технологии, использующие данные, обеспечить безопасность, конкурентоспособность, соблюдение этических и правовых норм. И преамбула этого кодекса как раз включает вот такую констатацию, что люди должны знать, что их данные используются в их интересах, что конфиденциальность и права защищены. Специалисты, работающие с базами данных, несут ответственность за то, чтобы люди были должным образом проинформированы о том, как и когда передаются данные о них, чтобы они могли быть уверены в том, что их данные используются в законных, справедливых и равноправных целях.
И с этой точки зрения я хочу здесь маленький комментарий дать, что такое информированность о том, как применяются эти базы данных. То есть что значит, что «люди проинформированы и поняли эту информацию». Дело в том, что к самой медицине, к области отношений врача и пациента издавна предъявляется вот такое требование, что врач обязан в доступной форме доносить до пациента информацию. Он должен уважать, не просто признавать автономию пациента, право на его выбор в медицинском решении, а уважать эту автономию. То есть что это означает? Это означает, что он должен обеспечить всеми своими профессиональными и коммуникативными средствами понимание пациентом, на что он имеет право. То есть если врач этого не делает, он не профессионален с этической точки зрения. Пациент может отказываться о того, чтобы самостоятельно принимать решение, но врач должен подготовить своего пациента к тому, чтобы он воспользовался этим своим правом. Вот что значит подготовить то, что люди понимают, на что они имеют право, что они свои данные действительно предоставляют их профессионалам, которые будут этически компетентны.
Ну, и, наконец, я все-таки к искусственному интеллекту в цифровой медицине перейду. Здесь я обозначила использование искусственного интеллекта, который построен на анализе медицинских данных. Значит, какие преимущества это использование обеспечивает. В первую очередь, позволяет качественно улучшить диагностику, персонализировать лечение, коренным образом изменить принятие врачебных решений, расширить возможности раннего выявления и профилактики заболеваний.
Искусственный интеллект предоставляет алгоритмы и программное обеспечение для аппроксимации человеческих знаний при анализе сложных медицинских данных. Здесь под искусственным интеллектом понимается способность машины ориентироваться в меняющемся контексте и принимать с его учетом оптимальное решение. Умные алгоритмы востребованы врачами при решении разнообразных задач, оценки вероятности осложнений заболеваний, сбора данных пациентов, помощи в постановке диагнозов, назначении лечения, мониторирования и анализа данных тяжелобольных пациентов в режиме реального времени. Искусственный интеллект обеспечивает беспрецедентную скорость и качество анализа медицинских данных, проанализировать которые человек и даже большие профессиональные коллективы не в состоянии. Известен случай, когда суперкомпьютер «Ватсон» выявил у 60-летней пациентки редкую форму лейкемии, изучив 20 миллионов научных статей о раке всего за 10 минут.
Несмотря на указанные выше преимущества применения искусственного интеллекта, имеются и негативные последствия для пациентов и врачей. Так использование данных технологий ради эффективности лечения приводит к проблеме нарушения права пациентов на частную жизнь и сохранении конфиденциальности личных данных, к обнародованию врачебной тайны, что угрожает утратой приватности. Данные из электронной карты, используемые для обучения искусственного интеллекта, могут быть доступны для страховой компании, которая повысит цену медицинского полиса и страхования жизни, если пациент не ведет здоровый образ жизни и не выполняет все рекомендации врача по лечению. Работодатель может отказать в трудоустройстве соискателю, если будет владеть информацией о наличии у него хронических заболеваний или генетической предрасположенности к определенным видам заболевания. Появляется реальная угроза дискриминации людей по физическим и генетическим характеристикам. Также возникает вопросы: кто истинный владелец медицинских данных, кто и в какой мере может ими распоряжаться (пациент, врач, клиника, страховая компания, работодатель или вычислительный сервис). При использовании алгоритмов в медицине есть вероятность диагностической ошибки, которая может произойти на первых этапах обнаружения и восприятия симптомов. Создать корректные алгоритмы дифференциальной диагностики для всех заболевания пока достаточно трудно.
До сих пор не ясным остается вопрос о принятии решений интеллектуальным ядром системы. Поскольку самообучаемый искусственный интеллект, реализованный на нейронных сетях, работает по принципу «черного ящика». В нейронной сети могут возникать ложные корреляционные зависимости и ошибки. И если система приняла неправильное решение, то невозможно понять, почему. А я напомню, что, вообще, медицинская деятельность, она связана с тем, что постоянно в процессе профессиональной деятельности присутствует вот этот анализ врачебных ошибок. То есть врачи всегда учатся на ошибках.
Известно, что эксперты-медики, работающие с суперкомпьютером «Watson» обнаружили многочисленные примеры небезопасных, неправильных рекомендаций по лечению, которые он давал, используя соответствующее программное обеспечение. Одним из примеров в документах стал случай 65-летнего пожилого пациента, которому поставили диагноз рака легких и у которого обнаружили мощное кровотечение. «Watson» предложил назначение химеотерапии и препарат, который приводил к мощному и смертельному кровотечению. Значит, этот препарат ни в коем случае нельзя было назначать в этом случае.
Кроме того, существует опасность внедрения в работу искусственного интеллекта вредоносных программ. Недавно израильские исследователи с целью тестирования информационной безопасности высокотехнологичного оборудования в медицинских учреждениях создали вредоносное программное обеспечение, которое способно на этапе проведения процедуры вносить изменения в результате МРТ и КТ. Причем выявить подлог практически невозможно. Вирус, который был разработан в рамках эксперимента, способен автоматически добавлять снимки реалистические изображения опухоли или, наоборот, удалять. В ходе исследования реальные снимки легких, часть из которых была модифицирована программой, показали трем опытным рентгенологам. В 99% случаев профессионалы не могли заметить подлога и приходили к ошибочным выводам, обнаруживая злокачественные новообразования, которых в реальности не было, и в 94% случаев не замечали следов их стирания, если программа их удаляла. Таким образом, была выявлена уязвимость интеллектуальной системы, чем легко могут воспользоваться злоумышленники.
Ну, и кроме того, следует указать также на то, что использование технологий искусственного интеллекта в постановке диагноза и лечения наделяет врачей небывалыми ранее возможностями оказания пациентам медицинской помощи, но в достаточно близкой перспективе угрожает отстранить их от общения с пациентом, заменить врача роботом, который более надежно ставит диагноз и осуществляет лечебные мероприятия.
Следует отметить, что на умные алгоритмы врач не может полностью полагаться. У когнитивных систем возникают проблемы с качеством и объемом медицинской информации. Дело в том, что накопленные в медкартах пациентов данные могут быть не полными, содержать ошибки, неточности, нестандартные термины. В них недостаточно записей о жизни пациента, его привычках и поведении. Поэтому главная проблема гуманитарного характера в применении искусственного интеллекта в медицине – это устранение уникальности и контингентности в индивидуальной медицинской истории пациента. Если человек станет трансчеловеком, только тогда, наверное, со стопроцентной эффективностью будет его лечить искусственный интеллект.
Когда-то русский философ Иван Ильин в «Записках старого врача» назвал главные ценности врача, утверждая, что, во-первых, «медицина есть призвание, но не дело дохода» и то, что каждый пациент уникален. Гиппократ также говорил о том, что гораздо важнее знать, какой человек болен, чем знать какой болезнью.
Использование искусственного интеллекта отменяет ценность клинического мышления. Клиническое мышление – это соединение знаний и врачебной интуиции. Поэтому первичным в медицине является непосредственное взаимодействие врача с пациентом. Ведь клиника как учреждение возникло как раз как процесс наблюдения пациента у его постели. То есть клиника – это то место, где всегда обучают будущих врачей, именно у постели пациента. Поэтому анализ клинических проявлений всегда будет отличаться от анализа данных. И уникальность каждого пациента отвергает установление некой стандартной нормы, паттерна по усредненным показателям, пусть даже и полученным на бесконечно огромной выборке, предоставленной B ig Data.
Следствием алгоритмизации и цифровой стандартизации в медицине будет антропологическая трансформация, которая получила название «квантификация идентичности человека». В цифровой медицине и совокупности всех ее составляющих происходит серьезное преобразование самопонимания человека. Искусственный интеллект и Big Data технологии в той степени могут помочь человеку заботиться о себе, в которой он как сам будет представлен в качестве определенной совокупности данных и цифр. Наблюдается процесс оцифровывания и датификации человека как субъекта и объекта самоконтроля и цифрового контроля со стороны медицины. Человек всё в большей степени осознает свою сущность, себя самого в качестве оцифрованной или в квантифицированной идентичности – Quantified Self, используя ресурсы соответствующей платформы.
Следует подчеркнуть, что технологизация заботы о себе не ограничивается сферой медицины. Сюда подключаются и компьютерные программы, приложения для смартфонов, планшетов, трекеры физической активности и так далее, и так далее. И всё это формирует квантификацию себя.
Трансформация отношений «врач – пациент». В цифровой медицине происходит трансформация отношений «врач – пациент», поскольку квантифицируется не только пациент, но и врач. Медицинские профессионалы меняют свою субъектность. Если вспомогательные устройства до сих пор выполняли роль инструмента в качестве продолжения рук, глаз врача, то теперь рядом с врачами появляется новый в определенной степени автономный субъект – машина, обладающая искусственным интеллектом. Шаг за шагом машина превращается из подручного средства, действие которого полностью контролируется врачом, в самостоятельно принимающего решения и проводящего различные медицинские вмешательства агента. Возрастающая доля субъектности устройств с искусственным интеллектом, автономность их действий обуславливается уже отмеченным обстоятельством, что врач не в состоянии самостоятельно проверить рекомендации, которые ему дает машина, понять основание ее решения и действия, разобраться в ошибках. Тем самым он вынужден делегировать ей часть своей субъектности, полагаться на ее компетентность и добросовестность.
Я перехожу к выводам. Мои выводы будут касаться все-таки вот этих особенностей гуманитарного анализа применения искусственного интеллекта. И особенностью гуманитарной критики является бинарный анализ. То есть там, где есть плюс, нужно предупреждать появление минуса. Под ними нужно понимать те социальные гуманитарные следствия, которые будут, в конечном итоге, снижать эффективность и оправданность огромных инвестиций в разработку умных технологий, подрывать доверие общества, санкционирующего или препятствующего развитию новых технологий, создавать технократические иллюзии ускоренного решения фундаментальных проблем, связанных с возникновением заболеваний, диагностикой и лечением, углублять медикализацию, разрушать устойчивые социокультурные нормы, на основе которых формировалась идентичность самой профессии врача и статус врачебной профессии в обществе. И всё. На этом я могу закончить. Спасибо за внимание.
Сидорова Т. А.: Спасибо. Вопросы есть?
Пестунов А. И.: Татьяна, Александровна, спасибо за доклад. Вопросы этического характера, они, вообще, по-моему, всех волнуют. И буквально, с первых слов сразу куча мыслей начало роиться, и вот они в течение всего доклада роились. И много вопросов по ходу возникло. Но в итоге я понял, что они сводятся все к одному и тому же вопросу. У нас до цифровых технологий решение принимают, условно говоря, врачи, сейчас – искусственный интеллект. Но ошибки и врачебные, и технологические существуют. Так вот хотел бы задать вопрос: в чем принципиальное отличие ошибок, которые допускают люди, от ошибок, которые допускает искусственный интеллект. Например, говорили про дискриминацию, которую искусственный интеллект производит. Однако если человек проводит собеседование и отклоняет каких-то кандидатов по уровню образования, по уровню интеллекта, склонностям, не является ли это дискриминацией? А это было и до цифровых технологий. Или, например, мы говорим, что цифровой гипермаркет фармакологических продуктов получается. Но он и сейчас есть. И не обязательно он связан с цифровыми продуктами. Также маркетологи и продавцы всегда старались, можно сказать, «втюхать» свои товары даже не нуждающимся. И вот, собственно говоря, мой вопрос. Ошибки людей в доцифровую эпоху и вот такие вещи – в чем принципиальная разница?
Сидорова Т. А.: Спасибо за вопросы. Я в обратном порядке пойду. Что касается гипермаркета. Ну, действительно, применение искусственного интеллекта и, в том числе, вся вот эта цифровизация медицины, усиливает те процессы, которые уже объективно в медицине происходят. И я обозначила, что это очень болезненный для самого понимания сущности и назначения медицинской профессии вопрос о том, чем является медицинская помощь: является ли она услугой или является формой, скажем, милосердной деятельности, как это определяется в медицинской этике. И, конечно же, цифровизация, она, так или иначе, расширяет предложение и облегчает коммодификацию жизненных благ (то есть коммодификация – это превращение в товар). То есть до сих пор жизненные блага, они имели все-таки отдельный статус: они взвешивались иначе, они защищались иначе, в том числе, в рамках закона. Как только это становится как бы более пригодным для продвижения, для товарно-денежных отношений, вот мы и говорим о том, что мы эти тенденции должны зафиксировать.
Что касается врачебной ошибки. Большой авторитет в отечественной медицине имеет И.В. Давыдовский, создатель патоанатомии в России, он определял врачебные ошибки следующим образом. Что это есть «добросовестное заблуждение врача, но без элементов халатности». Обратите внимание, что критерием врачебной ошибки здесь является некая этическая, так сказать, категория – совесть. И признается, что, вообще, человек, с точки зрения того, что он является членом морального сообщества, следовательно, за ним, вообще, признается право на ошибку. И, соответственно, для того чтобы не пользоваться этим правом, врач и должен обладать вот тем самым внутренним нравственным кодексом, для того чтобы не противоречить ему, поступать по совести и не совершать ошибок, соответственно, если существует какое-то намерение или та самая халатность, о которой говорит Давыдовский. Вот это квалифицировалось как врачебная ошибка.
Когда ошибка, будет ли она врачебной считаться, совершается технической интеллектуальной системой, то мы будем говорить о том, что эта ошибка действительно уже, которая как бы была преднамеренной. То есть она действительно совершается уже не по объективной необходимости, что, в принципе, в медицине признается в качестве такого смягчающего фактора, а некоего, опять же, субъективного фактора, который связан с несовершенством этой системы, с недоработкой и так далее. Я вот поэтому вопрос задала нашему первому докладчику по поводу того, как реагируют сами разработчики на те вызовы, о которых заявляет само общество. Поэтому мне кажется, вот в этом гуманитарном сопровождении самое главное, о чем говорить должны на «Точке кипения», – это обращение к разработчикам. Сами разработчики должны быть этически компетентны. А этическая компетентность – это не просто моральное совершенство. Это, в том числе, знание вот этих установленных и принятых, разработанных, делегированных от общества этических норм и правил. Спасибо.
Зубарев К. И.: Пожалуйста.
Смирнов С. А.: Татьяна Александровна, мы же с вами понимаем, что все началось задолго до «цифры». Если врач и пациент встроены в большую социальную машину как функции, то дальше полшага – и можно ее оцифровать и технологизировать. То есть, вообще-то говоря, программирование и технологизирование больших социальных машин, типа образования или медицины и еще чего-то, начинается до роботизации, технологизации и так далее. Сначала человека превращают в функцию, которая потом, разумеется, технологизируется, и сама работа между ними «врач – пациент» становится услугой, она стоит столько-то. Если мы фиксируем такой тренд, тогда вроде бы проблема в принципе не в машинах и не в искусственном интеллекте. Не в этом проблема. Сначала человек себя превращает в функциональную структуру, весь социум и разные сферы технологизирует, упрощая до набора операций, потом оценивает это. Потом это всё естественно, рыночно обкатывается, продается, покупается. И туда, естественно, вставляется искусственный интеллект как машинка, которая быстрее и эффективнее работает. Всё понятно. Вопрос в другом: а ответ какой? То есть тогда, по идее, вроде бы надо не машину делать более умной или более грамотной, или разработчиков просто более этическими, а, в принципе, другие модели этих сфер должны быть представлены и рядом положены как альтернативные, независимо от машинизации. Должны сначала выстраиваться иные модели, например, в медицине, иные типы отношений врача и пациента в категориях «заботы», а не в категории «услуги», и насколько это в принципе реально, и что по этому поводу надо делать. А машины – это потом. Вот я прав или нет?
Сидорова Т. А.: Ну да, очевидно, что вы правы. Я могу только добавить то, что альтернатива-то, она, собственно говоря, исторически существовала. Не нужно ее разрушать. Она существовала в форме вот этого медицинского этоса. Потому что ведь вот это самоосознание медицинского этоса, оно практически совершалось до конца ХХ века. Но как только оно как бы завершило, наверное, свою работу, оно и интенсивно стало разрушаться. Кстати, поэтому и возникла биоэтика.
Зубарев К. И.: Мы бы хотели, чтобы у нас диалог состоялся между представителями отрасли и разработчиками искусственного интеллекта. Поэтому Андрею как яркому представителю разработчика я дал бы слово.
Заворин А.: Всем привет! Меня Андрей Заворин зовут. Мы занимаемся разработкой речевых технологий, машинным обучением и продуктами на их основе. Я хотел несколько слов, тезисов добавить, свои пять капель. У нас есть комплекс решений для медицины по автоматизации задач коммуникации пациента с врачами, пациента с клиникой и так далее. Общим заблуждением все-таки до сих пор остаются попытки превратить фундаментальные разработки в продукты. То есть между этим лежит пропасть. И вот эти эксперименты с «Алисой», которая разговаривает обо всем и ни о чем и внедрением конкретных решений голосовых помощников, например, в «М-Видео» в коммуникацию с клиентами либо «Служба 124» в Новосибирске по записи на прием к врачу, она прям пропасть между этим.
Самым важным является то, что сегодня такие решения на основе искусственного интеллекта хорошо работают именно там, где происходит большое количество стандартизированных операций, и там, где человек, на самом деле, не справляется. Вот это ключевое, первый параметр. То есть мы всё время рассматриваем искусственный интеллект как замену человека. Это не замена. Это его компенсация. Ну, то есть это некая сущность, которая выходит за границы возможностей человека либо системы с использованием человеческих ресурсов.
Второй момент очень важный касается ответственности. То есть это тоже сфера таких манипуляций постоянных. То есть в том, что вот там Tesla куда-то врезалась, человека сбила. Ну, окно овертона никто не отменял. Сейчас вот в этом месте происходит прям манипуляция очень серьезная. Задачей беспилотного транспорта, например, является сегодня убрать человека с пассажирского потока. Вот это задача беспилотников. И пока она не будет решена (ну, в смысле регулирования общественного транспорта), проблемой является не эффективность работы искусственного интеллекта, а соприкосновение его с человеком. Вот в тех местах, где мы соприкасаемся и делается стык вот этот «человек – система», происходит наибольшее количество проблем и ошибок. Потому что мы берем, например, вот если про диагноз врача, берем усредненные показатели какой-нибудь рентгенографии и говорим: «Ты, скорее, мертв, чем жив». И это является некой рекомендательной историей, которая на основе ИИ может работать. Но как только конкретный рентгенограф берет и смотрит на этот снимок, он должен принять врачебное решение. И вот проблема состоит в том, что никакой ИИ сегодня ответственности не несет. И вот здесь, в этом месте, очень серьезно расшивается, на самом деле, вот этот стык. То есть там, где необходимо, чтобы ответственность системы была ограничена, там их нельзя и невозможно заменить человеком. Потому что нынешняя наша правовая система, наша система культуры и законодательная, в том числе, этическая, она не вмещает это.
Ну, и еще один момент, последний. Когда мы начали внедрять всякие решения по цифровизации, мне приходится так же, как и некоторым коллегам здесь, много-много об этом рассказывать, с разных витрин, трибун и интерфейсов вещать об этом. Мы столкнулись с одной-единственной проблемой. Это некомпетентность наших заказчиков. Вот это ключевая проблема. То есть проблема вообще не в ИИ, а в том, что мы не умеем им пользоваться. В том, что мы не умеем правильно поставить задачу. В том, что мы некорректно собираем данные, обрабатываем их. Получается, что при создании систем искусственного интеллекта самой большой проблемой является некомпетентность тех, кто его создает и эксплуатирует. И вот эта штука, она пока не решенным вопросом является. Спасибо.
Сидорова Т. А.: Я не услышала здесь вопроса. Я тоже короткий ответ по этому поводу дам. Я, вообще, сама являюсь сторонницей использования искусственного интеллекта в медицине. И я как раз за ту самую компетентность врачей. Но вот эта цифровая компетентность оборотной стороной должна иметь высокую профессиональную культуру. Потому что, кстати, пытались бороться с синдромом эмоционального выгорания с помощью освобождения врачей от этих стандартизированных различных операций, используя искусственный интеллект. Получили обратную картину, когда врачи попросили удалить у них компьютеры, и тогда синдром эмоционального выгорания снизился на какую-то огромную цифру: был 53%, стал 13% (вот по той выборке, которую изучали). Удивительно. О чем-то это говорит. И говорит не против как раз использования этих систем. Я с вами согласна.
Ти С.: Я просто фиксирую для себя и, может быть, в общий котел. У меня после дискуссии возникли три точки непонимания. Во-первых, я немного не понимаю, почему мы допускаем право на ошибку врачей, но не допускаем права на ошибку разработчиков. И те, и другие – люди. Мне вот эта часть непонятна. Не право на ошибку искусственного интеллекта, а право на ошибку разработчиков (людей) и право на ошибку врачей (людей). Вторая часть узловая – это вопрос, связанный с приватностью. Ну, мы проходили про это. И вопрос такой: а вот вопрос про то, как толкуется приватность, имеет ли страновую зависимость? В том смысле, что, условно говоря, представим себе как бы, что Советский Союз продолжил жить, и отношение к частной собственности и к приватности может быть другое. То есть будет ли по-другому развиваться отношение к искусственному интеллекту в зависимости от страны? Потому что то, что было в докладе про приватность, – это очень американское отношение к приватности.
Сидорова Т. А.: Даже называется «по-американски».
Ти С.: Да-да-да. С другой стороны, есть места, в которых говорится, что, наоборот, если все данные будут открыты. Ну, в смысле, у всех людей. Ну, то есть может ли быть такая ситуация, когда про меня знают все мои данные, но и я могу легко про собеседника узнать такие же открытые данные. Ну, вот в таком вопрос. И третья часть – это про то, что потребность возникает там, где сложность возникает. У меня вопрос сформировался такой: а с чего, вообще, мы решили, что человек справляется с функцией врача, хорошо справляется? Ну, то есть мы говорим, что вот искусственный интеллект... А с чего мы решили, что человек с этой сложностью справляется?
Сидорова Т. А.: Ну, последний вопрос явно имеет некую подмену термина все-таки с точки зрения логики. Потому что никто не утверждает, что врач, какой-то абстрактный врач, он действительно идеальный врач. То есть и Гиппократ не был идеальным врачом, их вообще не существует. Речь идет именно о сопоставлении все-таки врачебной деятельности и деятельности роботов. В первую очередь (почему я на телемедицине немножко застряла), с точки зрения взаимодействия с пациентом. То есть, я думаю, никто не будет отрицать, что вот это взаимодействие, все-таки оно, в первую очередь, как бы является базовой формой, вообще, этой деятельности. И здесь невозможно подменить врача чем-то иным.
По поводу культурной специфичности все-таки отношения к искусственному интеллекту, я здесь сократила просто, хотела об этом сказать и, опять же, сослаться на пример Китая, где население, верите или нет, но оно толерантно относится к ИИ. Если это не связывать с тем, что в определенном округе, который по специфическим социально-политическим обстоятельствам имеет какую-то иную позицию по отношению к слежению. Но это немножко другое. А мы говорим, собственно говоря, вот о сборе данных. Вполне толерантно китайцы к этому относятся, используют с удовольствием. А особенно ситуация по пандемии, как вы видите, она вообще подтвердила необходимость в этом. Потому что страны, которые опираются на эти технологии, очевидно, они, оказывается, более успешно все-таки справляются с этой ситуацией.
Ну, Швеция – совсем противоположный пример Китаю. Потому что мы Китай всегда можем подозревать в авторитарности и так далее, в каком-то неправильном населении, их там миллиард, а они все «неправильные» и «неправильно думают», с чьей-то точки зрения. Но шведы-то, те-то – «правильные» ребята, они правильный социализм построили. А шведы, между прочим, демонстрируют большую готовность чипироваться. Темпы вживления вот этих биочипов в Швеции самые высокие. Почему? Потому что, оказывается, шведы вообще как бы не считают нужным что-либо скрывать от своего государства. То есть у них вообще не принято, скажем, особенно что-то закрывать: зашторивать окна, заборы строить и так далее. А мы не такие. Мы можем себе позволить построить забор, прежде чем поставить дом. Вы хотите сказать, что так думать неправильно. А я считаю, что правильно. Мы можем себе позволить то, что мы можем позволить. Оказывается, что наше частное, то есть приватное пространство для нас является какой-то необходимой ценностью. Почему вдруг у нас это исторически возникло? Ну, давайте сейчас пофантазируем и объясним тем, что мы речная цивилизация, например, и так далее. Много разных изящных объяснений этому можно найти. Я на все вопросы ответы дала?
По поводу врачебной ошибки. Ну, действительно, смотря как ее определять и какие критерии врачебной ошибки еще устанавливать, для того чтобы считать это врачебной ошибкой. Вот, кстати, очень хороший есть такой критерий считать то или иное деяние врачебной ошибкой, если оно связано с потерей времени жизни пациента. Вот американские биоэтики так настаивают, что так нужно определять врачебную ошибку. Ну, вот если, например, такой критерий. И там много критериев. Если проранжировать их, то можно более точно сказать о специфике ошибок ИИ– это, кстати, тема для научной статьи. Спасибо. Можно подумать об этом. То есть чем это отличается. Можно с соавторами сделать, очень интересно будет. Спасибо.
Зубарев К. И.: Спасибо. Коллеги, мы выбиваемся из графика очень серьезно. Хороши, что мы наших коллег автором поставили в конце, можно будет временем пожертвовать. Друзья, следующий докладчик Пестунов Андрей Игоревич , заведующий кафедрой информационных технологий Новосибирского государственного института экономики и управления.
Пестунов А. И.: Уважаемые коллеги! Мой доклад называется: «Цифровые технологии, появление сверхлюдей или подъем планки нормальности». Я как представитель технических наук, возможно, некоторые вещи вот с философской и этической точки зрения буду не совсем корректен. Но вот как раз цель моего доклада – подкорректировать эти шероховатости.
Идея, она действительно у меня, у моих коллег долго варилась, и смысл ее в следующем. Сейчас развиваются цифровые технологии. Они в рамках НТИ озвучиваются, в рамках технологий программы «Цифровая экономика Российской Федерации». Там перечислены искусственный интеллект, робототехника, аддитивные технологии, беспроводные технологии и многие другие. Так вот данные технологии развиваются, мы видим, они совершенствуются.
И к чему это всё приводит? Приводит это к тому, что ряд способностей, которые принято считать... Ну, скажем так, у нас нет доказательств того, что есть сверхспособности, но, тем не менее, есть некое общее понимание в мире. и слова такие звучат, например: телепатия, телекинез, материализация мыслей, ясновидение и прочее. Это не научные термины, но есть некое понимание, что они обозначают. То есть телепатия – это передача мыслей на расстоянии. Как они передаются – не совсем понятно, но в сказках это есть. Телекинез – это передвижение бесконтактное каких-либо предметов и так далее.
Так вот почему именно сейчас актуальность данных вопросов встает? Дело в том, что если взять человека самого по себе, то он обладает вполне ограниченными способностями. Да, кто-то, например, может быстрее бегать, кто-то медленнее. Но в целом рамки скорости передвижения, каких-то мыслительных процессов, они достаточно понятны. И эти ограничения в той или иной степени видны. Если же человек пользуется какими-то приспособлениями – орудия труда, орудия наподобие телескопов и так далее, которые усиливают его те или иные способности, – то здесь явно есть разграничения, где человек, а где вот эти инструменты. И человек свою как бы нормальность, свое исходное состояние, он не то, чтобы не теряет, но видны вот эти явные границы между человеком и человеком с этим самым приспособлением.
Однако, что происходит при использовании цифровых технологий? Во-первых, технологическим путем становится возможным осуществить вот эти сверхспособности. И причем их становится осуществить не то чтобы каким-либо образом заметно, а с учетом того, что эти технологии как размеры свои уменьшают, так и становятся менее заметными, то действительно человек, который демонстрирует эти способности технологическим путем, он их демонстрирует как бы незаметно для других. Потому что те приспособления, которые он использует, могут использоваться как опосредовано, так и вовсе не видны.
И я вот сейчас кратенько пробегусь вот по тому, что я говорил. То есть тезис мой такой: что сверхспособности можно реализовать технологическим путем так, что это незаметно для окружающих. И если, например, существуют люди, обладающие сверхспособностями гипотетически, то есть даже если их не существует, даже если они существуют – не важно, но обычные люди, пользуясь этими технологиями, будут фактически демонстрировать эти самые сверхспособности.
Итак, первое. Вот мы берем телепатию. То есть одна из технологий цифровой экономики – это нейротехнология, которая заключается в том, что некий нейроинтерфейс считывает импульсы из головного мозга и, так или иначе, их интерпретирует. В итоге, если сопрягать эту технологию с технологией беспроводных передачи данных, то вот мы и получаем телепатию. Два человека одевают вот эти нейроинтерфейсы, подключают их к беспроводному устройству и обмениваются мыслями. Если этот нейроинтерфейс более-менее компактный, незаметный, то фактически это демонстрируется телепатия.
Далее. Если мы добавляем сюда робототехнику, еще одну технологию цифровой экономики, то есть нейроинтерфейс, беспроводная передача данных и некий робот, то можно управлять этим роботом, условно говоря, силой мысли и демонстрировать телекинез.
Можно продолжить. То есть что такое материализация мыслей, если технологически реализовывать? Аддитивные технологии, 3D-принтинг развиваются. И если мы подключаем нейроинтерфейс, технологии wi-fi и аддитивные технологии, то вот и получается: силой мысли запускается на печать некий объект и происходит материализация мыслей.
Далее можно говорить о философском детерминизме применительно к технологии Big Data. О чем здесь идет речь? В настоящее время технологически стали доступны возможность сбора и обработки таких объемов информации , которые раньше некими более традиционными инструментами было невозможно обрабатывать. И, соответственно, через различного рода интерфейсы человек получает доступ к тем или иным данным. А как такая философская концепция «Демон Лапласа», который знает положение и скорости всех частиц в мире в какой-то момент времени, он может предсказать всё, что будет в будущем. Таким образом, что такое технология Big Data в этом контексте? Это, получается, человек, имеющий доступ к технологиям обработки больших данных, он фактически становится демоном Лапласа и может предсказывать всё, что угодно в той или иной степени. То есть понятно, что можно сравнивать, кто больше может предсказывать, кто меньше может предсказывать. Но чем совершеннее эти технологии, чем большей информацией он обладает, тем точнее он может это предсказывать.
Ну, и седьмое – это, можно сказать, такое ясновидение, которым могут маркетологи пользоваться. То есть здесь мы добавляем еще одну цифровую технологию – технологию виртуальной реальности. А если мы ее совмещаем с технологией Big Data, то что может произойти? То есть человек одевает шлем дополненной реальности. С помощью технологии Big Data подсвечиваются те или иные аспекты, которые вытаскиваются из соцсетей, из истории поиска и так далее. Для примера. Предположим, у нас есть продавец, маркетолог, который хочет продать товар. Он одевает этот шлем, и ему четко подсвечиваются люди, к кому нужно подойти, и без всякой рекламы он купит этот товар. И вот чем не ясновидение?
Вот здесь кратко я пробежался по этим вопросам. То есть еще раз тезис какой я здесь сформулировал. Что с помощью цифровых технологий мы технологическим путем можем имитировать сверхспособности. И второе. С развитием этих технологий вот эта имитация будет становиться всё менее заметной и фактически любые обычные люди, владеющие данными технологиями, не будут отличимы от сверхлюдей, если таковые существуют.
И в конце, соответственно, вот тот вопрос, который у меня заявлен в докладе, что появление сверхлюдей или подъем планки нормальности. То есть получается, мы либо получаем таких сверхлюдей или же все-таки это меняется нормальность человека, что он может? Вопрос пока требует определенной проработки. Я рассчитываю на определенную обратную связь от коллег по круглому столу. И поскольку тут у нас и время уже поджимает, основное я сказал. Буду рад каким-то комментариям, вопросам, замечаниям. Спасибо.
Зубарев К. И.: Спасибо.
Гриф М. Г.: Гриф Михаил Геннадиевич, профессор НГТУ. Андрей Игоревич, вот в свете того, что Вы сказали, вопрос доступности к этим технологиям, это ведь тоже определяет, кого считать, в конечном итоге, сверхчеловеком, кого не считать. Да? Потому что и сейчас, если даже историю человечества, всегда был разный доступ к тем или иным богатствам, разница в способностях людей и так далее. То есть если мы обеспечиваем такой, ну, не равный, я не знаю, но, во всяком случае, сравнимый доступ вот к тем технологиям, то, наверное, тогда и планка вот этих сверхспособностей, сверхлюдей также будет меняться. Другое дело, градация по мере развития вот этих технологий в возможностях людей будет увеличиваться или уменьшаться? Вот это такой у меня вопрос.
Пестунов А. И.: Спасибо. Во-первых, комментарий такой тоже достаточно ценен. Я отвечу таким образом. То есть если мы говорим про те технологии, которые сейчас заявлены как технологии НТИ, технологии цифровой экономики, то здесь, конечно, всё идет к массовости этих технологий и к тому, что все люди будут этой имитацией сверхспособностей обладать. То есть здесь мы можем привести примеры и более таких уже ставших нам привычных технологий. Это смартфоны те же. На заре сотовой связи даже обычные сотовые телефоны были редкостью. Сейчас смартфоны с более-менее одинаковым функционалом есть у всех. Поэтому мы видим удешевление и технологий виртуальной реальности, шлемов. Те же, например, чат-боты с базовым искусственным интеллектом вообще можно бесплатно создавать. Ну, конечно, слабенькие, но, тем не менее, в общем, удешевление есть. И здесь, конечно, к массовости идет конкретно по этим технологиям, если только не будет еще какая-то принципиально новая технология, к ней тоже так же доступ будет расти.
Гриф М. Г.: Извините, вот я еще про градацию. Увеличится ли разница в способность людей с учетом того, что практически все имеют доступ к искусственному интеллекту?
Пестунов А. И.: Вот как раз мой тезис – что, скорее всего, будет определенное выравнивание, и многие различия между людьми, они будут выравниваться за счет тех или иных технологий.
Заворин А.: У нас был спор такой онтологический фундаментальный как-то пару раз. На самом деле, мы что обсуждаем? Когда мы строим систему на основе искусственного интеллекта, мы строим модель «мегамозг». То есть это модель онтологическая развития интеллекта как «мегамозг». Весь социум у нас – это модель развития «рой» . То есть человечество прогрессирует и сегодня является доминирующим видом, вероятно, именно за счет своей социализации и способности быть разными каждому, но взаимодействовать как социум. И когда мы строим системы, то есть мы люди, как «рой» проектируем систему «мегамозг». Вот здесь мы сталкиваемся как бы со своим ограничением. Потому что мы, по сути, проектируем некую чуждую для нас сущность, которая противоречит, вообще, нашему генетическому коду успеха, выживаемости и так далее. Это вот первый вопрос. Если комментарий дадите, что вы думаете про это.
И второй вопрос по поводу выравнивания. То есть вот эта система социального дохода, когда люди начали, на самом деле, выравнивать возможности. То есть есть внешние возможности, которые мы объективно имеем. Например, ресурсные, определенные воспитанием, принадлежностью к расе или даже к месту жительства, а есть личностные возможности. Так вот цифровые технологии, они, на самом деле, резко выравнивают внешние возможности. Но различие как раз вот этих личностных возможностей, оно только будет обостряться. Вот как эта дихотомия, с вашей точки зрения, будет расшиваться?
Пестунов А.: Со вторым тезисом я здесь просто соглашусь. На самом деле, слово «внешнее», оно, так или иначе, в моих тезисах тоже как бы фигурировало. Я просто сейчас, наверное, не готов глубже развивать эту тему. Но здесь неспроста я слово «имитация» сверхспособностей говорил, что действительно мы их имитируем. А что там внутри – здесь сложно затрагивать. Поэтому тут остается только вот согласиться с этим, что действительно это только внешнее. А вот первый вопрос, если можно, уточнить. Потому что я не совсем уловил, какого плана сейчас комментарий требуется.
Заворин А.: Да вопрос-то в том, что мы сегодня развиваемся как «рой». То есть наше человеческое существо и существование, оно вот в этой парадигме нашей формируется взаимодействия социального. Мы строим абсолютно другую систему. То есть систему искусственного интеллекта мы позиционируем как надсистему, которая кросс-культурная, кросс-граничная. То есть мы говорим о том, что мы разработали систему управления беспилотным автомобилем, а потом мы пытаемся ее куда затолкать? Например, в рикши в Индию. И в этой штуке, где у рикш в Индии не существует правил дорожного движения, но они прекрасно и безаварийно ездят. Потому что это тоже какая-то кросс-культурная аномалия у них происходит. Поэтому мы проектируем универсальные системы на основе AI, потому что мы собираем усредненные данные. Но при этом мы сами являемся субъектами, которые не усредненные. То есть у нас очень личностные серьезные различия между собою. И получается, что мы сталкиваемся сейчас с нашим порогом. То есть мы должны сделать что-то такое. То есть это вот проблема творца и творения. То есть может ли творец, который не понимает, что он должен творить и имеет это ограничение? То есть как, с вашей точки зрения, это расшивается?
Пестунов А. И.: Сейчас я понял, о чем идет речь. Здесь я дам такой ответ. Вот тут звучали такие термины: окно Овертона. Сейчас много модных вещей. Есть еще такое: точка бифуркации, иногда ее используют. То есть когда бабочка сядет туда или сюда, и радикально разные последствия будут. Так вот я такой более позитивный сценарий, если позволите, скажу. То есть действительно, тут в данной ситуации может как резко по негативному пойти, так и по позитивному. Но позитивный сценарий, он может в чем состоять? Что человек создаст некую среду. Может, она будет отчасти зеркалить то, что есть у людей. То есть люди, вот этот «рой», он создаст не искусственный вот этот чуждый ему интеллект, а это, в конечном итоге, будет некое отражение самих людей, самого общества, и она будет, эта среда, настолько чувствительная, что человек, малейшие его вот эти импульсы, позывы, они будут удовлетворяться в этой среде. И эта среда как раз позволит человеку раскрыть те или иные свои намерения, внутренние склонности наилучшим образом. Без того, чтобы часто, например, при воспитании, при обучении ребенка или человек столкнулся не с тем преподавателем, не с тем каким-то контрагентом своим, и всё пойдет не так, как он хочет. А вот здесь, на мой взгляд, как раз можем эту именно зеркальную среду создать, то есть фактически такого двойника, который будет максимально соответствовать. Как-то так.
Горбачев А. Г.: Можно я скажу. Я вот не хотела бы жить в том мире, о котором говорит Андрей Игоревич. Все будут равны, причем если подключим в систему образования цифровизацию, я не побоюсь сказать, убогие вот эти шаблоны, которые навязываются в обучении, и плюс, вот эти вот все технологии: снижение эмпатии посредством всех вот этих технологий. Ну, в общем, общество будет весьма, я бы сказала, убогим, когда будет полностью такой вот контроль осуществляться, сиюминутное удовлетворение. Это значит, что все должны быть счастливыми. То есть это вот, я сейчас полагаю, такая тенденция, которая красной нитью прослеживается во всей, можно сказать, мировой политике – сделать всех счастливыми. Ну, мне кажется, это будет такое вот, как в фантастических фильмах показывают, такие вот антиутопии, когда такие достаточно несколько, может быть, даже примитивные будут люди. А вот те, кто это создает, вот эти самые сверхлюди, которые будут сверхгаджетами обладать, чтобы всё это…, я думаю, что они как раз будут читать Шекспира, как пишет Хаксли, и более свои человеческие качества сохранят. А вот если всё это распространится вот так, как говорит Андрей Игоревич, честно говоря, как-то не очень-то будет. Спасибо.
Аникин Ю. А.: Другой комментарий. По поводу суперинтеллекта, коллективного интеллекта и роя. Ну, это тема достаточно такая разобранная в 80-х годах. Вот Антон Колонин тоже сильно вовлечен, мне кажется, хвостами уже занимается этой темы. Но там, по-моему, вы ответили на вопрос, что, во-первых, отличает рой и суперорганизм. То есть коллективный организм, и эффективность в нем достигается за счет того, что каждый отдельный индивид теряет свою способность размножаться. То есть только когда у них появляется единая возможность размножаться на весь коллектив, только тогда они готовы объединить свои цели и действовать как единое целое. В этом смысле искусственный интеллект как AGI, он, может быть, к этому и идет. Но цена – понятно. Мы должны потерять возможность ставить себе цели самостоятельно и, соответственно, продолжать бороться самостоятельно.
Хвостик Е.: Я хотел спросить вот по поводу сверхспособностей, сверхчеловека. Вот когда речь шла о медицине, нам рассказали, что МВД просили передать им данные о страдающих психическими заболеваниями и так далее. Выступили против Минздрав и профильные ассоциации против разглашения медицинской тайны. Допустим, в журналистской среде есть Союз журналистов, этические проблемы который может разбирать. А вот в этом плане, в разработке таких систем, которые, грубо говоря, могут дать робокопы или терминаторы на улице, чтобы мы не узнали уже об этом постфактум, какие есть инструменты контроля, кроме СМИ, журналистов, кто может как-то это ограничивать, контролировать, следить за этим, чтобы завтра мы на улице не увидели робокопа (условно)? Есть какие-то инструменты общественного контроля?
Зубарев К.И.: Евгений, это хороший вопрос, но мне непонятно, кому его адресовать. Нам нужно еще найти ответчика на этот вопрос.
Хвостик Е.: Я думаю, к тем, кто как бы в этой области. Ну, вот, допустим, врачи нам рассказали о Минздраве и о профильных ассоциациях. Я не знаю, есть ли, вообще, в России какие-то специализированные правозащитники, ассоциации профильные, которые могут как-то это проконтролировать, я не знаю, ограничить, проследить за этим?
Зубарев К. И.: Евгений, давайте мы подвесим вопрос. Мы его записали, и мы как бы постараемся на него ответить. То есть у нас еще будет дискуссия по поводу медицины, и мы там его, во-первых, попробуем по позиции поискать людей участников, кто на такой вопрос может ответить, и там его зададим. Либо мы специально как бы попробуем его задать и порассуждать на эту тему.
Хвостик Е.: Как предыдущий оратор отметила, что если так дальше пойдет, то это будет такой платоновское тоталитарное государство, когда есть некие сверхлюди и все остальные, которые, так сказать, ниже шуршат.
Сидорова Т. А.: Можно я только добавлю чуть-чуть? Шипение, не кипение, может быть, а шипение такое морализаторское в нашей Точке по поводу того, что вот есть такой трансгуманист Метцингер (может быть, слышали об этом авторе), он предлагает выдавать права на употребление средств, которые дают возможность испытать состояние расширенного сознания и сверхинтеллектуальных возможностей. Ну, примерно раз в год, например, кому-то эти права можно делегировать. То есть вот такая форма регулирования предлагается. То есть этика употребления средств, которые расширяют и изменяют человеческое сознание, – это вопрос, который актуально обсуждается, кстати, в нейроэтике, вообще в нейротренде.
Зубарев К. И.: Спасибо. Коллеги, я предлагаю перейти к следующему докладчику. Антон, вы нас слышите, вы нас видите, у вас работает всё?
Колонин А.: Да. Добрый день, коллеги!
Зубарев К. И.: Колонин Антон, основатель проекта по интеллектуальному поиску информации «Айдженс», если я правильно произношу. Прошу.
Колонин А.: Коллеги, добрый вечер! Или добрый день! Я не знаю, как правильнее. Видимо, день, переходящий в вечер. Я попытаюсь широко пройтись по теме в трех, так сказать, временных интервалах или в трех перспективах: короткая перспектива, среднесрочная перспектива и совсем уже долгосрочная перспектива. Если говорить о краткосрочной перспективе, то, с моей точки зрения, она описывается поговоркой, что проблема не в том, что придет сильный искусственный интеллект или общий искусственный интеллект и поработит человечество. А проблема в том, что уже пришел тупой, слабый и бестолковый искусственный интеллект, и он уже поработил человечество. И в реальной повседневной жизни современного члена государства, проходящего цифровизацию, это выглядит примерно так, что если раньше, когда человеку нужно было решить свою проблему, он приходил в организацию, решал свою проблему с чиновником или с оператором, или с сотрудником этой организации, или он звонил по телефону, и он решал свою проблему, то сейчас, когда человеку надо решить свою проблему, он слышит автоответчик, он должен выслушивать вот эти бесконечные голосовые меню, он должен выслушивать бесконечные минуты играющей музыки, нажимать кнопки, выяснять, что он нажал не ту кнопку. И, в общем, с моей точки зрения, как меня самого, хотя я, вроде, не пожилой еще человек, это просто издевательство над потребителем и гражданами, которых вынуждают пользоваться подобными системами. А если взять, скажем так, наших родителей и лиц пожилого возраста, то это даже, по-моему, больше, чем издевательство, называется.
И если уже мы говорим об ответственности разработчиков и внедрителей систем искусственного интеллекта, надо для начала говорить об ответственности тех, кто внедряет бесчеловечные системы поддержки пользователей и граждан в коммерческих и государственных организациях. То есть давайте мы хотя бы разберемся с ответственностью разработчиков и внедрителей систем цифровизации, обесчеловеченых и, вообще, издевающихся над населением и потребителями.
Здесь есть Андрей Заворин. Мне бы очень хотелось бы, чтобы он прокомментировал. Ну, вот есть разработки, которые действительно внедряют, так сказать, некоторые передовые рубежи искусственного интеллекта, когда человек набирает номер, ему отвечает искусственный интеллект, но человек имеет возможность перебить его. То есть человеку начинают диктовать голосовое меню, а человек говорит: «Вот мне нужно это». И его робот может понять и в каких-то случаях, может быть, даже сразу же задать какой-то наводящий вопрос. По ответу человека понять, что же все-таки человеку нужно и как бы минимизировать вот этот вот процесс издевательства над потребителем, которому нужно всю эту ерунду выслушивать, давить на эти кнопки и по 10 раз повторять слова, которые робот все равно не в состоянии.
Зубарев К. И.: Андрей отвечал на этот вопрос в нашей сегодняшней дискуссии, насколько я понимаю.
Колонин А.: То есть это вот проблема № 1, которую нужно решить на сегодняшний день. Я не знаю, вот тоже перед этим прозвучало, а где ответчик, к кому вы обращаетесь. Вот я не знаю, кто ответчик. То есть это нужно только взывать к совести тех организаций и ведомств, которые внедряют подобные услуги. Соответственно, чтобы они задействовали разработчиков, компетентных в области таких технологий, чтобы все-таки технологии искусственного интеллекта были дружественными человеку на сегодняшний день, либо чтобы эти технологии просто не внедрялись. То есть, скажем так, с практической точки зрения я бы предложил просто некоторую... Как вот, знаете, на почте, когда ты заходишь, там висит объявление, что если вы ожидаете больше 10 минут или больше двух минут, то позвоните по такому-то номеру. Так вот, я бы просто запретил использование систем голосового ответа IVR (Interactive Voice Response), которое заставляют людей тратить более одной минуты на то, чтобы их проблема начала решаться. Это краткосрочная проблема.
Перейдем теперь к среднесрочным проблемам. Среди среднесрочных проблем я бы выделил четыре. Одна нас вроде как не касается, но она касается нас, как человечество в целом. Это проблема боевого использования искусственного интеллекта. То есть кто следит за новостями, в последней вдвойне на наших ближних рубежах между Азербайджаном и Арменией, победил в этой войне не Азербайджан и не Армения, а победили турецкие беспилотники. То есть в этом конфликте победила Турция, которая показала, что они в состоянии создавать технологию удаленного боя, не требующую прямого воздействия человека.
Это, на самом деле, только начало. Потому что те беспилотники, которые использовали турки, – это никакие не роботы, ими управляли люди, и в условиях радиоэлектронной борьбы это ничего работать не будет. То есть средствами радиоэлектронной борьбы все эти беспилотники могут быть посажены. Но сейчас активно идет работа над новым поколением боевых роботизированных средств, когда, в общем, человек не будет нужен. То есть цель будет находиться по GPS, по мобильному телефону, наконец, с помощью оптического распознавания картинки с видеокамеры. И это вопрос, так сказать, гонки. То есть гонку вооружений можно остановить только на уровне межгосударственных соглашений, как это делалось с ядерным оружием. Но только в случае с компьютерными системами это гораздо будет сложнее, потому что она уже дошла достаточно далеко. И потом, если для создания атомных бомб нужны очень серьезные индустриальные мощности, вот как это есть у ведущих держав мира, то в плане боевого применения искусственного интеллекта есть стартапы, которые в Китае делают дроны просто для выполнения заказных убийств с помощью дронов. С использованием тех технологий, которые есть на рынке, это всё делается.
И эту проблему как-то надо решать. Можно говорить о том, что разработчики должны брать на себя ответственность моральную за то, чтобы не участвовать в создании систем боевого искусственного интеллекта, Но практика показывает, что если разработчику заплатить достаточно большие деньги, по крайней мере, определенной категории разработчиков, то они будут делать автоматизированные системы для продажи наркотиков, распространения детской порнографии. И я думаю, что будут разработчики, которые не будут чураться создания систем массового уничтожения или индивидуального уничтожения по заказу, на самом деле, просто государственных структур. Что, собственно, имеет место быть. И что с этим делать на нашем с вами уровне – совершенно не понятно. Вопрос: где ответчик? Это одна проблема.
Вторая проблема как бы более практичная, на тему бизнеса, которая как бы у всех на слуху. Это отсутствие того, что называется explainability, или объяснимости, и transparability, или прозрачности, в системах искусственного интеллекта. То есть речь идет о том, что если система искусственного интеллекта сказала, что нужно человеку что-нибудь отрезать или что ему нельзя выдавать кредит или ему нельзя выдавать ипотеку, то, вообще, человек должен иметь право понять, точно ли ему нужно отрезать именно это, какие основания. Или, по крайней мере, врач должен иметь возможность верифицировать, на основании чего принято соответствующее решение. Ну, и то же самое с кредитом и с ипотекой. Человек должен иметь возможность пойти в суд, чтобы ему в суде обосновали, на каком основании, собственно, ему отказали в выдаче ипотеки. И аргумент того, что у нас очень хорошая нейронная сеть, которая натренирована на 5 миллионах неплательщиков, и поэтому она решила, что вот этому человеку нельзя кредит дать, – это, в общем, в суде не будет аргументом. Это вот куда движется вся правоприменительная сегодняшняя практика, в первую очередь, европейская.
Ну, и другой пример. Опять-таки, если мы применяем искусственный интеллект для управления какими-то объектами критически жизненно важной инфраструктуры – электросетями, атомными электростанциями, аэропортами, – то, опять-таки, решение по тому, что нужно гасить атомную электростанцию или сажать или не сажать или сбивать или не сбивать какой-то объект в поле зрения радиолокатора, эти решения должны тоже как-то контролировать, и должно быть понимание, почему это решение принимается. И даже если речь идет о том, когда решения реально должны приниматься с той скоростью, с которой человек не может их проконтролировать, важно с тем, чтобы даже если это решение принято и было по какой-то причине ошибочным, должна быть возможность как бы поднять логи и посмотреть, а почему эта нейронная сеть или система вероятностной логики приняла вот такое неверное решение, чтобы в следующий раз при следующем инциденте мы зря пассажирский самолет не сбивали или на основании force positive не гасили атомную электростанцию. И, соответственно, это вот одно из направлений развития современного искусственного интеллекта. Это не только так называемая explainable AI, или объяснимый искусственный интеллект, а это следующий шаг, это так называемый interpretable AI, или интерпретируемый искусственный интеллект, когда мы не только можем объяснить поведение модели, но и можем проинтерпретировать структуру знаний этой модели, и, более того, мы можем изменить структуру знаний этих моделей, чтобы нам не нужно было тренировать модель на большом числе прецедентов, которые просто дорогостоящие. Мы не можем тренировать нейронные сети на остановке атомных электростанций. Потому что у нас не так много атомных электростанций и не так часто на них возникают критические события.
Следующие две проблемы. Первая проблема – это проблема дегенерации как бы человечества, дегенерации профессиональных навыков людей, дегенерации когнитивных способностей по мере внедрения систем искусственного интеллекта, которые будут неизбежно становиться всё более и более совершенными. Эта тема очень дискуссионная. Многие возражают, что, дескать, что, мы буддизмом, что ли, будем заниматься? Вот раньше кто-то возражал против того, чтобы с лошадей на машины пересели. Потом возмущались по поводу паровых машин. Потом возмущались, что зачем нам самолеты, когда можно и на машине доехать. Куда ускоряться?
Естественно, всё новое и всё хорошее, оно как бы хорошо. То есть хорошо, что мы можем быстрее перемещаться по земле. Хорошо, что мы можем получать какие-то вещи быстрее. Хорошо, что мы можем быстро посчитать что-то на калькуляторе. Но мы неизбежно дегенерируем. То есть мы заплываем жиром, мы перестаем складывать в уме. И в какой-то момент мы можем оказываться в ситуациях, когда у нас нет под рукой компьютера, а мы не в состоянии будем сложить два числа. Или нам нужно будет куда-то срочно добраться, а мы просто умрем от усталости. Потому что у нас не хватит здоровья, нас хватит инфаркт, потому что мы разучились ходить. И это тоже проблема, которую нужно решать. То есть наряду с развитием всяких технологий, которые позволяют человеку перемещаться без затрат и усилий, возникает культура, которая позволяет людям компенсировать утерю необходимости активной двигательной активности. То есть есть система здорового образа жизни. Есть система этих GYM'ов, система фитнес-центров, где люди добирают то, чего они лишены в рамках современной реальности, где с человека сняты физические нагрузки. Вот видимо, необходимо принимать какие-то решения по созданию вот такой культуры, такой среды, таких процессов, которые будут людям давать возможность поддерживать когнитивные способности на каком-то минимальном уровне, чтобы в случае отказа компьютерных систем и систем искусственного интеллекта люди могли хотя бы 2+2 сложить и решить какую-то бытовую задачу, а не умереть с голоду, потому что персональный ассистент заглючил.
Ну, и четвертая проблема, с этим связанная, тоже очень широко дебатируется, – это проблема освобождения рабочей силы. То есть что вот мы всё больше и больше будем отдавать искусственному интеллекту и роботам, чем будут заниматься люди. Ну, чем будут заниматься эти люди – можно понаблюдать прошлым летом. То есть есть большая страна, где роботизация и развитие технологического уклада находится на уровне существенно выше, чем у нас. И огромное число населения, оно живет на «wellfare». То есть, все те люди, которые громили магазины, ставали на колено и требовали, чтобы другие ставали на колено с лозунгами и факельными шествиями, люди в большинстве живут на пособие. Они не работают, они не учатся, их всё устраивает. И это, по сути, растущий слой деклассированного населения, которое в случае каких-то критических событий в состоянии выйти на улицы, и обеспечить свое собственное существование оно не может. Поэтому все разговоры о безусловном доходе людям, которые будут сидеть и просто получать деньги какие-то, какие-то пособия, большие или маленькие, за то, чтобы ничего не делать и не отнимать работу у того небольшого класса, который потребуется для обслуживания роботов, – это вот, на самом деле, путь к расслоению общества на пресловутую элиту сверхлюдей, которые будут управлять этими роботами, программировать их и обслуживать их, и недолюдей, которые, так сказать, будут получать безусловный базовый доход и деградировать всё дальше и дальше. В большом числе литературных произведений это на сегодняшний момент описано, и с этим что-то надо делать. То есть необходимы какие-то механизмы, которые будут этого расслоения избегать. Ну, либо надо понимать, что просто это то, куда мы идем, ну, и понимать, думать о том, как бы оказаться, чтобы мы и наши дети оказались в верхним слое и не думать об остальных. Вот такая этическая проблема.
Ну, у меня уже время закончилось. Хорошо. Я тогда буквально последнее тогда скажу. Есть еще, на самом деле, очень дальняя перспектива. И это очень важно. Есть очень важная тема, которая очень много муссируется, что, вообще, в далеком будущем? Нужно ли нам, вообще, всё отдавать роботам? Может быть, нам вообще нужно роботов запретить? Или, может быть, нам нужно сделать так, чтобы роботы выполняли только какие-то очень ограниченные функции и не развивать эту технологию дальше.
Но здесь надо посмотреть это всё с точки зрения эволюционной картинки. То есть в какой-то момент не было ничего, кроме органических молекул. И в какой-то момент органические молекулы, сами того не заметив, стали просто конструктором и обслуживающим персоналом у клеток. И клетки стали вершиной цивилизации. Потом в какой-то момент клетки, сами того не заметив, стали обслуживающим персоналом и кирпичиками многоклеточных организмов. И тоже как бы ничего не подозревали и ничего не ожидали и, может быть, даже ничего и не заметили. Точно так же, как Андрей тоже говорил про рой, точно так же люди в какой-то момент становятся частью роя. И, может быть, в какой-то момент они даже ничего и не заметят, когда станут частью чего-то большего, развитию, созданию чего они просто не в состоянии будут препятствовать. Это вот одна перспектива.
А вторая перспектива как бы, ну, надо понимать, что у человека возможности физические ограничены. То есть в какой-то момент Солнце погаснет. Поэтому если мы хотим сохранить в перспективе миллиардов лет огонь человеческой цивилизации, когда Земля перестанет существовать, может быть, мемы и какие-то культурные коды нас нынешних, они отправятся в космос с нашими далекими потомками, которые будут даже не сверхлюди, а которые будут уже совсем другими материальными или нематериальными сущностями, которые этот культурный код понесут дальше к звездам.
Зубарев К. И.: Спасибо. Это очень и очень дальняя перспектива.
Колонин А.: Но она есть.
Зубарев К. И.: Пожалуйста, у нас есть вопрос.
Устинов Н.: Меня зовут Устинов Никита. Я хотел бы сказать свое мнение по поводу самой первой проблемы, которую вы выделяли. Это проблема про ботов, отвечающих на звонки и что это абсолютно неудобно и тому подобное. Но в нашем мире существует такая вещь, как чат-боты. Я недавно тоже занимался разработкой подобного бота, который также отвечает на вопросы. Ими активно пользуются всякие различные банки. То есть «Сбербанк Онлайн», если приложением пользуетесь, там есть свой собственный бот, то есть ему задаешь вопрос – он на него отвечает. И это полностью разгружает работу call -центра. И так же это происходит намного быстрее, чем, допустим, ждать сидеть звонка, когда в call-центре тебе ответят и ответят, возможно, всего лишь на один вопрос. То есть что вы думаете по этому поводу?
Зубарев К. И.: Антон задал вопрос про вашу ответственность за чат-боты, а вы не ответили на этот вопрос и задали вопрос Антону. То есть Антон задал вопрос: какова ответственность разработчика? И вы сказали, что если вы разработчик, то вы должны сначала ответить на его вопрос, как вы чувствуете эту ответственность за это. Ну, а потом, соответственно... Если я правильно понял, Антона вопрос первый.
Устинов Н.: Я не услышал ответа на свой вопрос. Я могу только ответить на вопрос мне, что, во-первых, я сам занимаюсь разработкой чат-ботов, в том числе, и прекрасно понимаю проблему. А во-вторых, не знаю, как в «Сбербанк Онлайне», но вот в те службы, куда приходится звонить мне самому и куда приходится звонить моим родителям, ничего подобного нет. Вот я буду очень рад, если в какой-то момент где-нибудь в МТС или в госуслугах появится такой бот, который всё будет понимать с полуслова. Андрей, я с нетерпением жду твоего ответа. А, это не Андрей. Ладно.
Козлобородов И.: Меня зовут Козлобродов Илья, студент второго курса инноватики в НГУЭУ. В принципе, в ваших рассуждениях прослеживается то, что, получается, есть современные вполне удобные технологии, и одновременно используются те же технологии, как вы привели пример «МТС», «Билайн» и так далее, где приходится долго ждать ответы и тому подобное. То есть, получается, в погоне за современностью многие компании хотят внедрить такие модные технологии, но при этом, возможно, не всегда ссылаются на потребителя. То есть думает, что ему так будет удобно. А на самом деле, получается, наоборот. То есть, возможно, это 50 на 50 все-таки прослеживается.
Но, опять же, почему все внедряют технологии, почему занимаются их разработкой, в принципе сейчас век идет цифровых технологий и, соответственно, все тенденции к этому сводятся. Всегда человеком правили деньги, скорее, такая финансовая составляющая. И получается, что в наш век с точки зрения молодого человека, который недавно только вошел во взрослую жизнь, и я понимаю, извините за выражение, всё стоит конкретно дорого. Везде нужно много денег, просто элементарно чтобы жить. Элементарно рассматривая конкретно нашу страну, получается, что доходы средние большинства населения, они даже не составляют какой-то основной части достаточных для комфортного проживания относительно, как у нас уклон идет на европейские страны, где уровень условно достаточный по каким-то, конечно, характеристикам. Но если там, наверное, пожить, то можно какие-то минусы тоже найти.
Вопрос сводится к тому, что проблемы возникают на основании того, что бесконечно вводится этот искусственный интеллект. И оно понятно тем, что люди хотят на этом заработать денег, потому что это перспективно, по рынку это стоит дорого. Но вопрос: как бороться с этими бесконечно растущими ценами и почему это всё так очень дорого стоит?
Колонин А.: Спасибо. Я отвечу на ваш вопрос. Во-первых, с моей точки зрения, вы правильно сказали, что, в первую очередь, речь идет про деньги. А во-вторых, мне кажется, вы неправильно сказали, что речь идет про моду. Потому что модно или не модно, когда речь доходит до денег, никого не интересует. Возьмем компанию «Х», которая хочет, скажем так, каким-то образом снизить свои издержки. И компания «Х» приходит к разработчикам, объявляет им какой-нибудь конкурс: «Мы хотим снизить издержки на call-центре. Самый простой способ снизить издержки на call-центре – это уволить половину сотрудников, чтобы вместо половины сотрудников у нас были роботы. Приходим мы, к примеру, с Андреем Завориным и говорят: «Вот у нас есть крутые голосовые ассистенты. Мы должны их долго и мучительно тренировать на разных моделях. Мы должны посидеть с вашими специалистами, прорисовать все возможные сценарии диалогов, настроить алгоритмы, анализы интентов и заполнение слотов. И в результате, после того как вы нам заплатите много денег за эту работу, у вас будет прекрасный голосовой ассистент, который будет понимать всё с полуслова.
И приходит другая компания, которая говорит, что мы с вас возьмем гораздо меньше денег, но человеку просто нужно будет кнопки на телефоне нажимать. У нас там будет голосовое меню, которое будет просто диктовать возможность опций. А человек будет выбирать. И человек будет, как зайчик, бегать по этим голосовым меню, пока ему не надоесть и он не бросит трубку, или он не догадается, что нужно просто давить всё время на «ноль». Четыре раза нажмешь на «ноль» – и попадешь, наконец, на оператора долгожданного. Но вот это вот второе решение, оно оказывается более дешевым. И плевать, компания «Х» хотела на модность. Она, естественно, выберет более дешевое решение. Ну, вот как-то так. Хотя должен сказать, что последнее время я с удовольствием наблюдаю, что, по-моему, в «МТС» как-то проще стало общаться, как-то быстрее попадаешь из точки «А» в точку «Б». Андрей, действительно всё так плохо или нет, или есть свет в конце туннеля с голосовыми ассистентами?
Заворин А.: Еще раз вопрос скажи, пожалуйста.
Колонин А.: Насколько ты видишь перспективы, когда у нас в большинстве мест, где используется Voice Response System, люди не должны будут работать с голосовым меню, а смогут говорить, что им нужно и будут сразу выходить на решение проблемы?
Заворин А.: Два варианта ответа есть. Путь Моисея. То есть всех увести в пустыню. Через 40 лет они умрут. Придут новые люди, и они будут всё делать иначе. Есть более простой органический путь, на самом деле. Мы его уже прошли. Просто за те пять лет, которые мы делаем внедрение технологий, мы прошли путь от хайпа, о котором говорит молодой человек. И он давно уже закончился. Уже это не хайп, это уже не круто. А сейчас это стало уделом, вот есть компании-инноваторы или люди-инноваторы, психология. Есть люди-последователи, есть консерваторы, и есть последняя стадия, когда уже без вариантов. Вот сейчас мы находимся где-то на втором этапе. То есть сегодня уровень проникновений технологий искусственного интеллекта в компании уже достигает 12-15%. А это означает, что, на самом деле, уже сегодня это является инструментом конкуренции и эффективности труда.
Кроме того, я хочу сказать просто два факта. Если раньше технологические гиганты работали с инвестициями окупаемостью три и более лет в технологиях высоких, то сегодня то, что мы делаем с тобой и с коллегами, огромным количеством других людей, которые делают это с бизнесом и с властью, мы работаем с окупаемостью модели – две недели. Две недели. То есть речь идет, с одной стороны, о разработке базовых технологий, в которые надо инвестировать долго и мучительно. А с другой стороны, речь идет о внедрении конкретных продуктов. И сегодня идет повсеместная эпоха продуктов на основе AI, machine learning и сложных технологий. Поэтому следующее ограничение, с которым мы сталкиваемся сейчас, – это уже унификация данных, унификация шин и скорость, естественно, обновления. Ну, знаете, нельзя что-то поставить на компьютер, если компьютер был сделан семь лет назад. Он просто не тянет. То есть есть сегодня другие, более сдерживающие естественные факторы, которые не касаются желания даже людей. И мы столкнулись с тем, что крупные корпорации еще более не готовы к цифровизации, чем сегодня средние компании. Потому что в крупных корпорациях нет унификации систем. Там стоит только 1С'ок 18 вариантов. Стоит одновременно amoCRM, Bitrix и вообще там такой бред. И всё надо начать с того, что просто всех уволить, всё просто обнулить и начать заново. Потому что вот из этого хаоса сделать какую-то архитектуру решений цифрового бесполезно. Но, Антон, я хотел другой вопрос задать, если я ответил.
Колонин А.: Андрей, можно я все-таки уточню? То есть, на самом деле, меня как раз беспокоит не то, на что ты ответил. Меня беспокоит то, что вот эта окупаемость две недели приводит к тому, что в результате этой окупаемости человек, который раньше разговаривал с живым оператором и решал проблемы за одну минуту, он вынужден 20 минут бегать в голосовом меню. То есть понятно, компания, она окупает затраты.
Заворин А.: Этот тезис место быть полтора-два года назад. Сегодняшний уровень технологий другой. Никто по меню не бегает. Там действительно диалоговые системы одновременно могут слушать и перебивать.
Колонин А.: Андрей, подожди. Это где? Вот расскажи мне, где этот сервис, чтобы я по нему позвонил.
Зубарев К. И.: Коллеги, я хочу отметить просто, что там было два слова: ответственность за человечность. И вот я так понял, что вопрос Антона, он как раз про человечность. И, получается, дискуссия как бы сводится к тому, что всё, что человечно, – это дорого, получается, сейчас. А то, что как бы бесчеловечно, оно унифицируется, становится дешевле в погоне за эффективностью, трам-пам-пам.
Заворин А.: Кирилл, был тезис пять лет назад о том, что роботы заменят людей. Ну, то есть операторов call-центров. Реальность абсолютно другая. Внедрение технологий искусственного интеллекта дало резкий скачок в эффективности труда. Сегодня ни одна компания, в которую мы внедряем решения (это может быть какая-то вероятность 1%), не сокращает персонал. Ну, то есть они не оптимизируют издержки. Они начинают больше зарабатывать. И это ключевое.
И я хотел Антону еще один вопрос короткий очень задать. Смотри, вот у нас есть два молодых человека, и есть понятие таких навыков для выживаемости. Мой тезис такой. Вот эти два молодых человека никак не подходят под гладиаторов Древнего Рима, то есть они бы не выжили там. Но у них есть шикарные сегодняшние навыки, которые годятся для выживаемости в современном мире. Вот можешь сказать свой прогноз, как меняться будут, трансформироваться вот эти навыки выживаемости критические и куда мы идем?
Колонин А.: Я тебе так скажу. Вот у меня брат проживает в Соединенных Штатах, которые по этой дорожке ушли гораздо дальше, чем у нас. И вот он после долгого перерыва прилетал в Россию недавно и говорит мне: «Слушай, это такой кайф лететь из Москвы в Новосибирск в самолете. Сидишь в самолете, а кругом тебя стройные мускулистые молодые ребята. А вот когда я (говорит) лечу в самолете, вокруг меня жирные, заплывшие жиром какие-то туши». Вот я боюсь, что мы идем туда. Не знаю, будут ли они стройные или заплывшие жиром, или они будут хилые и заморенные дистрофики. Но вот для меня все-таки больше идеалом будущего для меня является произведение Ивана Ефремова, где, с одной стороны, все очень умные, а с другой стороны, все очень физически здоровые. Потому что все-таки есть некоторый баланс между развитием интеллектуальных способностей и поддержанием своей физических способностей на должном уровне, потому что, в общем, как показывает опыт некоторых геронтологических наблюдений, если человек не следит за своим физическим образом жизни, то в какой-то момент он начинает терять и умственные способности. Поэтому в идеале, конечно, нужно комплексное развитие. Но вот как его достичь? Я предлагаю тем молодым людям, которые становятся всё более и более погруженными в современную реальность, как-то вот об этом задумываться, чтобы не потерять те физические возможности в прямом смысле, которые даны человеку природой.
Зубарев К. И.: Интересная дискуссия. Спасибо всем большое. Но я предлагаю перейти к следующему докладчику. Галина Витальевна, здравствуйте!
Градосельская Г. В.: Здравствуйте, коллеги! Спасибо за очень интересную дискуссию. Немножко отрекомендуюсь. Я очень давно занимаюсь как раз сетевым анализом. И последние лет восемь я занимаюсь в разных и государственных, и, скажем так, силовых структурах исследованием разного распространения информации и различных манипулятивных практик в интернет-медиа. И поэтому заранее прошу прощения за тот профессиональный цинизм, который у меня за это время накопился. И я, соответственно, свой доклад именно так и озаглавила: « Искусственный интеллект как некий такой социальный артефакт». Вот сейчас как раз расскажу про некоторые предыдущие исследования, чтобы стало понятно, скажем так, как я отношусь, вообще, вот к этому концепту «искусственный интеллект». Потому что я его воспринимаю, прежде всего, как концепт. И потом еще есть такие довольно интересные данные, мне коллеги из ВЦИОМ подбросили, по отношению граждан России к искусственному интеллекту. Я тоже думаю, для вас это будет небезынтересно. Вот у меня такие две большие как бы части выступления.
То есть откуда, вообще, взялся вот этот термин «артефакт». В свое время, еще лет 20 назад, одно из первых исследований, которое по сетевому анализу мы проводили, мы исследовали взаимодействие ученых (социологов) друг с другом. И было очень интересно. То есть у нас были разные предположения, почему люди общаются друг с другом, почему в науке люди общаются, так или иначе, друг с другом. И выяснилось, что они объясняли... Вот они не просто так, что «мне было интересно» и так далее. Они всё время называли некий повод: была конференция, был проект. И мы не знали, как единым словом обозначить вот эту сущность. То есть артефакт – это вот то слово, тот концепт, который провоцирует коммуникации. То есть его нельзя пощупать. Это нечто такое вот реальное. Но, тем не менее, воздействие на коммуникацию оно оказывает весьма существенное. Ну, и дальше, собственно, я вот стала по привычке все подобного рода термины, которые не ощутимы, но оказывают значительное такое влияние, называют вот такими социальными артефактами.
Дальше тоже, когда проводили исследование дискурса, допустим, патриотов, государственников и оппозиционеров. Вот тоже чем они отличаются, как люди маркируют свой дискурс? И выяснилось, допустим, что оппозиционеры, они очень активно используют такие термины, как свобода, гражданское общество и так далее. То есть это все те термины, для которого нет четкого определения. Вот я могу просто совершенно ответственно сказать: это не научный термин. Что такое научный термин? Научный термин – это тот термин, который можно операционализировать, то есть перевести потом в конкретные какие-то вещи, его померить и, соответственно, сделать вывод, он присутствует или нет, он увеличивается или уменьшается, и так далее. Но, тем не менее, несмотря на то, что нет определения такого четкого, что такое свобода, что такое гражданское общество, эти термины оказывают влияние. То есть это те термины, которые сломали, вообще, Советский Союз, скажем так, и заместили коммунистическую идеологию в 90-е годы. Собственно, это сейчас наша общая ценность стала. Это концепты первого уровня. Это те идеологемы, которые изменяют мир, изменяют общество.
Дальше в процессе работы в различных госорганах, в том числе, когда проводили проекты в аналитическом центре при Правительстве Российской Федерации, тоже было огромное количество таких концептом, про которые вы даже, наверное, и не вспомните: технологическая платформа, открытые данные, вот та самая пресловутая цифровая экономика. То есть никто не знал точно, что это такое, не было четкого определения. Но выделялись огромные государственные деньги, все бежали в эту сторону, с большим или меньшим успехом это осваивали. Каков был практический выхлоп? Ну, не знаю, мне вот сложно сказать.
И, в конце концов, пару лет назад меня эта ситуация стала напрягать, и вот мы как раз в рамках работы для АЦ сделали то, в принципе, с чего должна начинаться любая дискуссия. Мы проанализировали термин «цифровая экономика» с привлечением тех же самых семантических сетей, нейронных сетей и так далее. Мы проанализировали 600 работ, которые были на эту тему написаны отцами-основателями, скажем так. И выяснилось, что термин «цифровая экономика» обсажен терминами «диджитал», «экономи», дальше идет «бизнес», «маркет», «прибыль» и так далее. Но это не про реальный сектор экономики. И я сделала вывод, что все вот эти вещи: технологическая платформа, открытые данные, цифровая экономика – это такое вот: конструкты второго уровня. Они, может быть, не изменяют мир, но они позволяют, скажем так, получить некую прибыль краткосрочную. И менеджерам верится в то, что они всё делают правильно, что они встроены в мировые тенденции и так далее, и так далее.
И еще тоже третий такой короткий пример расскажу, который, казалось бы, не имеет отношения, но, тем не менее, на самом деле, имеет. Тоже два года назад на большой такой конференции международной Comparative Media Studies. Давайте вот все-таки смотреть на те термины, в которые мы играем, так, как делают те, кто эти термины производят. Вот так, как это делают англосаксы. То есть они абсолютно спокойно на этой конференции, там как раз журналисты, коммуникативисты присутствовали, они говорили: «А всё, демократия – это уже устаревший отработанный конструкт. Он уже перестал быть эффективным. Он уже не помогает в управлении. И надо придумать что-то еще». И вот мы сейчас видим, как спокойно внедряются термины такого мегауровня: зеленая экономика, глобальная экология и так далее, и так далее. То есть этот термин сломался, несите новый.
Поэтому вот когда мы это всё обсуждаем, искусственный интеллект, для начала давайте сделаем шаг назад и посмотрим на него как на некий такой вот конструкт. Это конструкт какого уровня? Это про сейчас быстро заработать деньги? Ну, хайп/не хайп, но вот что-то такое. Или все-таки это концепт первого уровня, который приведет к глобальным социальным изменениям. И для начала давайте сделаем нормальную научную работу, проведем анализ, вообще-то, научной литературы. И плюс, ко всему прочему проанализируем естественную реакцию восприятия вот этого термина, можно по тем же социальным сетям. Но там основная проблема в социальных сетях, на которые все ссылаются, на большие данные, в том, что от 75 до 90% информации, которую мы имеем, – это кажущиеся большие данные. Это, на самом деле, скажем так, их много, но их вариативность резко сужается. Вот в этом как бы парадокс и негативные последствия.
Поэтому, в принципе, когда вот мы сейчас сидим здесь и друг друга рвем, как тузик грелку, я так подозреваю, что где-то там тихо за океаном засмеялся старший Ротшильд, который вбросил такой очередной концепт мирового уровня. Но пугает-то меня, скажем так, не это. Вот с этим как раз, если это правильно воспринимать, с этим, соответственно, нужно понимать, как работать. То есть либо мы, не знаю, цинично встраиваемся в мировые тенденции, либо мы прагматично, частично, дозированно это как-то разумно используем, либо мы как гуманитарии бьем во все колокола за сохранение человечности и так далее, и так далее. Вот.
Меня пугает не это. С этим мы как бы на нашем уровне разберемся. А меня пугает, скажем так, уже готовность общества к абсолютному отключению своих мозгов и к принятию искусственного интеллекта в качестве вот такого управляющего артефакта. Вот вы можете посмотреть, там у нас была серия конференций «Сети 4.0.» Ровно два года назад в мае 2019 года я тоже на конференции задала такой вопрос: «Вы готовы вживить в себе чип в обмен на гарантию безопасности?» 90% аудитории говорят: «Да». Первое окно овертона. «Вы согласны предоставить принятие судебных решений искусственному интеллекту, поскольку он непредвзят и не подвержен коррупции?» Конечно, 90% аудитории скажут: «Да». Дальше. И третий уже шаг, гвоздь в гроб человечности: «Вы готовы оцифровать свое сознание в обмен на бессмертие?» То есть вот такими нехитрыми манипулятивными приемами людей подводят к этому, собственно, принятию. И к тому, что они готовы, это показывает такой довольно свежий опрос ВЦИОМ по искусственному интеллекту. Вот, к сожалению, плохо там цифры на слух воспринимаются, но я парочку озвучу.
Задавали вопрос: «Слышали вы о технологиях искусственного интеллекта? Как бы вы объяснили, что это?» 46% опрошенных говорят: «Слышал, но не смогу объяснить». Это вот то самое. Это когда искусственный интеллект воспринимается как некая базовая идеологема. Никто не знает, что это такое. Никто над этим особо не задумывался. Но все что-то вот про это... Всё. Это страшное состояние, когда, собственно, как за кольцо в носу, можно повести человека куда угодно.
«Как лично относитесь к распространению технологий искусственного интеллекта?» Две большие части: 34% – с интересом, 31% – без особых эмоций. Всё остальное – с недоверием, с восхищением. То есть какое-то эмоциональное принятие – это всё размазывается по 3-5%. То есть интерес вот букашки, которая ползет в капкан. Или без эмоций. Вот два основных ответа.
«Как вам кажется, следует или не следует использовать технологии искусственного интеллекта?» В сфере науки, скорее, следует 72% говорит «да». Это как бы самый верхний. Но самое нижнее, на самом последнем месте находится (тут рассказывали про медицину) в сфере здравоохранения предпоследняя позиция – 58%, скорее, следует и довольно большой негативный ответ: скорее, не следует – 24%. Слава Богу, поскольку я связана со сферой образования, сфера образования – на последнем месте. Но тоже «скорее, следует» – 57%, «скорее, не следует» – 26%. Тоже больше всего.
«Почему вас беспокоит распространение технологий искусственного интеллекта?» На первых местах тоже очень небольшие проценты: сбои в работе компьютерной техники, технические проблемы – 17%, замещение живого общения между людьми, деградация личности – 16%. Остальные, ну, прямо довольно сильно проваливаются.
«Готовы или не готовы использовать в ближайшем будущем сервисы на основе технологий искусственного интеллекта вы?» И самая нижняя, слава Богу, тоже, ну, пока, но, тем не менее, все равно это 44% – образование и профессиональная ориентация. И «скорее не готов», самый большой тоже негативный ответ – 32%. Во всех остальных случаях: получение госуслуг, быт, досуг, развлечение, медицинская помощь люди, в принципе, уже как бы созрели, чтобы это всё принять.
«Лично опасаетесь или не опасаетесь того, что в будущем в вашей профессии ряд задач будут решаться не человеком, а искусственным интеллектом?» 68% – не опасаются. То есть, в принципе, общество готово.
Вот для меня вопрос: следствием чего это является? Ну, это естественное течение современного мироустройства, когда у нас в обществе нет единых ценностей. А единые ценности, когда они разделяются большинством людей в обществе, они, скажем так, значительно упрощают жизнь. Тогда не надо вот эти сложные юридические надстройки и так далее. Как только у нас единых ценностей нет и вот такой вот разнобой, тогда всё, тогда скрепляющим моментом являются вот эти формальные, юридические какие-то рамки и так далее. И, соответственно, следствием является атомизация общества, с одной стороны. С другой стороны, усложнение управления и, естественно, недоверие и так далее, и так далее.
Поэтому я бы что сказала? Что вот эта атомизация общества и рассыпание, деградация личности облегчает управление и внедрение новых вот этих моделей. То есть парадокс был в том, что когда вот мы изучали различные эконометрические модели, беда была в том, что они очень плохо предсказывали и как бы всё поставили в правильные позиции. Атомизировали общество, и тогда людей легче загнать в эти модели, и тогда они обретают смысл. Соответственно, следующий этап – это передача управления искусственному интеллекту, то есть монополизация на управление, тем не менее. И дальше опасность очевидная – это перехват, собственно, управления. Потому что, в принципе, взломать можно всё. Или подменить можно всё. Когда всё в едином таком человечески не контролируемом центре лежит – это всё очень грустно.
Ну, и, плюс ко всему прочему, опасность тоже такой единой системы, которую я вижу, – это, конечно, накапливаемая ошибка. То есть все понимают, что это такое. И вот эта накопленная ошибка, когда система становится, скажем так, неадекватна реалиям, она всегда будет компенсироваться естественными коммуникациями. Но это всё тогда просто перейдет в сферу криминала. Это всё очень грустно. Поэтому все наши идеалистические вот здесь рассуждения о том, как это будет хорошо, оно грозит столкнуться с такой жестокой реальностью. И по сути, вот то, что я увидела сейчас на вот этом дискуссионном столе, – это, по сути, конфликт формы и содержания. То есть более молодые разработчики, они говорят: «Да мы сейчас за счет формы универсальной поглотим любое содержание, и всем станет легче жить». А более старшие и даже разработчики более такого взрослого поколения, они говорят: «Для того чтобы полностью адекватно в свою форму впихнуть содержание, это нужно прямо уподобиться абсолютно, собственно, той реальности, которую мы копируем в нашей модели. А это очень дорого». Всё. И мы попадаем в такой привычный замкнутый круг.
Поэтому если мы хотим, вообще, скажем так, начинать, начать нужно просто с собственного четкого определения, что такое искусственный интеллект, какие должны быть пороги восприятия. То есть искусственный интеллект – это что? Это некий мегамозг, который за нас принимает решения или это просто. Потому что с моей точки зрения, нейронные сети, большие данные, какие-то интернет-коммуникации и прочее – это не искусственный интеллект. Это модель. Давайте не будем, скажем так, преувеличивать их значение. И до какой степени мы можем допустить искусственный интеллект в эту сферу, в эту, в эту и так далее. То есть начать надо, как всегда, с определений. Дальше выстроить свое собственное отношение и отношение не к искусственному интеллекту, а, прежде всего, к тому перспективному обществу, человеку, которого мы хотим получить. И дальше уже решить: вот в этой идеальной модели общества, которое мы хотим построить, ну, или не совсем идеальное, а как минимум, практичное и устойчивое. Искусственный интеллект нам насколько поможет? То есть давайте не будем подменять абсолютизацию формы и подменять ею содержание. Спасибо.
Зубарев К. И.: Галина Витальевна, спасибо. Коллеги, есть ли вопросы, может быть, у кого-нибудь?
Сидорова Т. А.: Очень короткий, простой вопрос задам. Ну, известно, какой вопрос, такой и ответ. Если вопрос про судей не содержал бы в себе указания на коррупцию, был бы ответ таким же?
Градосельская Г. В.: Ну, скажем так, вы знаете, просто в свое время мы проводили разные эксперименты. И, скажем так, вот как раз выпадение одного слова, оно так не существенно влияет. Потому что дело не в коррупции, а просто в недоверии человеческим коммуникациям. То есть мы не доверяем другим людям вот сейчас. То есть в Советском Союзе мы считали изначально, что все люди хорошие, что на Марсе будут яблони цвести и так далее, и так далее. Вот сейчас, в современном обществе, изначально мы исходим из того, что люди все жуликоваты, мошенники и так далее. Поэтому есть такая вещь, как базовая такая психологическая установка. Она к сожалению, негативна по отношению ко всему обществу.
Аникин Ю. А.: У меня вопрос про подход от общества будущего. Мне чем понравилось? Понравилась постановка и задачи. А в чем, собственно, необходимость искусственного интеллекта? Если, наверное, проследить по другим инструментам, то далеко не каждый из них возникал из необходимости. Конечно, он возникал из эффективности, обещания эффективности, либо комфорта.
Градосельская Г. В.: Обещания эффективности, да.
Аникин Ю. А.: Обещаний, конечно. Всегда обещаний. И в этом смысле искусственный интеллект здесь ничем не отличается. Поэтому не понятно, как перевернуть можно ситуацию, чтобы поставить к нему какие-то требования или исходить в разработке из его необходимости.
Зубарев К. И.: Ну, у меня продолжение к твоему. Потому что меня тоже немножечко как бы про эффективность тронуло. Если мы говорим вообще про технологичность, про эффективность и так далее, то многие люди вообще не знают тех технологий, которые используются в производстве, на самом деле. Ну, то есть, я не знаю, какие-нибудь пуансоны. Кто слышал, что такое пуансоны, как они используются, вырубки и так далее. И в этом плане если искусственный интеллект используется внутри производственной какой-то системы и как бы позволяет давать нужную эффективность, то, мне кажется, тут вопросов особых нет. Мы же все-таки хотели бы ответить на вопросы. Это как раз то, где искусственный интеллект соприкасается с людьми и как они к нему относятся. Ну, в этом плане, наверное, если спрашивать человека напрямую, как он... То есть он же садится в автобус. И, на самом деле, ему без разницы, он садится в автобус, который на электричестве будет ездить или будет на дизеле ездить. Ну, как бы он из пункта «А», в пункт «Б» едет. Ну, то есть это к вопросу, корректно ли так ставить вопрос, что знаете ли вы про искусственный интеллект. Может быть, его немножечко как бы углублять? И, может быть, вообще люди различают, когда они с искусственным интеллектом встречаются или они встречаются как бы с человеком? И в каких ситуациях как бы они видят это проявление?
Аникин Ю. А.: Понял. Извини, я продолжаю свою мысль.
Зубарев К. И.: Я в продолжение.
Аникин Ю. А.: Нет, я сейчас понимаю, что для меня, вообще, новость в том, что мы сейчас уже думаем про искусственный интеллект как про неизбежное. То есть мы думаем, как мы будем с ним сосуществовать. То есть мы уже какую-то стадию принятия прошли, и нам остается думать, как под него подстраиваться. А оказывается, можно было по-другому. Ну, понятно, вроде как бы с точки зрения необходимости сейчас как это трактуется? Чрезвычайная сложность социотехнических систем – это как бы главная причина такая предъявляемая. Но факт в том, что эта сложность, она рукотворная, она возрастает из-за наших действий. Вот я уже в узком кругу говорил и хочу все-таки как-то в общее обсуждение хотя бы закинуть мысль о том, что есть теорема Эшби, которая говорит, что в управляющей системе не может быть… ну, внутренние сложности меньше, чем… управляющая система меньше чем управляемая система. Но это означает, что каждый раз, когда мы решаем какую-то задачу (не важно, техническую или социальную) и собираем рядом управляющую систему, мы ее все равно добавляем в жизнь, и, таким образом, сложность итоговая возрастает в два раза. А когда эти системы начинают между собой взаимодействовать, то сложность их взаимодействия возрастает многократно. И вот, мне кажется, это более ключевой вопрос, чем вопрос о том, как ограничивать искусственный интеллект. Но он пока никак почему-то не обсуждается.
Зубарев К. И.: Мне кажется, Галина Витальевна про это сказала. Ну, как бы намекнула, что все-таки вот этот перехват управления, он неизбежен именно в силу как бы вот этой природы сложности. И сегодня уже как бы говорил, и Евгений пример приводил по поводу того, что давайте как бы народных избранников в каких-то процедурах заменим искусственным интеллектом. Это как бы намек на существующую систему, которой надо управлять, она более сложная как бы. Либо скорость принятия каких-то решений и так далее должны быть более быстрые, чем сегодняшняя система управления дает. Но это, наверное, вызвано как раз вот этой сложностью управляемой системы.
Градосельская Г. В.: Коллеги, можно прокомментировать по поводу сложности управляемой системы?
Зубарев К. И.: Конечно.
Градосельская Г. В.: Смотрите, я тоже ни в коем случае не хочу идеализировать излишне советскую систему управления. Но просто поскольку я изнутри посмотрела на то как функционируют на довольно высоком уровне государственные различные органы в текущей... У нас, к сожалению, вся сложность (еще раз) вызвана тем, что у нас управление следует за формой. Не от содержания. То есть там шаг первый: у нас основная проблема, что у нас каждое министерство – это, по сути, некий такой феодальный клан, который вот ему дали твой надел, и он его старается из него максимально выжать какие-то профиты. Очень плохая, вообще, структура взаимодействия. Они не имеют информации даже о том объекте, которым они управляют. И плюс, они даже не имеют аналитических отделов, которые бы анализировали то, что они управляют. По сути, получается, что один несчастный бизнесмен, а на нем кормится 20 подразделений государственных, которые между собой не могут даже состыковаться. Вот то же самое в медицине и то же самое в образовании. Потому что управляют, опять же, люди, скажем так, выпускники MBA и так далее, и так далее. Вот они мыслят вот так, соответствующе. И, соответственно, поэтому смотрите, у нас Россия меньше, чем Советский Союз по населению, ну, почти в два раза. А объем госорганов управляющих у нас больше, чем советские органы управления тоже в два раза. Ну, то есть это какой-то вот такой парадокс. И искусственный интеллект, он здесь как бы не поможет, пока мы не начнем говорить о содержании.
Это ярчайший как бы пример, когда на каком-то совещании Путин, по-моему, Медведева спрашивает: «А по содержанию?» – «А по содержанию мы не договаривались». Вот всё как бы, о чем. И точно так же, когда вот мы занимались отрытыми данными, тоже молодые мальчики за три копейки (тут прекрасный до меня был докладчик): выигрывает тот, кто делает дешевле. Вот они сделали портал открытых данных. Там тоже никого не хочу ругать. Ну, как сделали, так сделали. Просто когда я анализировала остальные порталы открытых данных остальных государств, у других государств я понимала, для чего это делается. То есть они от нужд своего конкретного государства делали. Я когда наших разработчиков спросила: «Скажите, пожалуйста, у вас перед глазами какая целевая аудитория? Где человек вот в том, что вы сделали?» А они говорят: «А у нас не было в техзадании». Всё. Ну, как бы дальше вот нечего обсуждать.
Зубарев К. И.: Хорошо. Спасибо. Ну, у нас время подходит к концу. Поэтому я предлагаю следующие два доклада мы их пустим друг за другом. Два доклада, но мы их сейчас сразу друг за другом. Потому что они резюмирующие будут.
Аникин Ю. А.: Готов в телеграфном стиле. Как примерно и готовил. Ну, если коротко, то представляю сферу организации науки. И понятно, что самый главный тренд цифровизации науки – это индустриализация. И цифровизация уже, конечно, идет прицепом. Это не самое главное. Важнее – индустриализация и такая технологизация данной деятельности, которая как раз требует от исследователя стать винтиком хорошо работающей и эффективной машины. Мы, конечно же, затрагивали вопрос: какой сложностью должно обладать Министерство науки и образования, чтобы понимать, не управлять, а просто понимать, чем занимается наука во всем государстве, а потом уже какие-то управляющие воздействия предпринимать. Ну, это наша базовая схема, наработанная по Академгородку 2.0. И мы говорим, что подход к развитию общества (в данном случае – локального общества), он должен быть комплексный и затрагивать ...
И когда мы проектировали, мы поняли, что нам нужна какая-то основа для долгосрочного проектирования на следующие несколько... И решили, что это вызов, потеря человеком ответственности мышления. Вот на эту задачу и можно нацеливать такую большую систему, как Академгородок на далекой перспективе. Соответственно, сам объект или чем можно управлять – это вот те сферы деятельности человека. Меня интересует конкретно сфера «Наука». Мы описали эти сферы через базовые процессы, базовые процессы генерации управления знаниями и генерации исследователей.
Смысл в чем? Что развитие, вообще, общества зависит от знания, но не только от существующего и от генерируемого, но и от того, как мы им управляем, сохраняем и так далее. А носителями знаний до сих пор, по крайней мере, был всегда человек. Поэтому нельзя отказаться от второй части базового процесса – это воспроизводство исследователей. Но поскольку, как я говорил, главный тренд – это индустриализация, то необходимо понимать: а в чем, собственно, изменение роли человека в данном базовом процессе, который будет меняться. И вот тренд, вообще, в науке, который происходит, – это описание знаний в виде моделей, в том числе, и полученных при помощи искусственного интеллекта. И, как Антон говорил, на данный момент развития искусственный интеллект необъясним. То есть модель есть, но ее невозможно: а) объяснить; б) интерпретировать и в) исправить в ней ошибку. Можно только переобучить в надежде, что она будет обучена более адекватно жизни. Но, самое главное, такие модели ни в коем случае нельзя интегрировать. Потому что когда мы их интегрируем, мы должны проверять пределы применимости каждой из субмоделей, как они между собой совпадают и как совпадают, собственно, модели логические, которые они реализуют как исполнимые. Ну, и, естественно, такое знание, невозможно (верхняя ступенька) выйти на генерацию нового знания, оно не дает никакой основы для этого.
Еще один пример. Слушал дискуссию про математику. И там было прямо сказано, что вот всё, что касается биологических систем, математика легко описывает модели, ну, пускай даже в терминах статистической физики. Но как только касается у нас социальная часть, то там все модели ломаются. То есть модель этики и социального никак не описываются математическими строгими моделями, именно из-за разнообразия и, в том числе, динамичности этики.
Вот результат дискуссии 2019 года, в общем, если коротко, такой, что роль человека (в данном случае, у нас был исследователь) в том, чтобы целеполагать, к чему-то стремиться, в том, чтобы нести ответственность, в том числе, и принимать наказание за действия искусственного интеллекта, в том, чтобы удерживать ценности, их трансляцию в целевые функции обучения искусственного интеллекта и развивать и удерживать общность, социальность и человеческую этику.
А что сейчас происходит с ответственностью в науке? Если раньше наука отказывалась от ответственности за использование знания, то есть как оно будет использовано, она говорила: «Это решает всё человечество, а не ученые», но при этом несла ответственность перед будущим поколением, то есть задавалась теми вопросами, которые никто конкретно на себя брать не решался. То есть сейчас как бы ситуация меняется. Ответственность перед будущими поколениями у нас как бы снижается, горизонт резко сокращается. А с другой стороны, возрастает ответственность за качество. Должна возрастать, точнее, ответственность за качество создаваемого знания именно потому, что мы его создаем новыми методами и чаще сложными к проверке, тестированию или даже к откату. Ну, и, соответственно, главный мой вывод – это то, что эти вопросы должны быть обязательными в методологии науки теперь. Этические вопросы. То есть когда мы готовим специалиста, который сейчас является и носителем методологии науки, и носителем этики, и носителем знания одновременно. Ну, грубо говоря, в кандидатский минимум нужно вставлять вопросы этики, науки и вопросы новой методологии. У меня всё.
Зубарев К. И.: Спасибо, Юрий. Сергей Алевтинович.
Смирнов С. А.: Спасибо. Включите презентацию, пожалуйста. Коллеги, пока заряжают, скажу честно, до круглого стола я себе задавал вопрос: зачем человеку искусственный интеллект? А после трехчасового сидения я вообще перестал понимать и еще больше задумался: а зачем человеку искусственный интеллект? То есть как бы это первая фиксация. А вторая фиксация. Вот Андрей Заворин, к сожалению, ушел. Он хороший смысловой оттенок выделил: все ключевые проблемы рождаются на границе между творцом и творением. То есть вся вот эта сфера разработок, она как бы живая вот именно на границе между самим человеком и тем, что он там изобретает. И если мы как бы начнем разбираться именно с этой границей хотя бы и как-то ее отстраивать, то есть человек и искусственный интеллект (не сам интеллект, а человек, создающий его), то, наверное, какая-то там подвижка начнется. То есть в этом смысле я буду обсуждать проблему границы и все соблазны, которые человек испытывает. Потому что вопросы, мне кажется, не праздные. Ну, зачем интеллект – я уже спросил. Если говорят про искусственный интеллект, то где тогда естественный? Почему интеллект, а не мышление? И, вообще-то говоря, занимаясь этим, мы себя забываем или все-таки периодически должны вспоминать себя?
То есть что человека делает человеком. В свое время психолог Зинченко спросил у Мамардашвили философа: «Слушай, Мераб, с чего человек начинается?» Тот, не задумываясь, ответил: «С плача по умершему». Если человек умеет страдать, плакать, сопереживать, где-то там в нем что-то рождается. Если он перестает уметь страдать, человека не будет. В этом смысле всё это как бы, ну, такие очень поздние рассуждения. А все начинается с каких-то простых вещей – с родовых вещей, которые рождаются между матерью и ребенком, между отцом и сыном, между другом и другом, между мужчиной и женщиной. Если вот в этом пространстве что-то принципиально исчезает, то все наши разговоры про искусственный интеллект очень быстро скатываются в чистую коммерцию.
Всё началось же немножко пораньше, когда органопроекция, то есть удлинение человека, она началась еще у приматов. И обезьянки это делают. То есть когда «наш брат» он удлиняет руку и усиливает ее. Вот рисовать не пальцами, а уже карандашиком. Усилить глаза очками – я тогда лучше вижу. То есть в этом смысле процесс как бы создания техносферы, он начался давно-давно. И постепенно мы вокруг себя стали создавать очень сложную организованную такую техносферу. Строго говоря, функционально между лопатой и экскаватором нет большой разницы, но экскаватор просто рыть землю будет быстрее. А если еще процессор поставить, так всё будет замечательно.
И тогда постепенно человек привык свое собственное развитие строить вот по этой логике – по логике развития техносферы, всё больше и больше наращивая техносферу более сложными машинами и механизмами. Причем по логике органопроекции. То есть усиление этой техносферы, как бы удваивая свое собственное тело. Глаза, почки, печень, они у нас фактически удваивались в виде технического изобретения. Но кончилось тем, что мы и свое мышление почему-то стали описывать по этой логике технического изобретения. То есть компьютер как некая модель, которая может дублировать наше с вами мышление, как базовую функцию, как базовую способность. И в итоге мы всю логику развития стали строить по логике жизненного аутсорсинга. То есть отдавая, отдавая, отдавая своим техническим изобретениям все те функции и работы, которые раньше делали сами.
В этом смысле как бы это было еще небезобидно, когда это касалось лопаты, гвоздей, молотка, экскаватора, машины. А когда стали появляться всё более и более так называемые, условно говоря, «умные машины», то стала всё больше актуальной проблема границы. То есть до каких пределов мы готовы отдавать своему техническому изделию все эти функции и работы. Где граница эта фактически начинает преодолеваться. Где фактически мы, отдавая себя оному изделию, начинаем терять самих себя. И это уже принципиальная проблема. Она, с моей точки зрения, до сих пор в моделях не решена. Потому что, наверное, еще граница, слава Богу, не преодолена. Потому что, как мне кажется, именно здесь большой сильный соблазн.
Вот Галина в своих вопросах чисто таких подковыристых задавала вопросы: «Еесли вам встроить чип в обмен на бессмертие, вы что предпочитаете?» И она получала ответы. То есть как бы вот этот соблазн получить бессмертие сугубо техническим путем – это тот вопрос, который никак технически не может быть решен. Но именно это и ставит проблему предела. Потому что, ну, строго говоря, человек всегда испытывал соблазн. С одной стороны, он понимал, что он смертен, он конечен, он греховен, он ошибается, он болеет, ну, и всё понятно. С другой стороны, он всякий раз пытался этот соблазн как-то преодолеть, пытался как-то уйти от ответственности, пытался как-то чудом спастись и так далее. И тут подоспело его собственное изделие, то есть некое такое изделие, которое почему-то создало ему соблазн ситуация, что, оказывается, настало время стать почти бессмертным, получить кибернетическое бессмертие. И мы получаем фактически впервые, как мне кажется, именно с проблемой искусственного интеллекта это сугубо такая соблазнительная ситуация, это не объективный процесс – это то, что переживает масса людей, то есть людей простых, которые хотят избежать смертности и греховности, что называется. То есть, попадая в эту ситуацию соблазна, человек подменяет, собственно говоря, свое желание быть, то есть быть самим собой, вот каким-то таким техническим завершением и усовершенствованием. И, получая это техническое бессмертие, он (думая это, это такой соблазн) якобы станет бессмертен.
Мне кажется, это возникло именно тогда, когда техника дошла до такой границы, когда человек возомнил, что можно за счет технического совершенствования, то есть, собственно говоря, внешней техносферы, а не внутренней духовной заботы, стать почти бессмертным. И эта ситуация фактически сейчас стала всё больше и больше как бы развиваться. Потому что ловко она стала здесь работать. Мы же всегда несовершенны. И мы всегда незавершимы в принципе. Но именно вот эту обычную человеческую смертную сторону (то есть мы всегда открытые и незавершенные) некоторые представители трансгуманизма пытаются закрыть эту проблему сугубо техническим вопросом. То есть сделать техническое устройство, рядом с ним построить некий гибрид, и мы получаем некую замену. И в этом смысле человеку даже уже не обязательно совершать сугубо свои человеческие работы. То есть мыслить, любить и страдать.
А всё возникает почему? Кстати, вот Галина говорила про модели. У нас объяснительных моделей, как мне кажется, до сих пор нет. У нас есть модели искусственного интеллекта, но нет той модели, которая объясняет, с одной стороны, базовый акт развития человека. А дальше – кентавр-модели, гибрид модели уже с искусственным интеллектом. А базовая модель вот такая. Она же фактически как? Вот та самая морковка слева ученик, ребенок, не важно, он учится у взрослого. Взрослый берет образцы в библиотеке культуры. Он показывает образец в действии. Ребеночек осваивает предмет любой. Ну, начиная с ложки, которой кашу есть. Вот ложку надо освоить. Не рукой кашу есть, а ложечкой. Осваивая ложечку, я осваиваю предметное действие еды, каши. Осваивая предметное действие, я тем самым формирую у себя новый функциональный, и у меня мозг постепенно формируется как человеческий, локальная зона в мозгу начинает формироваться.
Это базовый акт развития, когда, осваивая предмет, я осваиваю предметное действие, осваивая действие, формирую себя и новую способность. И по этой схеме, в принципе, работают все шаги развития. Ну, в зависимости от масштаба и сложности (это уже детали). В этом смысле что ручка, что очки, что письмо, что мобильник я всякий раз осваиваю как предметное действие. Такая была базовая схема. Но получилось так, что вот эти все качества человек переживает от соблазна. Всё больше и больше стал отдавать. Он готов отдать письмо, готов отдать счет, готов отдать чтение, готов отдать речь, готов отдать коммуникацию. Отдавая эти виды деятельности, он перестает формировать в себе базовые функции. Это не просто некие такие высшие функции. Они рукотворны. Всякий раз надо не просто вот этой ручкой. Вот этой ручкой пиша, я формирую у себя базовые функции. Если мы перестаем лепить, писать, считать, коммуницировать, мы перестаем быть самими собой. Мы так привыкли и так, вроде, всегда описывалось.
Но мы получили в итоге инверсию. То есть, попадая в цифровую среду, мы очень быстро, не будучи созревшими, мы же существа слабые и соблазняющиеся (вот слева – это та самая базовая схема), попадая в иную среду и переживая ценностной сдвиг событийности. То есть если у молодого человека основные события в виртуальной среде, то он, начиная осуществлять вот эти виртуальные симуляции, переживает как бы такую иллюзию полноты жизни. Он думает, что там самое главное событие, там он герой, там его любят. Кстати, взрослый выводится из этого виртуального поля, и он перестает быть образцом. И у него возникает иллюзия, что жизнь состоялась и всё замечательно. Мы получаем инверсию, но, самое главное, мы перестаем развиваться и быть самим собой.
Это ключевой соблазн. Дело в том, что никакие как бы разработки и модели эту штуку не преодолеют. Она неминуемо происходит со всеми нами и с миллионами людей, особенно молодых. Ответ: запрещать гаджеты? Ну, учителя пытаются это делать. В класс приходишь – мобильник на стол, садись, и тогда урок начинается. Это не ответ, это не решение. Когда школы запрещают гаджеты на уроках, это признание в бессилии, это капитуляция. А ответа содержательного нет. Запрет гаджетов в школе – это не ответ. Кстати, богатые, миллиардеры, они своим детям запрещают гаджеты в детстве. Или школы в Монтессори, или вальдорфская педагогика, они запрещают гаджеты в школе. Но, выходя из школы, все равно берешь гаджет, и они с ними живут, поскольку среда. А мобильник чем отличается от ручки? Это больше, чем орудие. Это качество среды. Это принципиально другое качество среды обитания.
И тогда получается что? Получается так, что мы, прежде чем изобретать, разрабатывать, должны, во-первых, как бы возвращать себе свои базовые вещи, то есть самих себя себе возвращать. А во-вторых, поимая, что среда другая (а она действительно, другая) мы уже вступили, согласен. Но тогда, если мы это понимаем, надо в эту базовую модель встраивать ту самую цифру и как бы начинать вырабатывать новые модели, где цифра становится частью нового функционального органа. Раньше его не было. Раньше был глаз, тело, рука и ручка. И этого было достаточно. Но когда вошла среда в мою жизнь, и когда цифра стала с моей частью, надо понять, как она устроена, но уже на языке хотя бы модели. Вразумительных моделей до сих пор в психологии развития такого типа почти нет, так, скажем. И я бы обсуждал именно вот это. Поскольку именно проблемы границ между мной и, собственно говоря, изделием и есть предмет гуманитарной экспертизы. Спасибо.
Зубарев К. И.: Спасибо. Коллеги, есть ли вопросы?
Ти С.: У меня, наверное, один вопрос и один комментарий. Сергей Алевтинович, я не понял, в каком месте происходит смена понятия от усиления человеческих функций к дублированию. То есть сначала в докладе было про усиление. Это была стартовая история. А потом вдруг стало дублирование, не усиление.
Смирнов С. А.: Я про дублирование не говорил. Речь об усиление и передаче функций, об аутсорсинг. Мы отдаем, отдаем, отдаем. Это удобно. И по этой логике шел весь технический прогресс.
Ти С.: И мой комментарий. Просто хотел вкинуть из других обсуждений, что все-таки надо различать, что искусственный интеллект – это не искусственная личность. Что это не одно и то же.
Смирнов С. А.: Ну, для некоторых разработчиков – одно и то же. Они думают, что можно смоделировать мозг, и мы получим цифровой двойник. Но я-то как раз считаю, что искусственный интеллект – это оксиморон. Он невозможен.
Ти С.: Да-да-да.
Ти С.: И не надо его делать. Не про это речь. Надо выстраивать интерфейс нового типа: человека и умной машины, но в новой среде. Он не выстроен до сих пор. Мы ринулись сразу же делать новую умную игрушку, забывая про себя.
Ти С.: Вот смотрите, Сергей Алевтинович, когда идет компьютерная игра, вот вопрос: человек во время компьютерной игры с кем взаимодействует?
Ти С.: Там он садится очень хорошо на сценарий игры, который вшит в игру. И там просто-напросто его пользуют, им манипулируют. Его садят на соблазн, на страсть поиграть, выходить на новые уровни. Всё выше и выше, на новый уровень. Он хочет выиграть. В сценарий зашито вот это самое желание получать бонусы. Там человека нет. Он здесь сам – приложение к игре. Правила игры не он делал. Сюжет игры не он строил. Он не бог игры, он ею не управляет.
Ти С.: Тогда в чем отличие компьютерной игры от той схемы, которую вы развернули?
Смирнов С. А.: Принципиальное отличие. Отличие – это нормальная, естественная игра ребенка. Вот в детской игре ребенок живой. Он бог игры.
Ти С.: Но ведь тоже правила не он делает.
М5: Нет, в детской игре сам ребенок делает правила, а взрослый ему только мешает. В нормальной естественной детской игре, когда он играет сам с собой, с кубиками, если ему не мешают. А вот компьютерная игра садит его на иглу. Она заставляет его играть по своим правилам, и ребенок на нее водится. И это понятно. Потому что используют нормальные детские реакции. А вот компьютерные игры на развитие, где человек мог бы формировать свои правила игры, переиначивая их, это другое. Ну, например, когда я в шахматы играю, но шахматы родились до компьютера, просто они уже в модели делаются и всё. Вопрос-то в том, кто управляет игрой? В компьютерной игре не играющий управляет – им управляют. А шахматы сделаны до компьютера.
Пестунов А. И.: Сергей Алевтинович, можно маленький вопрос про игру в продолжение? Вот та игра детская, о которой вы сказали, там действительно, ребенок – творец: он правила и всё как бы делает. А вот есть, например, соревновательные игры: футбол, баскетбол. Мы их тоже, как я понимаю, в целом не говорим, что играя в футбол, баскетбол, человек теряет себя.
Смирнов С. А.: Нет, там другой тип игры. Это игра на победу. Там победить надо. Ты же привел пример игры на победу. Это игра-агон. В спорте главное – победа. Ты победитель – получи приз.
Пестунов А. И.: Хорошо. Но вот, тем не менее. Вот эти игры они к цифровым технологиям отношения изначально не имели. Вот появился сейчас киберспорт. Киберспорт – там тоже команда на команду. В чем принципиальное отличие? Про этику тогда вот мне важно было понять, в чем ошибка человека важна от ошибки искусственного интеллекта. Здесь – то же самое: в чем отличие футбола от киберспорта в контексте нашей дискуссии?
Смирнов С. А.: В этом смысле никакого отличия. Киберспорт – такая же игра на победителя.
Пестунов А. И.: А почему тогда мы анализируем цифровые технологии? Тогда куча всего, помимо искусственного интеллекта, обладает теми же самыми проблемами. Почему мы именно искусственный интеллект и цифровые технологии-то сейчас выносим как предмет?
Смирнов С. А.: Не знаю. Ты меня спрашиваешь?
Зубарев К. И.: Ну, я так понял, мы провели границу там, где отдать как бы последний рубеж человеческих способностей и потерять человека в плане принятия решений. Вот поэтому мы обсуждаем искусственный интеллект. В этом плане, когда мы говорим про другие цифровые технологии, где как бы, как вы ставите вопрос суперчеловека, которые только как бы усиливают, продают какие-то суперспособности, они просто усиливают ваши способности в конкуренции за что-то. И в этом плане, наверное, может быть... Ну, тут нужно, конечно, тоже обсуждать этичность/не этичность. Потому что всегда, любой вид спорта возьмем, даже те же гонки и так далее, – это очень всегда предмет решений комиссии целой, какие там можно использовать технологии, не использовать. То есть любая федерация спортивная, будь то, не знаю, гонки или что-то, они всегда вводят допуск использования тех технологий, о которых мы говорим. А почему про искусственный интеллект? Потому что искусственный интеллект должен как бы принимать решения вроде как.
Смирнов С. А.: Вроде как. Ну?
Зубарев К. И.: Ну, мы уточняем.
Аникин Ю. А.: Принимать решение – это нести ответственность.
Смирнов С. А.: Не может он этого делать и не обязан. Это должен делать человек.
Аникин Ю. А.: Ни одна техническая система нести ответственность не может.
Смирнов С. А.: Да! Вот до чего человек ленив. Он даже это хочет отдать машинке.
Зубарев К. И.: Вот в этом и противоречие вроде как. То есть мы хотим отдать принятие решения и ответственность отдать.
Смирнов С. А.: Если он отдает ответственность – значит, он не хочет за всё отвечать (человек). Так кто виновен-то: интеллект искусственный или человек?
Аникин Ю. А.: Человек может отдать – машина не может взять. Она где-то повиснет, упадет куда-нибудь и всё.
Зубарев К. И.: И, слава Богу.
Зубарев К. И.: Я предлагаю закончить на недосказанности, ну, как бы открытым оставить вопрос. Тем самым как бы в продолжение нашей дальнейшей работы. Мне, к сожалению, сложно резюмировать. Потому что очень большое количество смыслов было сказано. Я единственное могу сказать, что доступ ко всей информации остается. Мы вели запись на YouTube, ссылочку всем разошлем. Но, в принципе, можно прослушать еще раз и подумать. И некоторые тезисы, конечно, возьмем себе в копилку тех круглых столов по теме медицины и образования. Я всех приглашаю присоединиться, еще раз, 1 июля и 8 июля.
И важный вопрос, вернее, как бы наш подход, что мы хотим при организации таких круглых столов сохранить как бы позиционность и присутствие представителей всех позиций. То есть и представителей, допустим, медицины, и разработчиков, и соответственно, может быть, даже пользователей потенциальных. Потому что вот как раз на стыке соприкосновения этих позиций и появляются зоны этих конфликтов, как мы сегодня уже почерпнули. Вот мы эту позиционность постараемся сохранить. То есть будем приглашать тех людей, которые реально участвовали и имели опыт внедрения, заказа, использования этих технологий. Может быть, даже где-то регулирование, если нам удастся найти таких людей.
Ну, и я хочу всех поблагодарить за то, что пришли, откликнулись на наше приглашение. Мы ждем вас всех на наших круглых столах. Если какие-то будут у нас материалы появляться, мы, конечно, будем информировать о том, что у нас появилось: резюме, монографии. Если будем печатать и ссылаться на ваши цитаты, конечно, будем с вами это согласовывать. Спасибо большое всем за участие.