КРУГЛЫЙ СТОЛ
«ЭТИКА ДЛЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.
ГУМАНИТАРНАЯ ЭКСПЕРТИЗА»
27 августа
Участники дискуссии:
Модераторы:
Аникин Юрий Александрович , заместитель главного ученого секретаря СО РАН, канд. техн. наук
Ти Сергей Вадимович , помощник главного ученого секретаря СО РАН
Спикеры:
Асмолов Александр Григорьевич – д-р псих. наук, академик РАО, директор Школы антропологии будущего РАНХиГС (Москва)
Гребенщикова Елена Георгиевна - д-р филос. наук, заместитель директора ИНИОН РАН (Москва)
Ефимов Альберт Рувимович – вице-президент Сбербанка, директор Управления исследований и инноваций блока «Технологии», к. филс. наук. (Москва)
Смирнов Сергей Алевтинович – д-р филос. наук, ведущий научный сотрудник Института философии и права СО РАН (Новосибирск)
Стенограмма
Ти С. В.: Добрый день, коллеги! Добрый день всем, кто пришел сегодня к нам на последний слот в «Экспоцентр». Добрый день, коллеги, которые с нами участвуют в онлайне. Мы начинаем наш круглый стол. Меня зовут Сергей Ти, я помощник главного ученого секретаря СО РАН. Сегодня со мной в зале Аникин Юрий Александрович, зам главного ученого секретаря СО РАН и Смирнов Сергей Алевтинович, доктор философских наук, ведущий научный сотрудник Института философии и права СО РАН . С нами подключились онлайн Асмолов Александр Григорьевич доктор психологических наук, академик РАО, профессор, директор Школы антропологии будущего РАНХиГС (город Москва ). С нами на связи Ефимов Альберт Рувимович кандидат философских наук, вице-президент «Сбербанка», директор управления исследования инноваций блока «Технологии» (город Москва). Гребенщикова Елена Георгиевна, доктор философских наук, заместитель директораИНИОН РАН (Москва ). И был на связи Кирилл Ильич Зубарев . Я его видел. Он, может быть, камеру выключил. Это лидер «Точки кипения» НГТУ. Я думаю, что для вступительного слова мы попросим выступить Юру и потом перейдем к докладу. Порядок выступлений у нас: сначала выступает Александр Григорьевич, потом Сергей Алевтинович из зала, далее Альберт Рувимович, и замыкает блок выступлений Елена Георгиевна.
Аникин Ю. А.: Коллеги, добрый день! Рад приветствовать. Мне кажется, сейчас идеальные условия для хорошей дискуссии. Не так много зрителей, что позволяет все-таки сфокусироваться на предмете обсуждения, а не на благообразности форм. Поэтому, как мы, на самом деле, так и планировали, что у нас будет больше экспертное мероприятие, чем публичное. Потому что наш результат, результат круглых столов, которые мы провели по данной теме – по теме создания гуманитарной экспертизы современных возникающих технологий, он показывает, что это действительно предмет экспертного обсуждения, что сейчас нет большого интереса к данной тематике. Она хоть и осознается, но остается такой как бы скрытой. Возникает, может быть, напряженность, но точно не вопросы и точно не требования к данной функции общества, к возникновению такой экспертизы. Поэтому я предлагаю направить наше обсуждение именно в этот вопрос: а как она должна возникать, какие функции она должна нести и каковой главный будет плюс обществу от того, что она появится. Но при этом я думаю, и в вашем происходит то же самое, в моем – так однозначно: самое результативное общение – это тогда, когда банальности опускаются, а остаются только самые спорные или самые оппозиционные утверждения. Поэтому прошу вас именно в таком ключе представлять свои тезисы, оставляя время на дискуссию. Мне кажется, что дискуссия у нас будет более интересная, чем мы сделали бы просто докладами. Спасибо большое. Начинаем с Асмолова Александра Григорьевича. Прошу вас.
Асмолов А. Г.: Всех приветствую, дорогие мои коллеги! Мы с вами обсуждаем вопросы, которые обсуждаются уже немало лет. Сразу вспоминаются замечательные работы «человек – машина», которые шли из глубин веков. Сразу же мне вспоминаются, когда мы говорим о коммуникации (обратите внимание, я с самого начала сказал: коммуникация, а не взаимодействие человека с машиной), вспоминаются дискуссии по поводу этики, эстетики и тех или иных предельных оснований, которые встают, когда мы вторгаемся в эту область. Поэтому в своем кратком спиче хочу поделиться несколькими соображениями.
Первое. Когда я обсуждаю эти вопросы, то они действительно волнуют многих и многих, и нас вместе с вами. И чтобы это доказать, я вспомнил замечательные строки о взаимоотношениях, коммуникации человека и машины, [00:05:00] описанные моим ушедшим другом Андреем Вознесенским:
« Нас черные, как Батыи,
машины поработили.
...
А в ночь, поборовши робость,
создателю своему
кибернетический робот:
«Отдай, – говорит, – жену!
Люблю, – говорит, – блондинок
на тридцати оборотах.
Лучше по-хорошему отдайте» [1] .
И так Андрей Вознесенский формулирует этические вопросы коммуникации между тем, что бы сегодня назвали, не побоюсь этого слова общим искусственным интеллектом, и каждым из нас, который немножко является человеком.
Обсуждая эти вопросы, я сразу хочу задать некоторые рамки и некоторые сомнения. Что меня волнует? Меня волнуют не разработки искусственного интеллекта, а то, что мы начинаем у представителей этих разработок искусственного интеллекта учиться уму-разуму у машины. Нас, по сути дела, греет придуманная моими любимыми когнитивистами компьютерная метафора, которая строит человека по образу и подобию машин. Но эта метафора имеет мощнейшие ограничения, особенно в форме того ужаса, который надвигается на весь мир и который редуцирует понимание человека к простоте.
Я называю этот ужас «брейнизация» мира. Бог с ним, с компьютеризацией. Бог с ними, с искусственными технологиями. Но когда мы думаем, что, нырнув под коробку черепа, и через мозг мы начнем понимать мир, это явная редукция и ограничения. Именно против этого порочного круга, когда человек, творчество которого абсолютно не сводится к мозгу, как это показано очень многими мыслителями, вдруг начинает пытаться понять человека по образу и подобию тех моделей, которые он создал. Иными словами, возникает порочный круг. Я создаю модель. За нее, конечно, ни Чапек не виновен, ни Азимов. А потом по образу и подобию этой модели начинают пытаться понять самого человека, тем самым внося предельные ограничения этих вещей. Как говорит один из участников нашей дискуссии, я перефразирую его, явно не хватает антропологии, как говорит наш коллега Смирнов, как навигации при понимании этих проблем. Отсюда, чтобы мы двигались плодотворно в этом плане, надо четко осуществить в контексте эволюционного или, как я люблю говорить, историко-эволюционного анализа сложных систем, переход, который давно происходит благодаря работам Эйнштейна, Пригожина от гомеостатических моделей понимания мира (подчеркиваю), а не только человека, от позитивистских моделей, в этом плане к совершенно другой реальности – к тому, что я называю преадаптивной эволюционной моделью.
Я не буду сейчас рассыпать буквально всё это по столу, но феноменология преадаптации наиболее лучше передаваема словами Виктора Степановича Черномырдина: «Никогда не было и вот опять», когда мы сталкиваемся и возникает уникальное количество преадаптивных явлений, связанных с воображением, связанных с творчеством, которое намного шире любых, не побоюсь этого слова, нейронных сетей. Это то, что нам необходимо сегодня понимать. Мы можем называть это вслед за некоторыми коллегами «преадаптивным мышлением», но мы должны, так или иначе, отрефлексировать, что без эволюции мы не сможем заниматься тестированием нашего разума. Нам надо обратить внимание на смену парадигм в тестировании ума. Ее наиболее четко показывает мой коллега Александр Николаевич Поддьяков в работе «Три революции в тестировании ума: от регламентированности к свободе». И в этом плане мы, опять же, оказываемся в другой совершенно реальности, занимаясь этими вещами. [00:10:00]
Присутствующий здесь Альберт Ефимов постарался в русле определенного направления, будучи влюбленным в одного из моих учителей, как я чувствую, с которым он из-за юности не мог общаться, по имени Мераб Мамардашвили все-таки прорваться и обозвать, что он хочет отвергнуть модель Тьюринга и создать посттьюринговую методологию. Спасибо за эту наглость и это хамство. А также спасибо, что вы вспомнили, что ничего не бывает без эволюции и работы Икскюля по биосемиотике, по образам мира, которые вдохновили моего учителя Алексея Николаевича Леонтьева, крайне важны.
И, наконец, третий тезис. Третий тезис заключается в том, что ключевым кодом человека как преадаптивного существа, является странное сочетание, код непредсказуемости. Каждый из нас на себе испытал, а я гляжу на присутствующих, что у него бывали мгновения в жизни, когда он о себе, как Пушкин, мог сказать: «Ай да Пушкин! Ай да сукин сын!» Иными словами, человек обладает кодом непредсказуемости, преадаптивности и, тем самым, бесконечности. Человек действительно является мерой всех вещей, но только потому, что он безмерен. Поэтому любые попытки редукции человека как символа сложности в нашем мире к тем или иным одномерным измерениям – это те ограничения, которые смущают мой разум. Поэтому я лучше буду изучать эстетику и этику по законам роботехники Азимова,и мне хватает правил Айзека Азимова для многих вещей. Прогресс – это развитие разнообразия. Это ключевая эволюционная характеристика. Мы должны ее понимать. И, слава Богу, что каждый из нас наглый, непредсказуемый, и поэтому не знает самого себя. Спасибо. (Аплодисменты)
Аникин Ю. А.: Мне кажется, это достойно аплодисментов. Огромное спасибо, прям большое удовольствие, что оставили именно такие вещи, которые заставляют откликаться. Но вопросы все-таки есть. Кстати, по поводу Пушкина. Очень красивая, мне кажется, аналогия. И это меня очень сильно тоже задевает, потому что я долго не мог понять, как я смеюсь во сне. Вот я просыпаюсь от смеха. А утром я думаю, как я мог так себя обмануть, что мне вдруг стало смешно. То есть что я такого себе, там, какой анекдот рассказал, не зная до этого, что я буду себе рассказывать. Поэтому действительно, креативность, мне кажется, изучение креативности, оно выходит на первый план. Но вот с тезисом о том, что мы сейчас изучаем человека по его модели, ну, собственно, моделирование как способ познания, он, мне кажется, вечен. Существует ли какое-то особое исключение, то, что появилось сейчас, ну, и, может быть, по отношению к изучению человека. Но, как мне кажется, метод не нов.
По-моему, у нас проблема со связью. Да, действительно. Коллеги, я тогда предлагаю вернуться к обсуждению данного доклада. Он, мне кажется, очень ценен и к нему точно есть, как минимум, комментарии, ну, и, скорее всего, вопросы. Смирнов Сергей Алевтинович, второй доклад, пожалуйста.
Смирнов С. А.: Спасибо. Еще раз, добрый день, коллеги! Я бы хотел продолжить тот гуманитарный дискурс и тот пафос, который заявил Александр Григорьевич, но с предложением перейти на такой более-менее методологический залог. Потому что понятно, что редукция человека к какой-то очень упрощенной версии и модели никому не нравится. [00:15:00] Но мы же с вами обсуждаем не человека просто. У нас тема какая? «Этика для искусственного интеллекта. Гуманитарная экспертиза». То есть мы обсуждаем проблему двух: человека и машины, умной машины. Так вот вопрос заключается в следующем: что закладывается в основание представления об искусственном интеллекте с точки зрения человека. То есть антропология машины. То есть с чего всё начинается? Искусственный интеллект начинается не с машины и не с железки, и не с робота. Это начинается с программы, с алгоритма. То есть когда допускается возможность программировать по шагам действия человека и заложить это в модель и описать деятельность человека в виде поведенческой функциональной модели. То есть к вопросу о непредсказуемости, о которой говорил Александр Григорьевич. Кстати, нейросети уже непредсказуемы. Значит ли это, что нейросеть ведет себя как человек? Вопрос.
Так вот, когда допускается, что можно построить функциональную поведенческую модель, туда заложить базу данных побольше, и она, так сказать, начнет тебе выдавать свои решения. То есть изначально допускается, что человек в силу многообразия его способностей мог быть описан таким образом – как функциональное устройство, как функциональная машина. И тогда действительно, редуцируя его к функциональной машине, его можно программировать, и тогда передавать ему функцию. Парадокс заключается в том, что мышление – это не функция и не набор функций. Это гораздо более сложное событие в жизни человека, что он вдруг начинает мыслить. Ну, про любовь я вообще молчу. Если брать две базовые способности – мышление и любовь – то, что делает человека человеком.
Но, допустим, берем пока мышление. Если допускается, что мышление – это набор функций и это определенная активность мозга, то можно строить модель. Всё понятно. И тогда вопрос следующий: если так, то тогда, собственно, до настоящего времени все модели, которые предлагались, они действительно похожи на то, что там, так сказать, такое искусственное, почти человекообразное существо, которое программирует, прогнозирует, принимает решения и так далее. Мы допускаем, что можно сделать такого партнера для человека.
Ну, а теперь дальше. Проблема начинает возникать тогда, когда вдруг нейросети выдают непредсказуемое решение. Значит, смотрите, что получается. Когда выстраивается рядом с человеком иное ему искусственное существо, с которым (существом) человек вступает в коммуникацию, во взаимодействие, и, так сказать, это существо перестает быть понятным, то есть его действия непрозрачны и непредсказуемы. Когда возникает граница, вот здесь начинаются проблемы этики. То есть этика начинается с границы, а не вообще, так сказать, про мораль и нравственность. Заключается в том, что человек наряду с собой создает иное себе, точнее, копию более упрощенную поведенческую, и потом начинает удивляться, почему копия начинает вести себя так или иначе.
Возникает тогда вопрос: та ли это модель, туда ли идем? И здесь рождаются две стратегии. Две стратегии для этики, именно этики. Стратегия первая – это бизнесовая. Она понятная. То есть когда разработчик искусственного интеллекта говорит: «Да нет, не бойся, он не кусается». То есть всё нормально. Он построил дружественный интерфейс, партнерские отношения. Искусственный интеллект, он дружелюбен, он предсказуем. Тогда выводится порядок этических правил для искусственного интеллекта, то есть системность, предсказуемость, прогнозируемость, частота, открытость и так далее. То есть, вообще-то говоря, сугубо маркетинговый ход. То есть вот эта штука, она не враждебна. Ты можешь ее брать. Она не кусается. Всё нормально. Но за этим стоит все-таки маркетинговый ход для того, чтобы ее брали вот эти самые разные юзеры, пользователи и так далее. Особенно простые. Это первая стратегия. Она понятна, объяснима, и она реализуется.
Вторая стратегия – стратегия защиты. Когда разного рода органы власти в Евросоюзе или в Америке разрабатывают конвенции, много вариантов: Евросоюза, американский, канадский, монреальский кодекс и так далее. Тогда, видя, что возникают риски, они растут при практике внедрения искусственного интеллекта в повседневность. Необходимо выработать правила игры, [00:20:00] критерии, принципы, согласно которым можно или нельзя внедрять слабый или сильный искусственный интеллект в повседневность, и тогда каким правилам надо соответствовать в этой части. Тогда это чисто защитная стратегия. И вводятся разные кодексы, декларации, которым надо соответствовать.
Я полагаю, что и та, и другая стратегия, вообще-то говоря, тупиковые. Почему? Потому что первая, бизнесовая, стратегия, она не выстраивает реально дружественного интерфейса, и человек не понимает, на самом деле, что с ним происходит. Более того, никто не даст гарантий, что все-таки прилетит, и там много рисков. Ну, а вторая стратегия вообще допускает, что бедный человек слабый, беззащитный, его надо защитить (от их же собственного созданного искусственного интеллекта), и он не отвечает сам за себя и так далее.
То есть в обеих стратегиях допускается изначально редуцированная модель самого человека. То есть когда мы программируем его поведение, еще раз повторяю, проблема начинается не с машины, а с алгоритмизации наших с вами действий. Когда учитель, например, программирует урок. Когда управленец программирует действия подчиненных. Когда профессор программирует поведение студентов. Когда мы представляем самих себя как программных существ, машин. И всё. И потом это забываем. Здесь проблема.
Вроде как напрашивается другой подход. Наверное, нужна другая модель. Причем модель не искусственного интеллекта, а модель гибридная: человека и иного ему искусственного существа, которая выстроена совсем по другим как бы правилам игры, где человек, вообще-то говоря, он оставляет за собой сугубо человеческие качества, то есть мышление, принятие решений и разного рода прогнозы и форсайты, а искусственный интеллект становится его умным партнером, которому можно на аутсорсинг передать какие-то функции. Какие? Вопрос не праздный. То есть все равно возникает такая пограничная гибридная модель, где надо договариваться, что оставлять человеку как ключевому оператору в этом поведении, а что он может делегировать искусственному устройству, пусть даже трижды умному, который не болеет, быстрее решает и так далее, но все равно это его продукт, это его партнер. И надо понять, как эта граница выстраивается.
И тогда вопрос: что есть понимание вот этой границы, вот этой гибридной модели? И тогда, мне кажется, здесь рождается проблема гуманитарной экспертизы, в отличие от этической, то есть когда она обсуждает вопрос границы, всякий раз восстановления человека с его базовыми способностями и его делегирование функций иному – машине. Вот на этой границе, вот на этой качели, всегда она такая плавающая, прозрачная. И гуманитарная экспертиза должна решать проблему всякий раз заново выстраивания границы. В отличие от этической экспертизы. Там всё понятно. Когда после Второй мировой войны стали понимать, что опыты над человеком делать нельзя. Ну, нельзя. Поставили границу. Этическая экспертиза запущена, приняты декларации. У гуманитарной экспертизы такой декларации еще нет, потому что граница плывет. И тогда у нас общая задача, что есть институт гуманитарной экспертизы как та практика, которая всякий раз восстанавливает границы человека и искусственного интеллекта. Спасибо.
Аникин Ю. А.: Спасибо. И для нас всё не так страшно, как сказал Александр Григорьевич. Ну, и не весь фронт, мне кажется, задач вы берете, которые Александр Григорьевич обозначил.
Смирнов С. А.: Это я для начала. Согласен.
Аникин Ю. А.: Вот смотрите, по поводу, кстати, тезиса о том, что искусственный интеллект, раз он непредсказуемый, является интеллектом. Здесь совсем не соглашусь. Потому что непредсказуемость надо точно различать: либо есть какая-то стохастичность, либо есть какое-то недопонимание или та самая ошибка на краях модели.
Смирнов С. А.: Правильно. Ты уж извини, ты какие данные заложил, потом удивляешься, почему у тебя на экзамене выдает какие-то результаты.
Аникин Ю. А.: Нет. Я сопротивляюсь тезису, что нейросети похожи на человека тем, что непредсказуемы. Нет, не похожи. Они по-другому совсем.
Смирнов С. А.: Вот именно. Чем отличается их непредсказуемость от человеческой.
Аникин Ю. А.: Вопрос. Вы говорите, что мышление не функция, и, допустим, какие-то из частей функциональных, которые мы иногда считаем мышлением, можно передавать умному партнеру. Означает ли это, что мышление или, скажем, вот этот интеллект или человечность, – это не только функция мышления, но и еще какие-тот функции? [00:25:00] То есть можно все равно свести к функциям, но другим? Можно ли социальность обозначить как функцию?
Смирнов С. А.: Я специально на этом заострил. Мышление не передается. Вот это первое. Никак. Его невозможно моделировать. Можно. Это и делается. Допустим, что мышление можно смоделировать. На самом деле, моделируют функцию. Мышление не моделируется, не передается. Это событие, которое совершается.
Аникин Ю. А.: Никто и не говорит, что передают мышление. Передают функцию предсказания. Описание, предсказание какой-то системы. Причем последнее, что я читал, – это о том, что интеллект – это всего лишь штука, которая прогнозирует себя, мир и социум. И всё.
Смирнов С. А.: Юрий Александрович, ну, смотри, уже предсказаний было много всего. И куча ошибок. Римский поп однажды предсказал, а потом понял, что ошибочка вышла в модели.
Ти С. В.: Нет, ну, человек-то тоже оставляет ошибки мышления. То есть в этом отношении это не критерий.
Смирнов С. А.: Правильно. Потому что он прогнозирует. Он экстраполирует вчерашний день в завтрашний. Пора перестать прогнозировать для начала. Ну, то есть это неправильно.
Аникин Ю. А.: Тезис понятен. Предлагаю оставить, опять же, для дискуссии и дать слово Альберту Рувимовичу.
Ти С. В.: Поздравляем вас, кстати, с недавней защитой.
Ефимов А. Р.: Уважаемые коллеги, здравствуйте! Невероятно было интересно вас слушать, потому что эта дискуссия прям очень волнительна, очень интересная, и для меня, в том числе, и затрагивает много вещей, с которыми хотелось бы согласиться и поспорить. Но я уверен, что Александр Григорьевич полностью одобрил ту мысль, которую я сейчас скажу заглавную. Наша опасность не в том, что роботы становятся всё более и более похожими на людей. Наша опасность, конечно же, в том, что люди, к сожалению, становятся все более и более похожими на роботов и компьютеры. Поэтому ту тему, которую я избрал для себя с точки зрения философской науки, – это тест Тьюринга и то, что связано, скажем так, с имитацией мышления. Как правильно сейчас действительно Сергей Алевтинович заметил, мышление, конечно же, воспроизвести машина не может. Но машина может имитировать мышление, иногда даже странно-старинными способами. Но, тем не менее, тема, о которой я хотел поговорить, – это «Философско-методологические основания посттьюринговой интеллектуальной робототехники ». Но, возможно, когда я буду говорить о чем-то, я чуть-чуть, может быть, буду делать референсы в сторону, в том числе, в ходе нашей сегодняшней дискуссии.
Прежде всего, мой научный руководитель Давид Израилевич Дубровский, который очень много вместе со мной вложил в эту тему. И мы занимаемся и общим искусственным интеллектом, и сильным искусственным интеллектом, и рассматриваем совершенно разные аспекты, но пока не так много, может быть, как нам хотелось бы, этику. Поэтому я не совсем про этику, но я про машины. И вот это для меня очень важный аспект.
Я хотел бы сейчас погрузить нас всех в тот контекст, в котором мы находимся. Но начать, наверное, следует с 8 ноября 2019 года, когда на конференции AI Journey мы собрали выдающихся философов России, в том числе, Института философии Российской академии наук, философского факультета МГУ. К нам присоединился Юрген Шмидхубер, который сейчас президент Института искусственного интеллекта «Сбербанка» . И мы обсуждали как раз вот все те вопросы, которые тоже мы сейчас обсуждаем. И, честно говоря, конечно же, конца-края им не будет.
Важно это, потому что искусственный интеллект – это технология уровня манхэттенского проекта, и она будет иметь влияние на весь мир, на всю цивилизацию сразу. Но на текущий момент нет никакой ясности относительно научной парадигмы. Ну, в «куновском» смысле этого слова. Потому что большинство моих коллег, которые занимаются искусственным интеллектом, вне зависимости, в какой организации они работают, они считают, что они просто решают головоломку. Но, на самом деле, мы присутствуем на самом рассвете искусственного интеллекта, когда никакой научной парадигмы относительно того, как, вообще, с этим жить, еще пока не существует. И это создает громадные риски и новые проблемы, в том числе, и с экспертизой. Потому что спросить, а насколько хорошо то, что предлагается, сейчас некого, так, чтобы можно было получить обоснованное суждение, которое ясным образом отвечает текущей ситуации. И это не только в России, я подчеркиваю. Те же самые споры идут во всех крупных так называемых гик-техах относительно этики искусственного интеллекта или, говоря широко, этики технологий. [00:30:00]
У нас отсутствует какая-либо дорожная карта дорожной карты. Поэтому мы постоянно ошибаемся в прогнозах. Это ровно то, что прямо ясно сказал Сергей Алевтинович. Римский клуб ошибается. И все остальные клубы, они тоже ошибаются. И математики пошли своей дорогой создавать искусственный интеллект. Наметился глубочайший разрыв между дисциплинами. Философы не слушают то, что происходит сейчас в искусственном интеллекте и в технике. Технари, инженеры не понимают, что происходит в философии и в этих дискуссиях. Но мы также видим одну очень важную вещь – это технологии, когда они начинают влиять на нас, они переопределяют самого человека. Ну, классический пример – это, конечно же, люди-киборги, в том числе, с экзопротезами. Это человек или нет, если он может бегать быстрее, чем обычный человек, потому что у него вместо ног протезы?
И последнее, о чем хотел сказать про актуальность, – это, конечно же, HБИКС-революция, о которой говорили примерно десятилетие назад, а то и больше чуть-чуть, она очень сильно сфокусировалась на «Н» и «Б» и совершенно забыла про info cognitive.
Я сейчас чуть-чуть про научный продукт и проблемы, наверное, очень быстро проскочу. Но если взять две вещи, то аналоговый – это одна история. И вторая история – это воплощенный искусственный интеллект, о котором мы начали говорить примерно с 90-х годов. Таким образом, у нас есть, ну, по сути дела, несколько парадигм. Первая парадигма – это конвенционистский подход, когда мы имитируем функции человеческого мозга. Второе – это логико-репрезентативный подход, когда мы считаем, что воображение и символьная репрезентация мира – это всё. И третий подход – это воплощенный искусственный интеллект, который, если просто сказать, «нам нужен робот, для того чтобы ощущать окружающий мир». Очень много сейчас пишется, делается, выступается в конференциях, которые проводятся за рубежом по этой теме. Очень много было сделано в Советском Союзе, в России. И сейчас происходит относительно философии и методологии искусственного интеллекта.
Но если вернуться к тому, что я сказал, это философия Тьюринга и посттьюринга, то Тьюринг установил одну очень простую вещь. Это если мы не можем понять, что такое мышление (а Сергей Алевтинович говорил, что машина не может мыслить, это правда), то если мы можем сымитировать мышление, не все ли равно. И тогда машина мыслит, если она имитирует мышление. Но похоже, что та парадигма, которой мы обязаны Тьюрингу последние 79 лет, его публикация статьи в журнале Mind (это 1950 год), она подошла к концу. Потому что наступает время для посттьюринговой методологии.
В чем ее простая очень суть? Я сейчас очень просто. Если говорить в общем, то робот, компьютер, ему нужно три вещи, для того чтобы он понимал окружающий мир – это сенсор, это понимание и действие. С этим мы сейчас, наверное, все согласны. Я уверен на «Технопроме» много об этом говорилось. Но если классифицировать всё, что сделано в отношении тестов Тьюринга… Я сейчас не буду говорить, что это такое, но тесты Тьюринга, они все группируются в одну очень простую группу. Они все про вербальное взаимодействие в виртуальном мире. Таким образом, всё, что делалось до этого, очень часто люди забывают, что, на самом деле, у нас еще невербальное взаимодействие (это громадное темное пространство культуры, о котором говорил Эверет) и физический мир. И вот взаимодействие в виртуальном мире, физическом мире и невербальное взаимодействие, оно тоже имеет большое-большое значение. И я назвал, получив вдохновение от семиотики, вот эти пространства вербального и невербального взаимодействия в виртуальном и физическом мире, я их назвал «техно-умвельта». И, мне кажется, оно очень хорошо отражает суть проблемы. Это то, как робот видит окружающий мир, по сути дела, перенося субъектность на самого робота.
Отсюда возникает следующая вещь. Наверное, сейчас многие очень узнают какие-то простые вещи. А на самом деле, тот робот, которого мы хотим создать, тот общий искусственный интеллект, который мы хотим создать, он обладает способностью двигаться между различными «техно-умвельтами» в абсолютно любом направлении. Конечно, мы начали создавать наших роботов с вербального взаимодействия в виртуальном мире. Но это довольно скучно. Потому что этот мир в целом ограничен очень компьютерами. И сейчас мы резко идем во все остальные «техно-умвельты». Мы создаем цифровых аватаров, которые могут невербально общаться в виртуальном мире. Мы создаем беспилотники, которые имеют, конечно же, невербальное взаимодействие, но они уже в физическом мире. [00:35:00] И, конечно, вершина этого – это роботы, которые способны иметь вербальное взаимодействие, совершаемое в физическом мире, но, прямо скажем, даже вот эти дети, которые здесь на видео сейчас вы видите, играют в ладошки. И ни один робот в следующее столетие будет не в состоянии даже повторить что-либо подобное. Поэтому новая посттьюринговая архитектура, которая здесь изображена, она подразумевает, что наши роботы имеют способность переходить из одного «техно-умвельта» в другой, пользуясь таким аналогом, что ли, может быть, нейронных коррелятов, это технокоды, которые позволяют преобразовывать информацию, полученную в одном «техно-умвельте», для того чтобы она могла быть использована в другом.
Отсюда возникает один очень простой тест посттьюринга, я так его называю, который переносит нас из классического теста Тьюринга. Ну, помните: стена, человек, компьютер, и судья должен определить, кто за стеной. Стена становится прозрачной для вербальных и невербальных коммуникаций. Там находятся аватары. И судья должен определить, кто за стеной: человек или компьютер. И в этом смысле мы с помощью такой прозрачной стены объединяем человека и машину, для того чтобы они могли действовать совместно. Потому что будущее будет не за соревнованием человека и машины, а будущее будет за человеком и машиной, действующим совместно в любых условиях. Всё. Спасибо большое. Готов к вопросам.
Аникин Ю. А.: Спасибо. Можно теперь вопрос? По поводу упрощенного интеллекта, поскольку сейчас это является последней парадигмой. Вот в 2019 году мы на одном таком же мероприятии, где было много споров, мы решили, что тело есть. Грубо говоря, социальные сети или среда, в которой существует вот это отцифрованное социальное общение, – уже тело для роботов. Они уже действуют. Замечу, у них есть все сенсоры, и они уже действуют. Точно так же, как роботы на бирже, уже давно действуют. Им хватает сенсоров и активаторов. Согласны?
Ефимов А. Р.: Не до конца. Потому что как, знаете, в одном боевике Брюс Ли сказал так: «Доски не дают сдачи». И в данном случае сенсоры не являются полным аналогом тела. Потому что они не дают возможность строго подавать обратную связь.
Аникин Ю. А.: Да. Но здесь вы идете в другую совсем сторону. Вы говорите: а что есть боль? То есть что за сенсорами? Что есть боль, что есть ценности, что есть этика и что есть ответственность.
Ефимов А. Р.: Это абсолютно верно.
Аникин Ю. А.: И это речь не про сенсоры. Здесь я с вами согласен. Но и не про тело. Как бы не в полной мере про тело. Спасибо.
Ефимов А. Р.: Но у нас возникает сразу же следующий вопрос: а вообще, возможна ли этика без тела?
Смирнов С.А.: Большое спасибо за выступление. Виден заход на новую модель посттьюринговую. Это радует. Но, смотрите, все равно возникает вопрос: зачем учить машину имитировать машину? Может быть, наоборот? Смотрите, у нас же проблема другая: человек отказывается мыслить. И он при этом пытается машинку учить имитировать мышление. Вплоть до секса – не проблема. Зачем мне игрушка, кукла для секса, если я могу найти живую, теплую, нормальную женщину. Правильно? Так зачем мне другую искусственную штуку обучать чему-то? При этом я сам изучаюсь этому. У нас же проблемы в том, что сначала дети перестают как бы сами действовать, а потом это всё делегируют вот этому устройству. То есть считать, запоминать, понимать, навигацию строить. То есть, например, искать знания под что-то. Навигацию не умеет делать, а чтобы эта штука за него всё это сделала. Может быть, наоборот: сначала научить надо, все-таки вернуться к базовым вещам, учить человека мышлению, как Ильенков призывал, и понять роль в этом, в этой практике вот этого умного устройства, как он с этим устройством обустраивает интерфейс. Какой? Что оно ему дает и при этом оно тогда ему помогает в его личностной навигации. [00:40:00] Это другая модель и другой подход.
Ефимов А. Р.: Если коротко, я не до конца понял все-таки вопрос. Потому что, мне кажется, здесь мысль: человека надо учить мышлению, и человеку, в конце концов, нужен человек, как говорил Станислав Лем в своем прекрасном романе «Солярис». Но, смотрите, мы не учим машину мышлению. Мы учим машину выполнять нудную, ненужную, опасную работу, которую человек не достоин ее делать. Потому что человек может делать более важные, более высокие вещи. И это единственное, что мы делаем.
Ти С. В.: У меня два коротких вопроса на понимание. Там есть фаза понимания у машины. Я всегда думал, что понимание – это и есть мышление. А если понимание – это мышление… Но, с другой стороны, мы говорим, что мышление не передается на человека. Вот в чем здесь стыковка?
Ефимов А. Р.: Всё, конечно, намного сложнее. Это всего лишь упрощение, для того чтобы сделать простую частную модель. В отношении машины важны две вещи. Первая – это моделирование ситуации. То, что они постоянно делают, и мне кажется, об этом сегодня тоже говорилось. А второе – это, конечно, принятие решения на основе этих моделей и предсказания, которое есть. И, кажется, Сергей Алевтинович это упоминал. Может быть, Юрий тоже об этом говорил. Нам необходимо говорить, что не только мы можем предсказывать ситуацию, но мы можем, в том числе, фокусировать на ней свое внимание. В этом смысле у человека есть интеллект и сознание, которое позволяет нам фокусироваться на каких-то конкретных вещах. Но реально интеллектуальная функция машины намного-намного сложнее и насчитывает примерно 13 пунктов. Об этом говорил Виктор Константинович Финн, если кому-то это важно и интересно.
Ти С. В.: И вторая часть. Был образ, с чего начиналось. Что искусственный интеллект сейчас – это новый манхэттенский проект. Можно чуть больше, в чем сравнение именно с манхэттенским проектом? Ну, то есть это достаточно сильный образ, и вот его надо бы раскрыть. Потому что я пока лично не словил вот этого сопоставления по значимости.
Ефимов А. Р.: Да. По значимости. Потому что сейчас мы создаем... Знаете, вот Поппер, Карл Поппер, говорил, что компьютер – это умный карандаш. Сейчас мы создаем суперумный карандаш, который может за нас даже писать некоторые слова. Цивилизационно это может поменять, вообще, некоторые вещи. И создание искусственного интеллекта – это важная, в том числе, и национальная задача, потому что это что-то поменяет. И аналогия здесь именно такова, что манхэттенский проект что-то поменял в мире и сделал наш мир, на самом деле, намного более безопасным. Потому что наличие атомной энергии позволило человечеству за последние свыше 70 лет полностью избежать больших кровопролитных войн. И это прямо очень важная вещь.
Но это даже не та аналогия, о которой я хотел бы сказать в данном контексте. А важная еще вещь, что мы находимся в том парадигмальном периоде относительно физики и искусственного интеллекта, как во времена манхэттенского проекта была физика, так она сейчас становится, искусственный интеллект постепенно входит в научную парадигму. Происходит это на наших глазах очень быстро. Один мой коллега Саша Хамин [нрзб, 00:43:56] из [нрзб, 00:43:57] Labs сказал, что эволюция в искусственном интеллекте происходит каждые полгода. И это абсолютно верно как раз для такого периода резкого роста, когда возникают всё время новые и новые парадигмы, новые архитектуры, которые еще не устоялись. Потом они умирают, появляются следующие. И это говорит о том, что мы очень быстро растем. Вот вторая часть аналогии.
Аникин Ю. А.: Пожалуйста, Елена Георгиевна, слушаем ваше выступление.
Гребенщикова Е. Г.: Добрый день, уважаемые коллеги! Я бы хотела немножко как бы оттолкнуться от предыдущих докладчиков. И поскольку я занимаюсь биоэтикой в большей степени, хотя, конечно, я доктор философских наук, но, тем не менее, биоэтика – мой основной интерес. [00:45:00] И в некотором смысле, наверное, биоэтика здесь может нам помочь в том, чтобы понять, о чем мы говорим. Собственно, такой биоэтический подход к оценке обсуждения дискуссии по поводу искусственного интеллекта связан с тем, что мы пытаемся посмотреть, каким образом различные медицинские системы на основе искусственного интеллекта могут взаимодействовать с врачом и с пациентами тоже. Ну, и понятно, что можно представить некий первый режим, в котором искусственный интеллект, собственно, – это инструмент. Он позволяет выносить какие-то обоснованные решения, помогает делать операции, контролировать лечение. Ну, в принципе, наверное, все слышали робот «Da Vinci» – это вот такой пример.
Второй режим – это, по сути, уже ситуация, когда искусственный интеллект не просто играет роль какого-то инструмента, а в некоторой степени становится таким автономным самостоятельным действующим агентом. Вот здесь можно говорить о двух смыслах автономной агентности. Ну, во-первых, искусственный интеллект в качестве ассистента и, в общем-то, в качестве консультанта. И, собственно, здесь вот есть уже примеры консультантов, когда, например, искусственный интеллект может быть как бы такой системой поддержки принятия врачебных решений, причем дистанционной, и уже, в общем-то, действует более-менее автономно.
И третий режим – это медицинские системы, которые играют роль основных и в некоторой степени единственных агентов врачевания. То есть данный вариант, конечно, предполагает разработку роботов с сильным искусственным интеллектом. Но пока это гипотетический способ взаимодействия. В общем-то, мы как раз обсуждаем то, что когда-то будет. И вот в этом смысле биоэтика и этика, о которой мы говорим, она ориентирована на некие горизонты, в общем-то, и некие желательные или, может быть, нежелательные перспективы. Ну, для медицинской робототехники, понятно, что речь идет о некоем, в общем-то, желанном будущем, которое когда-либо наступит.
И вот здесь я хотела бы поставить вопрос, который был уже предыдущим докладчиком задан: какой должна быть этика? На самом деле, мне кажется, что у нас не может быть одной-единственной этики. Почему? Потому что вот первый режим, о котором я сказала, он, по сути, уже закрыт этикой. Была речь о НБИК-технологиях. Фактически мы сейчас имеем полный комплект, ну, если можно так выразиться, комплект этики, связанной с НБИКСом. То есть это нано-этика, она существует, биоэтика хорошо развита, я ею занимаюсь и в ней развита как раз практика этической экспертизы, с которой выросла гуманитарная экспертиза, есть информационная этика, и есть нейроэтика. То есть весь НБИК как бы закрыт четырьмя типами, разными типами, причем этики в этической рефлексии.
Сможем ли мы использовать вот этот уже накопленный потенциал и каким образом, в общем-то, его можно использовать? Вот я думаю, что для первого режима, по сути, уже есть некая этика, и она неплохо работает. Кстати, есть техноэтика как самостоятельное понятие развитое, сейчас оно довольно активно развивается в Канаде. Ну, и есть вот этот комплекс НБИК, и есть, собственно, биоэтика, если говорить о медицине, от которой я отталкиваюсь.
Второй режим более интересный. Какая там должна быть этика, когда мы говорим о некой автономности, самостоятельности вот этих действующих агентов? Здесь, конечно, нужна некая новая этика. И, мне кажется, вот здесь понятие этики пересматривается. Если вы посмотрите на 23 асиломарских принципа искусственного интеллекта[2] , то там, собственно, речь уже не о морали – там речь уже идет о неких социальных параметрах акцептации новых технологий, при которых эти технологии становятся приемлемыми.
Вот, кстати, два дня назад буквально «Коммерсант» опубликовал небольшую заметку по поводу развития, разработки этического кодекса в России. И они привели очень интересные цифры о том, что в России граждане парадоксальным образом делятся в отношении к искусственному интеллекту поровну: доверяют технологиям – 48%, не доверяют – 42. И вот здесь, мне кажется, уже вот эти параметры социальной акцептации становятся очень важными, и они во многом и определяют, какую этику мы, собственно, используем. Ну, как как мы ее используем? Какую этику мы предлагаем.
Ну, и третий режим этики – это, конечно, уже совсем другая, так сказать, история. И вот в этой истории фактически... Ну, здесь можно очень много сказать, если, например, отталкиваться от 23 принципов Асиломара. Но, мне кажется, два основных принципиальных момента, о которых сейчас, собственно, все договорились, они более-менее понятны. Ну, во-первых, эта этика человекоцентрична. То есть она позволяет человеку полностью реализовывать свой потенциал и при этом искусственный интеллект все-таки не мешает этому развитию человека. И второе – это она ориентирована на риск. [00:50:00] То есть она учитывает те риски, о которых мы сейчас можем представить, и пытаются предусмотреть риски, о которых еще, в общем-то, сложно представить, но, тем не менее, мы их пытаемся моделировать.
И вот в этом смысле я здесь перехожу к идее гуманитарной экспертизы. Мне кажется, что гуманитарная экспертиза действительно здесь очень релевантна. Почему? Потому что одна из особенностей гуманитарной экспертизы заключается в вот этой ориентации на предвосхищение будущего. Мой учитель Борис Григорьевич Юдин, который, собственно, один из людей, который в России предложил концепцию гуманитарной экспертизы, говорил о том, что ее ориентация на принцип предосторожности, в общем-то, по сути, ключевая особенность гуманитарной экспертизы. И, мне кажется, вот в этом смысле третий режим, о котором я уже сказала, – это то, что релевантно гуманитарной экспертизе во всех ее смыслах.
Здесь, конечно, очень много можно говорить. Но почему это важно? Вот я сейчас смогу опять вернуться к своей любимой биоэтике. Биоэтика практически вся живет сейчас в будущем. Я имею в виду, такая философская биоэтика. Потому что у нас нет еще младенцев, которых каким-то образом отредактировали. У нас нет клонированных людей, у нас нет искусственной матки. Но мы всё это обсуждаем. В том числе, мы обсуждаем искусственный интеллект в таком сильном варианте, который каким-либо образом будет встраиваться в эти режимы врачевания. И, собственно, вот здесь гуманитарная экспертиза оказывается примерно в такой же роли, когда она играет функцию предостережения, которое, в общем-то, только сейчас и является единственно правильным, наверное, подходом для определения, какой должна быть этика.
Ну, и второй момент, на который я бы хотела, конечно, акцентировать внимание, – это проблема человека. Мне кажется, что все-таки когда мы пытаемся понять, что такое человек, обсуждая возможности гибрида человека и машины, мы пытаемся понять, в общем-то, где вот эти границы. И мне вот здесь очень кажется интересным, опять же, цитата из упомянутого мною Бориса Григорьевича, который говорит о том, что, даже учитывая все многочисленные несовершенства рода человеческого, мы, тем не менее, должны с чрезвычайной осторожностью относиться к проектам его всякой переделки. Представляется, что в той мере, в какой мы считаем, что природа человека есть ценность, что она требует защиты, мы остаемся на позициях гуманизма. Если же мы считаем, что высшей ценностью является само по себе долголетие и здоровье, психические, физические, интеллектуальные свойства, во имя которых можно переделывать человека, создавать постчеловека, мы оказываемся ближе не к сверхгуманизму, а к антигуманизму.
Здесь, в общем-то, вопрос о том, что такое человек, мне кажется, ключевой (ну, в философском смысле) и фактически он, опять же, перебрасывает такой мостик в будущее, о котором я уже сказала. Почему? Потому что, по сути, в таком широком философском смысле все эти дискуссии, они не о том, как урегулировать проблему конфиденциальности или каким образом решить проблему вагонетки, ели мы говорим об автономных каких-то агентах. В конечном итоге, в общем-то, все эти вопросы упираются в попытку ответа на вопрос: в каком мире мы хотим жить? И поэтому мы пытаемся понять, какой должна быть этика.
И, конечно, вот в таком контексте, безусловно, нам надо обращаться к каким-то согласованным представлениям о ценности человеческой жизни, об основаниях допустимых вмешательств в решения естественной данности. Ну, в принципе, можно представить сейчас, что человеку можно очень много поменять органов, очень сильно повлиять на его когнитивные способности, на эмоциональный фон и так далее. Но мы же не сомневаемся в том, что вот этот человек останется человеком. А вот в какой степени мы пересматриваем парадигму понимания человека – вот это, мне кажется, важный вопрос. Ну, и, соответственно, вмешательство на существующий социальный порядок – это еще одна проблема социальных уже измерений.
Ну, и, безусловно, в таком контексте востребованы, конечно, будут и особая экспертная позиция специалистов по разным видам этики, ну, и так же теория и практика гуманитарной экспертизы. Почему? Потому что в ней очень хорошо, на мой взгляд, пересекаются и такая как бы академичная этика, и в то же время этика новых технологий. Но не новая этика в том смысле, о которой сейчас говорят, а этика, ориентированная на новые технологии.
И, собственно говоря, еще один вопрос, наверное, о котором здесь немножко надо сказать. [00:55:00] – это вопрос о том, каким образом, собственно говоря, мы можем понимать гуманитарную экспертизу. Ну, я уже о ней сказала. Собственно говоря, гуманитарная экспертиза понимается как комплексная оценка. И, мне кажется, именно взвешенная оценка влияния различного вида новшеств на состояние человеческого потенциала. И мне кажется, именно поэтому у нас часто возникают такие методологические проблемы с определением гуманитарной экспертизы. То есть я могу очень четко сейчас определить, что такое этическая экспертиза. И очень хорошо расписать, какие есть институты, в чем основные ее функции и так далее.
Но проблема с гуманитарной экспертизой, когда мы начинаем о ней говорить, возникает не из-за того, что мы не можем определить, что это такое (в принципе, это несложно), а в том, что она может пониматься в разных смыслах и может пониматься в связи с тем, как участвуют в ней, например, гуманитарии. Когда Юдин говорил о гуманитарной экспертизе, он говорил о том, что, да, вот это слово «гуманитарность» подразумевает участие представителя общественных наук. С другой стороны, он говорил о том, что «гуманитарная» в том смысле, что это не социальная, а именно ориентирована на человека. То есть гуманитарная будет не по поводу человека (вот я его цитирую), а экспертиза для человека. И в этом смысле она гуманитарная. И вот поэтому, мне кажется, мы очень часто говорим «гуманитарная экспертиза» просто широко. Не имея в виду конкретную практику, предложенную Юдиным, Тульчинским или кем-то еще (потому что на Западе тоже есть разные способы такой концептуализации этики гуманитарных проблем), а имея в виду, что вот эти проблемы, они комплексные, они требуют таких комплексных подходов, комплексной методологии. И важно то, что они открыты для дальнейшего обсуждения, развития. И, в общем-то, мне кажется, вот в этом смысле еще одна особенность гуманитарной экспертизы. И об этом тоже, в общем-то, много говорилось. Это было довольно интересное мероприятие, которое как раз Давид Израилевич Дубровский вел с Борисом Григорьевичем по поводу трансгуманизма. И один из таких моментов, который много раз повторялся, и я почему-то это запомнила, – как раз это то, что гуманитарная экспертиза не может быть завершена. То есть мы постоянно возвращаемся к тем проблемам, которые обсуждаем. Но на каком-то новом качественном этапе возникают новые технологии, возникают новые проблемы, или мы, вообще, хотим что-то переосмыслить, понимая, что что-то необходимо. Ну, вот, собственно, в таком контексте гуманитарная экспертиза, мне кажется, может быть понята.
М2: Спасибо большое. И здесь, мне кажется, вы даете колесо к высказыванию Сергея Алевтиновича, который сказал, что границу нужно постоянно определять, процесс закончить невозможно. Я понял, насколько широк спектр вопросов биоэтических, но у меня вопрос чуть проще. Скажите, пожалуйста, биоэтика сейчас работает? Ну, вот она улучшает мир или, наоборот, может быть, она стоит на страже каких-то ценностей и не дает их менять. В общем, она работает или нет?
Гребенщикова Е. Г.: Биоэтика работает. И толковать биоэтику как форму запрета, ну, неправильно. Вот так вкратце.
М2: Как форму суда?
Гребенщикова Е. Г.: Это форма экспертизы. По сути, это экспертиза. Биоэтика представляет собой. Ну, как бы в трех смыслах ее можно понимать. Биоэтика как форма образования будущих специалистов. То есть объяснить студенту, что не надо садиться на кровать пациента, – это важно. Биоэтика – это форма, ну, такая академическая, в общем-то, дисциплина, то есть это форма этико-философской рефлексии по поводу тех проблем, которые возникают. И биоэтика как социальный институт – это этические комитеты и комиссии, которые действуют на разных уровнях систем организации здравоохранения, в том числе, на международном. Совет Европы, при них есть, например Руководящий комитет по биоэтике ЮНЕСКО, есть комитеты по биоэтике. То есть такие структуры.
Гребенщикова Е. Г.: Да. Структуры, которые пытаются выработать некую общую политику по поводу новых технологий биомедицинских. Ну, в частности это технологии редактирования генома сейчас обсуждаются, выходят доклады по этому поводу.
Аникин Ю. А.: Спасибо. Да, Сергей Алевтинович.
Смирнов С. А.: Спасибо большое. Вот вы неоднократно ссылались на Юдина Бориса Григорьевича. [01:00:00] Но я понял еще один момент очень важный. Ну, может быть, перефразирую. Помните, он имел в виду фактически что? Гуманитарная экспертиза в отличие от этической имеет дело с новой реальностью. Это фактически вид социальной инженерии. То есть когда мы не оцениваем ставшее, а когда мы всякий раз как бы понимаем шаг развития и фактически конструируем образ будущего, вспоминаем Альберта Рувимовича, который говорил: «У нас нет онтологии, особенно, онтологии будущего». То есть получается так, что гуманитарная экспертиза имеет дело не со ставшим состоянием, а с шагом развития и предсказанием, пониманием рисков этого шага развития и выстраивание того образа будущего, куда мы себя помещаем и там пытаемся понять наше взаимодействие с умной машиной. Поэтому она не может быть одной, она разнообразна. Это раз. Поэтому она не может быть законченной – это два. Поэтому она всякий раз имеет дело с тем, чего нет. Правильно я понял?
Гребенщикова Е. Г.: Да. В общем-то, я с вами согласна. Мне кажется, здесь есть два важных момента. Это то, что есть некие методологические принципы, как я сказала, ориентация на человека. Человекоцентричность, которая подразумевает то-то, то-то, например. Ну, и второе – это то, что уже, в общем-то, в исследованиях науки и технологий доказано, что любой сейчас подход, который пытается осмыслить с точки зрения социально-гуманитарной новую технологию, должен быть ориентирован на предосторожность. Вот эта концепция LCA, которая существует в Евросоюзе, и все рамочные программы, начиная с седьмой, финансировали, собственно говоря, вот в этих рамках, она и стала ответом, собственно говоря, на американский подход, где эмпликейшнз был, когда Европа сказала, что: «Да, хорошо, мы эмпликейшнз, то есть последствия, можем оценивать. Но сейчас уже не та ситуация, когда мы можем оценивать технологии по последствиям». И поэтому они ввели слово «аспекты», но очень четко. И сейчас вот, вы знаете, Responsible Research Innovation, то есть это новый подход в Евросоюзе, который, собственно, определяет, его ключевой чертой является ориентация на некое предвосхищение того, каким образом мы будем регулировать развитие технологий, на какие принципы мы ориентируемся, когда говорим о желаемом вектора развития, технологического развития в целом.
Асмолов А. Г.: Елена, я хотел бы уточнить некоторые моменты. Во-первых, мне невероятно близко ваше выступление. И верно ли акцентировать то, что когда вы говорите о гуманитарной экспертизе, вы выделяете первый вопрос именно антиципацию антропологических рисков как ключевой момент и в этом плане очень солидарны с Борисом Юдиным, как и Алексеем Леонтьевым (вторым Леонтьевым, я имею в виду), которые вводили конструкт гуманитарной экспертизы?
Второй момент. Не считаете ли мы, что когда мы говорим (а язык иногда таит многие ловушки) антроцометричность, я обращаю на это внимание. Но то, что мы с Борисом обсуждали и с Алексеем, – это некоторая может быть ловушка, что на самом деле человек как мир, это не мироцентричность, а не антропоцентричность. Потому что антропоцентризм часто делается в совершенно другой логике и идет в другом измерении.
И, наконец, третий вопрос. Блестяще вы привели пример, что как только мы начинаем работать инструментально и инструментальные ценности, например, долголетие или какие-то другие делать фокусом нашего внимания, мы проигрываем. Не считаете ли вы, что старый принцип Игнатий де Лойола «цель оправдывает средства» – это как раз тот принцип, с которым борется, я бы сказал, преадаптивная, непрагматичная гуманитарная экспертиза как совершенно новый институт принятия решений?
Гребенщикова Е. Г.: Спасибо за ваши вопросы. Я попытаюсь по очереди ответить. Ну, во-первых, спасибо за то, что вы говорите об антиципации. Кстати, Борис Григорьевич мне тогда говорил: «Убирай свои английские слова. Потому что они как бы людям мешают иногда». Это было перед защитой. Я помню, я меняла в диссертации всякие англицизмы. [01:05:00] Ну, собственно говоря, вот эта антиципация – это лучший, конечно, термин. И здесь, конечно, ничего не скажешь. Дело в том, что это сейчас очень мощный дискурс, с которым связано понимание, что мы живем в неких наших представлениях и ожиданиях. То есть вот эта инженерия будущего, она фактически подпитывает развитие технологий. И есть ряд очень серьезных таких исследований на Западе, которые показывают, что если мы не принимаем во внимание социальные ожидания в широком смысле, то мы действительно проигрываем в этом смысле. И я с вами полностью согласна. И я могу только ответить здесь: да, действительно, антиципация – это ключевой сейчас момент, для того чтобы понимать, как развиваются технологии. И именно поэтому мы, собственно говоря, ориентируемся на такое предвосхищение будущего, в социогуманитарном смысле пытаясь его оценить и пытаясь... Может быть, мы конструируем будущее, может быть, мы проектируем будущее. Но здесь это вопрос уже, ну, как бы терминологии.
Вот второй ваш вопрос по поводу антропоцентризма и мироцентризма, мне кажется, вот из той же серии. Это, скорее, вопрос наших терминологический предпочтений. То есть если мы понимаем человека как микрокосм, то мы сразу из этой антропологии выпрыгиваем в мироцентризм. И это будет некий мир, который, собственно, релевантен всем другим мирам, и это просто часть большого мира. И я не вижу здесь никакой такой проблемы в том, как мы это понимаем. Мне кажется, вы с Борисом Григорьевичем примерно в одной и той же логике рассуждали. Но мне кажется, здесь просто какие-то исходные предпосылки немножко могут быть разные. И поэтому мы говорим об антропоцентризме, подразумевая некие вещи, связанные с мироцентризмом.
А по поводу того, что цель оправдывает средства, наверное, да. Скорее всего, мы пытаемся пересматривать какие-то вот такие базовые установки. И отчасти, мне кажется, это связано с тем, что мы пытаемся уйти от логики технооптимизма. То есть развитие искусственного интеллекта происходит уже в ситуации, когда стало очевидно, что прежние проекты, ну, вот проект манхэттенский все-таки – это проект того времени, когда был технооптимизм. Что мы сейчас не можем быть в полном смысле технооптимизмом. То есть нам не нужен некий луддизм или нам не нужен какой-то пессимизм в технологиях, но нам нужна очень взвешенная оценка и нам нужно понимание того, что те проблемы, которые мы решаем, они, в общем-то, имеют значение и сегодня, они будут иметь значение завтра. Но мы имеем возможность встраиваться в такие структуры, что мы оказываемся в точке невозврата в какой-то момент. Вот этот испуг общества перед, это биоэтика, между тем, что мы отредактируем геном младенца и мы вмешаемся в его уже как бы зародышевую линию, в его геном таким образом, что это будет влиять на будущее, например. Или то, что мы повлияем сейчас на развитие технологий таким образом, что мы получим какое-то восстание машин, – это всё как раз то, что подпитывает и, с одной стороны, вот эту антиципацию, связанную с риском, а с другой стороны, это то, что подпитывает, что, на самом деле, идея, что цель оправдывает средства, она, в общем-то, можно сказать, очень спорная в определенной ситуации. Это действительно так.
Асмолов А. Г.: Спасибо огромное. Еще вот говорили коллеги о манхэттенским проекте. Говоря об этике в одном симантическом поле, когда мы говорим об этике, должен быть великий синдром, который называется « синдром Оппенгеймера – Сахарова», что каждый изобретатель тех или иных новых, совершенно уникальных вещей, даже если он влюбился больше, чем в женщину, в эту сингулярность или наивно опирается на закон Мура, должен четко понимать, что, по сути дела, опять же, в совершенно других измерениях и за пределами когнитивного, и за пределами мышления. Конечно, мышление – это совершенно не понимание, это совершенно другая реальность. Понимание – более серьезная смысловая реальность. Поэтому мы именно понимание смыслов этики и анализ таких синдромов, как синдром Оппенгеймера – Сахарова при обсуждении искусственного, общего интеллекта должны иметь в виду. Поскольку каждый раз имеем с уникальной гигантоманией как манхэттенский проект, как курчатовский проект, как все подобные проекты. [01:10:00] Поэтому мне кажется, замечательно. И еще раз спасибо. Поскольку антиципацией занимаюсь последние 52 года. Это достаточно большой срок. И для меня очень важно, что это выступает в разных обличьях то, что вы говорите. Спасибо огромное.
Гребенщикова Е. Г.: Спасибо вам.
Аникин Ю. А.: Спасибо большое Александру Григорьевичу, что он с нами воссоединился, преодолел препятствия. Потому что остались вопросы. И я предлагаю вопросы эти задать сначала. А потом я думаю, что, посмотрим по времени, может быть, мы через экспресс-вопросы уйдем в дискуссию, а может быть, и сразу в дискуссию.
Ти С. В.: У меня тогда вопрос все-таки к Альберту Рувимовичу.
Аникин Ю. А.: Я прошу сначала к Александру Григорьевичу задать.
Ти С. В.: У меня нет.
Аникин Ю. А.: Тогда у меня есть. Александр Григорьевич, вот все-таки вы говорили про непредсказуемость. И у меня это перекликается с тем, что при обсуждении возможности моделирования это вопрос до инструментария искусственный интеллект или нет, обсуждается, а где пределы моделирования вообще. И существует мнение, что если биологические системы как-то методами хотя бы статфизики берутся, то общественные процессы и общество не берется. И гипотеза такая, что не берется именно из-за той самой субъектности. Я прошу прощения, я могу неправильно использовать некоторые термины, я не гуманитарий по образованию. Но смысл такой, как я его понимаю, что когда человек каждый внутри себя решает этические вопросы, а именно, грубо говоря, по-моему, решает дилемму между собственным выживанием и выживанием человечества, вот тогда проявляется его субъектность. И, конечно же, вот этот процесс и есть часть процесса мышления. Соответственно, поскольку общество становится таким туго переплетенным, то последствия каждого такого индивидуального решения сказываются на гораздо большем количестве людей, чем было ранее. И это то, что сейчас объясняют как взрыв сложностей. Или не объясняют, а называют «взрыв сложностей», имея в виду, конечно, взрыв технологической сложности, когда технические системы друг на друга начинают влиять. Но мне кажется, полная аналогия здесь есть и со взрывом социальной сложности, когда вот такие субъектности или суперсубъектности начинают пересекаться и турболизировать нам мир. Скажите, пожалуйста, правильно ли я понимаю то, что вы говорите про непредсказуемость, что это в эту сторону?
Аникин Ю. А.: Ваш вопрос настолько хорош, что его почти хочется портить ответом. Дело заключается в том, что мы увлекаемся технологической сложностью. На самом деле, поскольку ключевые вызовы реальности – это вызовы именно сложности разнообразия и неопределенности, мы не можем на технологиях. Социальная сингулярность куда круче, простите за язык, чем технологическая сингулярность. И возможности нашего моделирования, они, конечно, велики. И создание разных, как говорил Николай Александрович Бернштейн, моделей потребностного и вероятностного будущего.
Но всё дело заключается в том, и об этом я говорю, непредсказуемость как любая особенность человеческой природы, то, что мы не можем в мире сложностей прогнозировать самого себя, – это не только риск, это наше благо. И поэтому каждый раз мы должны четко понимать, что понимали блестящие исследователи. Извините за реминисценцию. Здесь мы вернулись к разработкам, которые были в 1964-1969 годы, так называемый семинар Ляпунова. Вы начали с нежного замечания: простите, что я не гуманитарий. Но там вместе были уникальные люди: и Бернштейн, и Колмогоров, и Гельфанд. [01:15:00] И они четко понимали вместе. Там же были замечательные специалисты по… уже тогда появилась Digital Humanity в широком смысле слова по искусству и так далее. Здесь мы абсолютно с вами должны четко понимать все страхи человечества, что когда-нибудь появится реальность, которая превосходит человеческую сложность, с моей точки зрения, это не понимание того, что непредсказуемость и уникальность является ключевой особенностью вида гомо сапиенса, понимание, что в основе всего лежит форма, чем человек отличался от животного, если бы ему было нужно только необходимое и ничего лишнего, вот это то непонимание, которое сегодня преследует многих, я не бросаю камень, упростителей, не важно, в гуманитарном виде, еще более – в социальном виде различных моделей, с которыми мы с вами сталкиваемся при разработке этих моделей. Еще раз говорю, универсальность, избыточность, непредсказуемость и преадаптивность любых систем. И наши дискуссий четко показали, что если мы останемся рабами адаптивных моделей эволюции, если мы останемся заложниками банальных идей про развитие человеческого капитала, а не человеческого потенциала, то через оптику культуры полезности, утилитарности мы никогда не сможем прийти к серьезным решениям, а только выступим как ограничители человеческой природы, двигающей прогресс. Вот что я хотел сказать, говоря о том, чтобы ни в коей мере не испытывать никаких обид, когда разрабатываем разные модели интеллекта. Только понимать и помнить о тех ценностных и когнитивных диссонансах, в которые мы с вами всё время попадаемся.
Аникин Ю. А.: Спасибо большое. Скажите, пожалуйста, у нас у участников, которые онлайн подключены, не выступали, есть ли вопросы к докладчикам? Тогда переходим в открытую дискуссию.
Вопрос из зала: А вопросы из зала допустимы, вообще, или здесь только слушают?
Аникин Ю. А.: Нет, будут вопросы из зала обязательно. Но я бы перед дискуссией все-таки озвучил вопросы, которые мы уже начали обсуждать, и они задумывались, как спринт-вопросы с коротким ответом. Но я думаю, что мы не будем получать короткий ответ, но в дискуссии чтобы они немножко контекстно были. Какую функцию вы бы никогда и ни за что не отдали искусственному интеллекту? Что должно произойти, чтобы большинство людей согласились на необходимость нового этического кодекса в узком смысле для искусственного интеллекта и гуманитарной экспертизы применений технологий шире? И что сейчас необходимо делать в сфере международного права? И, вообще, поднимался вопрос, пока не развернулся, мы говорили про человека и человечество, но не говорили, что институционализация очень часто у нас на государственном уровне и что необходимо делать, чтобы она происходила. Всё. Прошу вас вопросы.
Ти С. В.: Ну, тогда по второму и третьему вопросу все-таки я бы задал вопрос Альберту Рувимовичу. У меня прямо оно еще обострилось. Вернемся к метафоре про новый манхэттенский проект. Я согласен с тем, что манхэттенский проект – это про 70 лет без войны, про паритет, про международное право. Когда мы говорили, что искусственный интеллект – это новый манхэттенский проект, мой вопрос в том, в каком месте или что будет аналогом Хиросимы, Нагасаки, Новой земли, Невады и Семипалатинска, без которых не было бы нового мира и 70-летия без войны. Потому что они шли в комплексе. [01:20:00]
Ефимов А. Р.: Вы знаете, волею просто судьбы я сейчас очень здорово погружаюсь в переизучение истории манхэттенского проекта, атомного проекта. И я не уверен в том выводе, который вы сейчас сказали. Это то, что всё, что вы перечислили, шло в комплексе. Это не так. Ну, то есть история, на самом деле, показывает, что развилки, они существовали практически на каждом этапе того, что было. Да, действительно, какие-то решения были, и некоторые были очень трагические. Но это совершенно не означает, что история будет повторять себя. Это совершенно не факт. Я ссылаюсь на манхэттенский проект исключительно в контексте того, что мы находимся в допарадигмальном периоде науки искусственного интеллекта и исключительно в контексте того, что невозможно даже представить ситуацию, что одно государство или одна какая-то общность людей владеют искусственным интеллектом. Им владеют практически все. А может быть, и не все, но достаточно большое количество государств либо сообществ, для того чтобы обеспечить ядерное или в данном случае искусственно-интеллектное сдерживание. Поэтому не так грустно всё, Сергей Вадимович.
Ти С. В.: Да нет, у меня вопрос был не грустный, у меня было: где там вот эта мировая энергетика вот этого всего.
Ефимов А. Р.: Про энергетику, знаете, есть такое выражение. Я, правда, занимаю сейчас время, но искусственный интеллект – это новое электричество. На мой взгляд, оно представляется очень некорректным. Потому что электричество, начиная с середины XVIII века, было абсолютно бесполезным изобретением, за исключением вечеринок, на которых гости удивлялись, как волосы стоят торчком. Электричество стало полезным не когда изобрели электрический двигатель, а тогда, когда его научились распределять между электрическими двигателями, тогда, когда электрический двигатели начали делать что-то полезное. Поэтому искусственный интеллект будет полезен только тогда, когда мы построим мост между машинами и физическим миром.
Аникин Ю. А.: А тогда сюда вопрос можно? И это в продолжение как раз нового посттьюрингового теста, новой версии. Когда мы за стеной объединяем, и, вообще, я слышу в вашей речи про объединение человека и умные добавки, вот мы тем самым точно избавляемся от бихевиористической модели? Вот я не чувствую. Потому что, ну, логика такая: чтобы объединить, нужно, чтобы был тот самый интерфейс, может быть, про который Сергей Алевтинович упоминает. Но интерфейс предполагает уже, собственно, модель человека. И модель, она точно такая же останется редуцированная. И интерфейсы будут точно редуцированные, узкие, ограничивающие. Почему мы здесь не уходим от бихевиоризма, от бихевиористического понимания человека?
Ефимов А. Р.: Во-первых, я соглашусь с вами. Вопрос не в бровь, а в глаз. Он прекрасен. Я сам до конца не уверен, что мы отсюда действительно уходим от бихевиоризма в той модель, которую я предложил. И, возможно, не стоит до конца уходить, но надо немного подумать на эту тему. Прямо очень хороший вопрос, Юрий. Но я не согласен с тем, что вы в самом начале сказали. Что я говорил про объединение человека и машины. Я ни в один момент времени сказал, что это объединение. Это совместное действие. Человек остается человеком. Машина остается машиной. И они разные. И как Восток и Запад у Киплинга, машина и человек не сойдутся никогда. Но они действуют совместно в общих интересах тогда, когда у них есть общий интерес.
Аникин Ю. А.: Спасибо.
Асмолов А. Г.: Коллеги, я не выдерживаю, хочу сказать два слова в защиту Джона Уотсона. Его тут некому защитить как лидера бихевиоризма. Джон Уотсон при всем отношении к бихевиористскому подходу во всех вариантах, в отличие от других, все-таки открыл и показал, как и многие, возможности и мощную роль реактивного адаптивного поведения. И в этом плане бихевиоризм – это проекция реальности автоматизированного поведения. Очень четко выделил. И лозунг Уотсона, что «мы должны доказать, что человек является не более, чем комком непроанализированной протоплазмы», – конечно, это замечательно. Но бихевиоризм имеет некоторые свои разрешающие способности. [01:25:00] И при всем моем, как представителя школы Выготского и Бернштейна, к нему тяжелом отношении, я бы не отбрасывал подобного рода реальности, а относился к нему с большей нежностью. Поскольку эти ребята сделали очень много, в том числе, и для понимания автомата.
И второй момент. Альберт, вам был вопрос, что когда мы говорим о коммуникации и, для меня очень близко, я уже говорил, совместных действиях человека и машины, новых формах жизни сообща, что здесь мы с вами сталкиваемся с тем, что здесь другая оптика, чем посттьюринговская, а скорее, оптика, то, что мы называем симбиотической эволюцией. Разработка симбиотической эволюции – для меня это вообще другая постановка вопросов. Что можно отдать машине или не отдать? А что можно отдать дельфину или не отдать? Что можно отдать шимпанзе или шимпанзе не отдать? Я этих вопросов не понимаю. Шимпанзе и дельфинов надо любить, а не отдавать им что-то другое. Так же, как наших питомцев. Не являются ли машины своего рода нашими содружественными питомцами.
Ти С. В.: Если мы протянем шимпанзе что-то очень дорогое для нас, например, пятитысячную рублевую купюру, она, скорее всего, откажется, потому что не поймет ее ценности. Вопрос не только в том, что мы отдаем, а в том, что то, что мы отдаем, способны принять.
Асмолов А.Г.: Абсолютно точно. Ну, не будем отдавать шимпанзе, она может ее использовать по-другому назначению абсолютно.
Ти С. В.: Коллеги, я бы здесь не сглаживал. Мне кажется, все-таки конфликт есть в позициях. И как я его вижу. Ну, рутинные функции мы хотим отдать. Я это слышал. И принятие решений, тоже слышал, мы хотим отдать. Но я не понимаю, что такое принятие решения в логике принятия ответственности за последствия этого решения. Возвращаемся снова к вопросу: есть ли этика без ИИ? Но что такое передать функцию решения помощнику – не понимаю совсем. Это такие слова.
Ефимов А. Р.: Можно я здесь выступлю, для того чтобы просто расставить, по крайней мере, в моем отношении точки над «і». У вас в дискуссии вопрос был: какую функцию вы бы никогда и ни за что не отдали искусственному интеллекту? У каждого из присутствующих здесь есть свой ответ на этот вопрос. Но мой ответ будет очень простой. Мы никогда ни при каких обстоятельствах не отдадим машине выбор. Потому что выбор, наш выбор, очень простой, иногда очень повседневный, иногда очень важный стратегически, а иногда просто выбор между жизнью и смертью, мы всегда будем делать сами.
Ти С. В.: Нет.
Аникин Ю. А.: Мы уже отдали выбор между жизнью и смертью машине.
Симрнов С. А.: Смотрите, что происходит. Это вопрос к вопросу о том, что передать машине, что нет. Это ведь не теоретический спор. Практически что происходит? Когда умные технологии, умные гаджеты вошли в нашу повседневную жизнь, мы, не замечая этого, всё больше и больше начинаем им отдавать те или иные работы и функции. Особенно это касается детей, подростков, когда они вместо реального богатого общения друг с другом переходят в суррогатные формы, квази-формы, квази-общение в соцсетях и так далее. Когда происходят замены разные: вместо любви – секс, вместо мышления – набор функций, операций и так далее. То есть когда всё больше и больше мы редуцируем, заметьте, еще задолго до машины, когда мы, облегчив себе жизнь, стремясь делать ее более комфортной, поскольку привыкли в своей жизни становиться всё больше существами желания, а не существами мышления. То есть когда мы все больше и больше оным устройствам отдаем работы и функций. И она (эта штука) становится все более умной, а мы глупеем.
Вопрос: где граница? До каких пор человек будет отдавать все более и более умные функции и работы другому существу, после которого он перейдет Рубикон, и он перестанет быть самим собой. И, заметьте, это не вопрос искусства интеллекта. Это вопрос нашей повседневной практики миллионов людей, которые привыкли жить в комфорте, в удобстве и просто желать. А агрессивный маркетинг предлагает всё больше и больше вот этих умных игрушек. [01:30:00] И миллионы людей берут. Они не хотят брать на себя ответственность, заботиться о себе и другом, любить, мыслить и так далее. То есть принципы ответственной жизни и заботы о другом, они всё менее и менее важны, особенно молодым людям. И это такая штука.
Для этого не требуется атомной бомбы новой. То есть к вопросу о манхэттенском проекте. То есть нужна ли еще одна Хиросима, чтобы начать думать о себе? Блин, куда катимся? То есть та ли это логика? Может быть, мы в самих своих повседневных привычках уже выбираем вот эту стратегию не быть. Может быть, сначала вернуться к исходным вещам? А это просто усилие. Стратегия быть, норма быть – это требует усилия. Мамардашвили говорил: «Человек – это не состояние, а усилие». Но человек не хочет усилия. Он не хочет вести себя как ответственное существо и поэтому привыкает к умным игрушкам. То есть сначала вот это, а потом тогда появляется умная игрушка, и тогда он ее берет в свои ласковые руки и обнимает нежно. И, так сказать, человек исчезает. Вопрос то вот в этом.
Тогда опять возвращаемся к базовым вещам. Что есть разного рода человеческая практика, антропопрактика заботы и ответственности, в разных сферах: в культуре, в образовании, в здравоохранении. Например, в здравоохранении, когда мы переходим от лечения болезни к профилактической медицине, когда человек сам за себя отвечает и, так сказать, мониторит свое состояние. То есть это разные сферы, разного типа иные стратегии, стратегии заботы в разных, так сказать, практиках. И уже только в этой новой стратегии можно тогда выстраивать новый интерфейс с этим умным устройством. В старой модели адаптивной, поведенческой, где на первом месте желание и удовольствие, мы всегда будем упираться в тупик и потерю человека.
Асмолов А. Г.: Сергей Алевтинович, вы меня возбудили. Каждый раз, когда мы говорим «отдать/не отдать», мы оказываемся в классической ловушке. Спасибо Леви-Строссу, он всех нам загнал в ловушки бинарных оппозиций. Я не понимаю. Вот мне кажется, что сама постановка проблемы и вопрос, да, он один из типовых вопросов, хорошо, что он есть в дискуссии, но он именно хорош тем, что он помогает увидеть некоторые ригидные установки нашего мышления.
Дело заключается совсем не в том. Вопрос в другом. Какие компенсаторные возможности (услышьте меня), человек современного мира – это человек, достроенный технологиями. Об этом писал в работах по вероятностному прогнозированию Иосиф Фейгенберг. И мы в эволюции всё время проходим эти достройки и усиливаем наши компенсаторные возможности. Когда девушка или женщина пользуется фаллоимитатором, говорим ли мы, что она отдает функции удовольствия фаллоимитатору? Я думаю, что нет. Она себя достраивает, чтобы получить особым путем то или иное удовольствие. То же самое. Когда мы рассматриваем коммуникацию между человеком и другими видами или теми устройствами, которые мы создали, а потом думаем: я создал искусственный интеллект, я творю. А потом через призму непредсказуемости каждый раз говорим: «Мы творим. Ну, что же вы натворили?»
Поэтому любые техногенные, технические вещи – это механизм развития компенсации и достройки человеческих возможностей. А тем самым расширение в буквальном смысле мира человека совершенно иной реальности. Это другие характеристики, а не характеристики, когда мы загоняем себя в прокрустово ложе либо бинарных оппозиций, либо становимся заложниками хорошего, но банального деления, как предложил Кун, и делим мир на парадигмальные и непарадигмальные вещи. Всё это упрощение, и риск упрощения сейчас встает перед нами. Мы начинаем бояться технологических «хиросим». А сегодня каждый день мы должны понять, что… [01:35:00] социальная «Хиросима», которая, например, сегодня происходит в Кабуле, когда весь мир становится в риске регресса. И когда Германия начинает платить дань Талибану. А мы думаем, как договориться с иными мирами – вот здесь вопрос другой коммуникации и других взаимодействий. Можем ли мы договориться с архаическими формами разума, которые живут... Альберт пример привел с обезьяной шимпанзе. Можем ли мы сегодня решить ключевой вопрос для жизни человечества: насколько сталкивается архаическая цивилизация с тем, что мы делаем с технологическими вещами. Мне кажется, что вот наше обсуждение иногда уводит нас от главной проблемы, когда через те панические атаки, которые теперь в Европе и у нас в социуме архаической цивилизации для нас важны. Альберт правильно абсолютно сказал: ключевая вещь – это выбор. Но не только мы делаем выбор, но и выбор делает нас. И это ключевая характеристика человека. Насколько выбор доразвивает и дообучает искусственные системы – это особый вопрос.
Ефимов А. Р.: Я хочу добавить. Это прямо основа морали. Это вот то, что ровно он и говорил, что выбор является ключевой основой человека. И это то, что отличает нас от животных всегда. Поэтому что бы мы ни делали с вами и как бы мы не аутсорсили наш выбор рекомендательным системам, он всегда будет оставаться за нами.
Гребенщикова Е. Г.: Можно добавить к сказанному? Мне кажется, что надо все-таки уточнить, о каком выборе мы говорим. Дело в том, что если мы выбираем, в каком будущем мы хотим жить или каким образом нам развивать технологии, это один выбор. Если мы выбираем вместо машины, каким образом искусственный интеллект поведет себя в ситуации, когда перед ним дилемма: давить одного человека или погибнут, например, три пассажира, это уже из области этики. Это как раз то, что мы пытаемся выстроить, когда говорим о новой этике. То есть вот этот выбор мы делегируем искусственному интеллекту, и мы пытаемся как раз построить такую этику, в которой все риски и все какие-то моральные издержки – собственно говоря, это основа новой этики.
Но вот здесь, возвращаясь, собственно, к сказанному выше, я бы хотела от выбора перейти к идее того, что выбирая несколько в другом смысле, не делая морально выбор, грубо говоря, на дороге, а выбирая несколько в другом смысле, мы возвращаемся к проблеме ответственности. И о ней было сказано, когда говорили о некоем синдроме Сахарова, мы говорим, что сейчас в асиломарских принципах искусственного интеллекта, мне кажется, это очень правильно, есть очень хороший пункт о том, что разработчики продвинутых искусственных систем играют ключевую роль в формировании нравственных последствий использования искусственного интеллекта.
Они имеют возможность и несут обязанность влиять на такие последствия. Дело в том, что и вот эта вот внутренняя этика науки, если мы говорим об атомной энергетике, то есть что думают ученые, которые создают атомную бомбу. И это, собственно говоря, этика, которая формируется сейчас внутри новых технологий, когда общество пытается решить, что ему делать с этими технологиями, а те люди, которые создают, собственно говоря, понимают, что они могут сделать такое, когда общество будет, вообще, неспособно и бессильно что-либо ответить. И вот, мне кажется, здесь вот эта проблема ответственность, только она может быть понята несколько по-разному. И тогда мы, опять же, возвращаемся к ситуации морального выбора. Но это уже ситуация принятия решений и это немножко другой уровень. Наверное, здесь нужно какое-то такое вводить методологическое различие. И вот в этом мы понимаем, что такое выбор и что такое ответственность немножко по-другому.
Аникин Ю. А.: Большое спасибо. Коллеги, мы уже перебираем время. Я хотел бы всё-таки использовать возможность то, что мы общаемся не просто в зуме своим коллективом, а можем узнать мнения или мысли незнакомых нам людей. Есть ли такие вопросы из зала? Есть. Можно, конечно.
Ти С. В.: Представьтесь, пожалуйста.
Вопрос из зала: Здравствуйте! Очень интересно. Очень много точек зрения. Но у меня такой вопрос: как вы относитесь к теории того, что вот тот выбор, который мы якобы не хотим отдавать искусственному интеллекту, на самом деле у нас его нет, что наш мозг настолько плохо изучен, и мы используем очень маленький процент нашего мозга, что каждый наш выбор на самом деле не наш выбор, это наш мозг его принял, это решение, а мы лишь транслируем его. То есть можем ли мы обучить машину, [01:55:00] если по факту мы берем лишь последствия? Ну, то есть мы используем маленькую часть мозга и берем лишь последствия выбора мозга. То есть как можно обучить машину, если, по сути, наш биологический мозг недостаточно изучен, для того чтобы передавать какой-то опыт?
Аникин Ю. А.: Мне кажется, Альберту Рувимовичу правильнее всего ответить, если он с нами.
Ефимов А. Р.: Да, я с вами. Я надеялся, что Александр Григорьевич ответит, но придется мне, а он добавит. Я начну с этого. Во-первых, все-таки, знаете, если бы мы строили самолеты так, как летают птицы, то мы никогда бы их не построили. Если мы будем делать роботов и искусственный интеллект, основываясь на полном знании работы человеческого мозга, пока мы им не обладаем, то мы вообще никуда не сдвинемся. Сейчас, я повторяю еще раз, мы не делаем мыслящую машину, мы не делаем эмоциональную машину – мы делаем машину, которая довольно плохо имитирует ряд функций, которые выполняет человек, для того чтобы он сделал для нас с вами что-то полезное. Например, дала рекомендации врачу, как лечить то или иное заболевание. Например, более безопасно вела автомобиль. Например, распознавала лица, для того чтобы сэкономить наши с вами деньги и уменьшить количество охранников, которые в целом не нужны благодаря биометрическим системам. Это очень простые вещи, которые сейчас уже делает искусственный интеллект, и дальше будет делать всё больше и больше. Помогать студентам, в том числе, справляться с научными экспериментами и домашними заданиями, и это тоже важная вещь. И для этого не нужно познать весь человеческий мозг. Потому что, как совершенно верно сказали, это редукционизм. Если нам нужно узнать всё, что происходит в ста миллиардах нейронов внутри нашей черепной коробки, то мы никуда не сдвинемся. Но, вы совершенно правы, мы находимся в самом начале пути познания о том, как работает наш интеллект и наше сознание.
Асмолов А. Г.: Я бы продолжил, если вы мне разрешите, то, что говорил Альберт. Вышла в свое время такая статья и работа, которая называлась «Я у мозга дурачок». Так вот, по сути дела, ваш вопрос, он очень важный, и он продемонстрировал, что очень мощна установка, как будто наши принятия решений сводятся к нашему мозгу. Коллеги, я показываю всем ту бумажку, которую я не отдал шимпанзе и о которой говорил только что Альберт. Если я эту бумажку проанализирую точнейшим химическим анализом, если я в буквальном смысле рассмотрю ее под самыми четкими телескопами и лупами и, наконец, если я (но я этого делать не буду) разорву на кусочки, смогу ли из нее понять, откуда берется стоимость? Нет, никогда. Точно так же никогда из мозга нельзя понять ни сознание, ни разум. Это другие, более сложные реальности. И поэтому, возвращаюсь к тому, что меня больше всего пугает. Не разработка искусственного интеллекта, а «брейнизация», когда мы думаем, что, изучив мозг, поймем суть и сущность человеческой жизни. Поэтому вот это вопрос невероятно важен. И хорошо, что он прозвучал.
Ефимов А.Р.: В этом очень сильная сторона того направления философии, которое называется «функционализм». Потому что функционализм не пытается ни в коем случае повторить то, как работает мозг. Функционализм говорит: «У нас есть функция верхнеуровневая». Это как Parallels Desktop на Mac'е. Это некая виртуальная машина, которая у вас работает. И мы говорим, что какая разница: она работает на Mac или Windows. Он все равно работает. И в этом смысле это вот то, что сказал Александр Григорьевич: мы изучаем очень сложную систему (наше сознание, наш интеллект), но без редукционизма к тем самым ста миллиардов нейронов.
Аникин Ю. А.: Мне кажется, открытое утверждение, дискуссионное. Но чем очень хорошо. Я думал, что получится хоть какие-то итоги подвести. Я боюсь, что самым лучшим и самым таким продуктивным итогом – это договориться о следующей встрече.
Ефимов А. Р.: Вы не можете с ними договориться. Мы можем только продолжить дискуссию.
Смирнов С. А.: Мы продолжить должны, да.
Аникин Ю. А.: Да, мы не будем. У нас есть, как я говорил, еще одна нацеленность на действие, кроме обсуждения. Это все-таки некоторая институционализация гуманитарной экспертизы или некоторые действия вот в сторону международного сотрудничества по данной теме. [02:00:00] То есть мы бы хотели, чтобы такая компетенция, то, с чего я начинал, вопросы в биоэтику: как общество получает результаты от существования биоэтики. Вот хотелось бы, чтобы наше продвижение и повышение компетентности по данным вопросам работало, начинало работать или мы хотя бы видели план, по которому она будет работать на общество. Вот прошу всех участников продолжить обсуждение в следующих встречах. Очень рады будем вас всех видеть. Большое спасибо.
Ти С. В.: Как невозможно завершить гуманитарную экспертизу, так и наш разговор невозможно завершить. Спасибо большое, коллеги.
[1] А. Вознесенский. Монолог битника.
[2] Принципы, предложенные для их использования при разработке и внедрении технологий ИИ. Были разработаны и приняты по итогам конференции разработчиков и исследователей в сфере ИИ, прошедшей в январе 2017 года в г. Асиломар (США). На данный момент под ними поставили свои подписи свыше 3 500 ученых, разработчиков, предпринимателей и экспертов. Среди них Илон Маск, Стивен Хокинг и Рэй Курцвейл, представители Google, Apple, Facebook, IBM, Microsoft и т.д.