Новый ИИ может оценить вашу жизненную ситуацию: ученые просят не использовать его как моральный компас, но кого это волнует

Исследовательский институт Allen Institute for AI 14 октября 2021 запустил демо-версию проекта Ask Delphi — «морально-этическую машину». Она принимает на вход вопросы или описания ситуаций, а на выход отдает их морально-этическую оценку — то есть говорит, хорошо это или плохо.

За две недели сервис уже успели обвинить в расизме и сделать вывод, что вреда от него больше, чем пользы.

Highload копнули чуть глубже и выяснили, что пользы и не ожидалось. Разбираемся, в чем тут тогда соль.

Иллюстрация Николая Денисовского к стихотворению Маяковского «Что такое хорошо и что такое плохо?», 1925 год

Что за сервис и о чем

Ask Delphi — это часть большого проекта по построению «машины со здравым смыслом» Mosaic. Его разрабатывают ученые ИИ-института Allen Institute, который в 2014 году создал сооснователь Microsoft Пол Аллен.

Mosaic / Скриншот с сайта Allen Institute for AI

В Mosaic уже есть такие проекты:

• Visual Commonsense Reasoning — датасет, который решает задачу «визуального понимания». То есть — «посмотреть на картинку и понять, что на ней происходит».
• Situations With Adversarial Generations — датасет, который решает задачу «понимания на основе аргументов на естественном языке». То есть — «услышать рассуждения и сделать свои выводы».

Кроме того, есть проекты для улучшения работы и масштабирования существующих датасетов и моделей.

Вот что пишут создатели о новом демо Ask Delphi:

«Delphi предназначена для изучения возможностей и ограничений машинной этики и норм через призму описательной этики, то есть моральных суждений людей о различных повседневных ситуациях».

Фундаментальный вопрос, на который должно ответить исследование:

«Может ли машинная этика быть решена с помощью существующих методов ИИ, или для создания морального факультета требуются новые механизмы?»

В выводах к научной работе, освещающей исследование, ученые на этот вопрос не отвечают.

«Изнанка» Delphi

Модель Delphi обучена на Commonsense Norm Bank — «учебнике морали», адаптированном для машин и созданном специально для этого исследования. В «учебнике» Allen Institute собрали 1,7 млн примеров этических суждений людей по широкому спектру повседневных ситуаций.

Большинство примеров — результаты опросов Allen Institute. Частично в наборе данных также есть ответы и с Reddit — они используются для разрешения двусмысленных и противоречивых ситуаций.

У Ask Delphi есть три варианта ответов: свободная форма, да/нет и сравнение — что из двух вариантов более предпочтительно / Delphi: TOWARDS MACHINE ETHICS AND NORMS

Так как на вход модели подавались, в основном, ответы американцев, система отображает мышление среднестатистического человека из США.

Исследователи утверждают, что точность разработанной модели достигает 92,1% и она способна понимать контекст ситуаций. Для сравнения, точность бота, работающего на алгоритме GPT-3 и тоже способного отвечать на вопросы, — всего лишь 52,3%.

Различия ответов Delphi в зависимости от уточнений вопроса / Delphi: TOWARDS MACHINE ETHICS AND NORMS

При этом ученые предупреждают, что «результаты модели не должны использоваться в качестве советов для людей, могут быть потенциально оскорбительными / проблемными / вредными, а также не обязательно отражают взгляды и мнения авторов и связанных с ними лиц».

То есть Delphi не инструмент, который расскажет вам, как правильно жить. Это скорее эксперимент, чтобы посмотреть, насколько современные нейронные сети и машины, которые уже взаимодействуют с людьми, смогут усвоить человеческие нормы и этику.

Другими словами, сервис показывает не только возможности понимания машиной морали, но и ее ограниченность в этом вопросе.

Как работает Ask Delphi

Несмотря на все вышесказанное, сервис Ask Delphi работает как чат-бот: заходите на сайт, пишете свой вопрос, один клик — и ответ готов. Вам скажут не только правильно что-то или нет, но и является ли это расизмом, трусостью, грубостью, странностью и т.д.

Ответ можно оценить: кликнуть, согласен ли ты с ним. Поэтому результаты работы системы постоянно меняются. Так, еще вчера Aspi писали, что на вопрос об убийстве гражданского населения во время войны (это запрещено Женевской конвенцией) сервис отвечает «это ожидаемо». Но уже сегодня ответ другой:

«Это неправильно» — отвечает Delphi / Ask Delphi

Но один этот пример не означает, что теперь Delphi «исправилась» и стала проповедником. Основываясь на ответах людей (собранных заранее или отправляемых в режиме реального времени) сервис показывает не идеальную моральную систему, а этику современного мира — в том числе его предрассудки и стереотипы. За это его критикуют.

Критика Ask Delphi

«Проект Ask Delphi провалился и приносит больше вреда, чем пользы», — с таким заголовком выпустили новость о сервисе многие англоязычные СМИ. Но проблема здесь не столько в ответах, сколько в формате, в котором выпустили сервис.

Если Ask Delphi — это эксперимент для определения границ и возможностей нейросетей, почему он явно выглядит как сервис, где можно быстро получить ответ на свой вопрос (и называется соответствующе)? Очевидно, что зайдя на такой сайт, часть людей не будет разбираться в нюансах, а действительно последует совету, который им даст «волшебная система».

Уже сейчас проект стал вирусным за счет возможности сразу поделиться ответом в социальных сетях. В Twitter постят шутки, но все мы знаем, что есть в шутках, кроме юмора.

«Наконец я могу найти ответы на самые сложные этические вопросы» / Скриншот Twitter

The Verge пишет, что система вызывает такое же любопытство и азарт, как и «магический шар», который отвечает на вопросы. И задается тем же вопросом: «Если систему нельзя воспринимать серьезно, тогда зачем это все?».

В ответ на этот вопрос в Allen Institute (уже после публикации материала The Verge) заявили, что «Delphi подчеркивает уникальную способность ИИ отзеркаливать наш мир и заставляет нас спросить себя, как мы хотим формировать новые технологии».

Но действительно ли это вопрос, который могут себе задать (и тем более — на который могут ответить) все люди?