Новый ИИ может оценить вашу жизненную ситуацию: ученые просят не использовать его как моральный компас, но кого это волнует

Исследовательский институт Allen Institute for AI 14 октября 2021 запустил демо-версию проекта Ask Delphi — «морально-этическую машину». Она принимает на вход вопросы или описания ситуаций, а на выход отдает их морально-этическую оценку — то есть говорит, хорошо это или плохо.

За две недели сервис уже успели обвинить в расизме и сделать вывод, что вреда от него больше, чем пользы.

Highload копнули чуть глубже и выяснили, что пользы и не ожидалось. Разбираемся, в чем тут тогда соль.

Что за сервис и о чем

Ask Delphi — это часть большого проекта по построению «машины со здравым смыслом» Mosaic. Его разрабатывают ученые ИИ-института Allen Institute, который в 2014 году создал сооснователь Microsoft Пол Аллен.

В Mosaic уже есть такие проекты:

• Visual Commonsense Reasoning — датасет, который решает задачу «визуального понимания». То есть — «посмотреть на картинку и понять, что на ней происходит».
• Situations With Adversarial Generations — датасет, который решает задачу «понимания на основе аргументов на естественном языке». То есть — «услышать рассуждения и сделать свои выводы».

Кроме того, есть проекты для улучшения работы и масштабирования существующих датасетов и моделей.

Вот что пишут создатели о новом демо Ask Delphi:

«Delphi предназначена для изучения возможностей и ограничений машинной этики и норм через призму описательной этики, то есть моральных суждений людей о различных повседневных ситуациях».

Фундаментальный вопрос, на который должно ответить исследование:

«Может ли машинная этика быть решена с помощью существующих методов ИИ, или для создания морального факультета требуются новые механизмы?»

В выводах к научной работе, освещающей исследование, ученые на этот вопрос не отвечают.

«Изнанка» Delphi

Модель Delphi обучена на Commonsense Norm Bank — «учебнике морали», адаптированном для машин и созданном специально для этого исследования. В «учебнике» Allen Institute собрали 1,7 млн примеров этических суждений людей по широкому спектру повседневных ситуаций.

Большинство примеров — результаты опросов Allen Institute. Частично в наборе данных также есть ответы и с Reddit — они используются для разрешения двусмысленных и противоречивых ситуаций.

Так как на вход модели подавались, в основном, ответы американцев, система отображает мышление среднестатистического человека из США.

Исследователи утверждают, что точность разработанной модели достигает 92,1% и она способна понимать контекст ситуаций. Для сравнения, точность бота, работающего на алгоритме GPT-3 и тоже способного отвечать на вопросы, — всего лишь 52,3%.

При этом ученые предупреждают, что «результаты модели не должны использоваться в качестве советов для людей, могут быть потенциально оскорбительными / проблемными / вредными, а также не обязательно отражают взгляды и мнения авторов и связанных с ними лиц».

То есть Delphi не инструмент, который расскажет вам, как правильно жить. Это скорее эксперимент, чтобы посмотреть, насколько современные нейронные сети и машины, которые уже взаимодействуют с людьми, смогут усвоить человеческие нормы и этику.

Другими словами, сервис показывает не только возможности понимания машиной морали, но и ее ограниченность в этом вопросе.

Как работает Ask Delphi

Несмотря на все вышесказанное, сервис Ask Delphi работает как чат-бот: заходите на сайт, пишете свой вопрос, один клик — и ответ готов. Вам скажут не только правильно что-то или нет, но и является ли это расизмом, трусостью, грубостью, странностью и т.д.

Ответ можно оценить: кликнуть, согласен ли ты с ним. Поэтому результаты работы системы постоянно меняются. Так, еще вчера Aspi писали, что на вопрос об убийстве гражданского населения во время войны (это запрещено Женевской конвенцией) сервис отвечает «это ожидаемо». Но уже сегодня ответ другой:

Но один этот пример не означает, что теперь Delphi «исправилась» и стала проповедником. Основываясь на ответах людей (собранных заранее или отправляемых в режиме реального времени) сервис показывает не идеальную моральную систему, а этику современного мира — в том числе его предрассудки и стереотипы. За это его критикуют.

Критика Ask Delphi

«Проект Ask Delphi провалился и приносит больше вреда, чем пользы», — с таким заголовком выпустили новость о сервисе многие англоязычные СМИ. Но проблема здесь не столько в ответах, сколько в формате, в котором выпустили сервис.

Если Ask Delphi — это эксперимент для определения границ и возможностей нейросетей, почему он явно выглядит как сервис, где можно быстро получить ответ на свой вопрос (и называется соответствующе)? Очевидно, что зайдя на такой сайт, часть людей не будет разбираться в нюансах, а действительно последует совету, который им даст «волшебная система».

Уже сейчас проект стал вирусным за счет возможности сразу поделиться ответом в социальных сетях. В Twitter постят шутки, но все мы знаем, что есть в шутках, кроме юмора.

The Verge пишет, что система вызывает такое же любопытство и азарт, как и «магический шар», который отвечает на вопросы. И задается тем же вопросом: «Если систему нельзя воспринимать серьезно, тогда зачем это все?».

В ответ на этот вопрос в Allen Institute (уже после публикации материала The Verge) заявили, что «Delphi подчеркивает уникальную способность ИИ отзеркаливать наш мир и заставляет нас спросить себя, как мы хотим формировать новые технологии».

Но действительно ли это вопрос, который могут себе задать (и тем более — на который могут ответить) все люди?