52% неточностей, часто не понимает вопросов: ChatGPT завалил тесты Stack Overflow

ChatGPT может давать ответы на простые вопросы или помогать в кодировании, но исследователи считают, что ему нужно существенно улучшить свои навыки кодирования.

Об этом говорится в исследовании Университета Пердю, сообщает PC.mag.

В рамках исследования ChatGPT отвечал на 517 различных вопросов от Stack Overflow.

И эти результаты оказались потрясающими.

«Наше исследование показало, что 52% ответов ChatGPT содержат неточности, а 77% — многословные», — написали исследователи в статье, опубликованной на сайте университета.

Еще больше исследователей удивило то, что 54% ​​ошибок, сделанных чат-ботом, связаны с тем, что он не понимает сути вопроса, который ему задают.

В случаях, когда он понимал вопросы, ему часто трудно было дать правильный ответ. Все это подчеркивает важность проверки фактов в ответах ChatGPT.

«Во многих случаях мы видели, как ChatGPT давал ответ, код или формулу, не предполагая последствия и не думая о конкретных результатах», — заявили они.

Тем не менее, ChatGPT может быть достаточно полезен при программировании. В феврале Google передал ChatGPT вопросы для собеседования по программированию и чатбот успешно сдал экзамен на позицию джуна-девелопера.

Отметим, что за последние полтора года трафик на популярном в среде программистов сайте Stack Overflow упал примерно на 35%. При этом заметное падение началось после релиза ШИ-чата ChatGPT.

Также согласно последним исследованиям менее чем за 10 лет рынок генеративного искусственного интеллекта может достигнуть объема в $1,3 трлн.

Читайте также:

«ИИ создает риски вымирания, как и ядерная война»: Сэм Альтман из OpenAI и 350 ученых подписали новое заявление

Билл Гейтс прогнозирует смерть Google и Amazon: их заменит персональный ИИ-помощник

Крестный отец ИИ покаялся и ушел из Google: теперь он предупреждает об опасности