52% неточностей, часто не розуміє суті питань: ChatGPT завалив тести Stack Overflow

ChatGPT може давати відповіді на прості питання чи допомагати в кодуванні, але дослідники вважають що йому треба суттєво покращити свої навички кодування.

Про це йдеться в дослідженні Університета Пердю, повідомляє PC.mag.

В рамках дослідження ChatGPT давав відповіді на 517 різних запитань від Stack Overflow.

І ці результати виявилися приголомшливими.

«Наше дослідження показало, що 52% відповідей ChatGPT містять неточності, а 77% — багатослівні», — написали дослідники в статті, яка опублікована на сайті університету.

Ще більше дослідників здивувало те, що 54% ​​помилок, зроблених чат-ботом, повязані з тим, що він не розуміє суті запитання, яке йому задають.

У випадках, коли він розумів запитання, йому часто було важко дати правильну відповідь. Все це підкреслює важливість перевірки фактів у відповідях ChatGPT.

«У багатьох випадках ми бачили, як ChatGPT давав відповідь, код або формулу, не передбачаючи наслідки та не думаючи про конкретні результати», — заявили вони.

Тим не менш, ChatGPT може бути досить корисний при програмуванні. У лютому Google передав ChatGPT питання для співбесіди з програмування і чатбот успішно склав іспит на позицію джуна-девелопера.

Зазначимо, що за останні півтора роки трафік на популярному в середовизі програмістів сайті Stack Overflow впав приблизно на 35%. При цьому помітне падіння почалося після релізу ШІ-чатбота ChatGPT.

Зазначимо, згідно з останніми дослідженнями, менш ніж за 10 років ринок генеративного штучного інтелекту може досягнути об’єму в $1,3 трлн.

Читайте також:

«ШІ створює ризики вимирання, як і ядерна війна»: Сем Альтман з OpenAI та 350 науковців підписали нову заяву

Білл Гейтс прогнозує смерть Google і Amazon: їх замінить персональний ШІ-помічник

«Хрещений батько ШІ» покаявся та пішов з Google: тепер він попереджає про небезпеку