Чат-бот від стартапу OpenAI ChatGPT-4 вразив світ (у тому числі інвесторів) своїми здібностями, викликаючи сплеск інтересу до ШІ та побоювання, що технологія залишить без хліба купу фахівців. Але… що якщо крутіше цієї версії бота більше нічого не буде?
Наприкінці минулого тижня генеральний директор OpenAI Сем Альтман публічно заявив, що дослідницька стратегія, яка породила робота, вичерпана. Незрозуміло, звідки саме надходитимуть майбутні досягнення — але точно не з масштабування моделі, пише Wired.
Генеральний директор OpenAI каже, що епоха гігантських моделей ШІ вже закінчилася. Якщо GPT-2 на піку мав 1,5 млрд параметрів, що регулювали зв’язки між його грубими штучними нейронами, а GPT-3 — 175 млрд, то в четвертій версії масштаб не заявлений і не має такого великого значення. Імовірно, модель використовує метод, який називається навчанням з підкріпленням зворотним зв’язком. Тобто, живі користувачі оцінюють якість відповідей моделі, щоб направити її до надання відповідей, які з більшою ймовірністю будуть оцінені іншими користувачами як високоякісні.
Тому Сем Альтман каже, що подальшого прогресу не буде досягнуто шляхом збільшення розмірів моделей:
«Я думаю, що ми знаходимося наприкінці епохи, коли будуть створюватись такі величезні, гігантські моделі. Ми зробимо їх краще іншими способами. GPT-4 може стати останнім великим досягненням, що випливає зі стратегії OpenAI, спрямованої на збільшення розмірів моделей та надання їм більшої кількості даних».
Тим часом численні стартапи, які добре фінансуються, у тому числі Anthropic, AI21, Cohere і Character.AI вкладають величезні гроші у створення все більших алгоритмів, прагнучи наздогнати технологію OpenAI. Заява Альтмана передбачає несподіваний поворот у перегонах за розробку та розгортання нових алгоритмів ШІ. При цьому CEO не озвучує ідей, які дослідні стратегії чи методи могли б замінити просте масштабування.
У документі, що описує GPT-4, в OpenAI кажуть, що оцінки роботи бота в майбутньому припускають зниження віддачі від збільшення розміру моделі. Тобто вкладатись у розширення сенсу буде небагато. Крім того, Альтман сказав, що є також фізичні межі того, скільки центрів обробки даних може побудувати компанія і як швидко вона може їх побудувати.
Співзасновник Cohere Нік Фросс, який раніше працював над штучним інтелектом у Google, також вважає, що збільшення масштабів не працюватиме нескінченно. На його думку, прогрес у галузі моделі машинного навчання, що лежить в основі GPT-4 та її конкурентів, не може бути масштабований.
«Існує безліч способів зробити моделі набагато кращими та кориснішими, і багато з них не вимагають додавання параметрів у модель», — вважає фахівець.
Фросс каже, що принципово нові конструкції чи архітектури моделей ШІ, а також подальше їх налаштування на основі відгуків людей — це перспективні напрямки, які вже вивчають багато дослідників.
Українські програмісти створили безплатну гру-головоломку Lağoda QT. Кожен рівень — вірш одного з видатних кримськотатарських…
Корпорація Microsoft оголосила про підтримку української мови у Copilot для Microsoft 365. Українська мова входить…
Корпорація Google запустила реєстрацію задля участі в безплатній програмі Startup School: Gen AI. Програма безплатна…
В квітні на ринку праці збільшилася кількість вакансій для IT-фахівців. На DOU та Djinni спостерігались…
Китайський стартап SpacemiT представив MuseBook — ноутбук на базі восьмиядерного процесора K1 RISC-V, орієнтований на…
Учасники Brave1, українська команда MATHESIS, розробила для органів держбезпеки платформу HARVESTER на основі штучного інтелекту.…