Вчені Стенфорда створили аналог ChatGPT за $600 та виклали його на GitHub

Дослідницька група Стенфордського університету розробила на Large Language Model Meta AI LLaMA штучний інтелект Alpaca і протестували його на базовій мовній моделі ChatGPT. Результати вразили: Alpaca пройшов 90 тестів, GPT — 89.

Про це розповів New Atlas.

Alpaca багато в чому схожий на ChatGPT, але він побудований на мовній моделі з відкритим кодом і значно дешевший в створенні.

Як створити ШІ за $600

Вчені Стенфордського університету почали роботу з мовної моделі Meta LLaMA 7B з відкритим кодом — найменшої та найдешевшої з кількох доступних моделей LLaMA.

Ця маленька мовна модель мала певні можливості, але значно відставала від ChatGPT у більшості завдань. Головна конкурентна перевага моделей GPT здебільшого пов’язана з величезною кількістю часу та робочої сили, яку OpenAI витратив на навчання ШІ.

Коли модель LLaMA 7B була запущена, команда Стенфордського університету фактично попросила GPT взяти 175 пар інструкцій/виходів, написаних людиною, і почати генерувати більше в тому самому стилі та форматі, по 20 за раз.

Це було автоматизовано за допомогою одного з корисних API OpenAI, і за короткий час у команди було близько 52 000 зразків розмов, які можна було використати під час навчання моделі LLaMA.

Потім вони використали ці дані для точного налаштування моделі LLaMA. Цей  процес тривав близько трьох годин на восьми комп’ютерах хмарної обробки A100 ємністю 80 ГБ.

Стенфордська команда використовувала GPT-3.5, щоб надати LLaMA 7B набір інструкцій щодо виконання своєї роботи.

Потім вони протестували модель Alpaca на базовій мовній моделі ChatGPT у різних сферах, включаючи написання електроних листів, роботу з соціальними мережами та інструменти продуктивності. Alpaca успішно склав 90 із цих тестів, GPT — 89.

«Ми були дуже здивовані цим результатом, враховуючи невеликий розмір моделі та скромний обсяг даних для виконання інструкцій», — пишуть дослідники.

Вчені заявили, що могли б зробити це дешевше, якби прагнули оптимізувати процес.

Особливо враховуючи, що тепер є доступ до набагато потужнішого GPT 4.0, а також до кількох потужніших моделей LLaMA, які можна використовувати як основу.

Потенціал та загрози

Дослідників зі Стенфордського університету підрахували, що запустили і протестували нову модель за $600. Її показники демонструють, наскільки швидко весь сектор і його можливості можуть вийти з-під контролю.

Команда Стенфордського університету опублікувала на Github 52 000 запитань, використаних у цьому дослідженні, разом із кодом для генерації додаткових запитань і кодом, який вони використовували для налаштування моделі LLaMA.

Група вчених зазначає, що «ще не налаштувала модель Alpaca, щоб вона була безпечною», і просить усіх, хто встановлює її, звітувати про виявлені проблеми.

Що це все означає? Це означає, що тепер необмежену кількість неконтрольованих мовних моделей можна налаштувати – людьми зі знаннями машинного навчання, недорого і цілком легально.

Крім того, це суттєво б’є й по кишеням великих компаній, які розробляють свої мовні моделі та системи ШІ.

Нагадаємо, нещодавно вчені Google здійснили прорив в розробці квантового комп’ютера — нове дослідження показало зменшення рівня помилок.

Читайте також: 

Українські роботодавці починають шукати кандидатів зі знанням ChatGPT: зарплати — до 120 тис. грн

Google спішно запускає Bard — конкурента ChatGPT на Lamda

Переплюнув TikTok і Instagram: ChatGPT став найбільш зростаючим застосунком в історії