PaLM 2 – это самая мощная LLM уже сейчас: стали известны характеристики новой модели Google

Новая большая языковая модель PaLM 2, которую Google анонсировал на прошлой неделе, использует почти в пять раз больше обучающих данных, чем ее предшественница. Это позволяет ей выполнять более продвинутые задачи по кодированию, математике и написанию текстов.

Об этом сообщил CNBC со ссылкой на внутреннюю документацию Google.

PaLM 2 – это пока самая мощная LLM

Согласно этой информации, PaLM 2 обучается на 3,6 триллиона токенов.

Предыдущая версия Google PaLM, которая расшифровывается как Pathways Language Model, была выпущена в 2022 году и обучена 780 миллиардам токенов.

На презентации PaLM 2 Google заявил, что новая модель меньше предыдущих LLM. Это означает, что технология компании становится более эффективной, одновременно выполняя более сложные задачи.

PaLM 2, согласно внутренним документам, обучается на 340 млрд параметров, что свидетельствует о сложности модели. Первоначальный PaLM был обучен по 540 миллиардам параметров.

Опираясь на эту информацию можно сказать, что PaLM 2 мощнее, чем любая существующая модель.

Конкуренция по-тихому

Хотя Google стремился продемонстрировать мощь своей технологии искусственного интеллекта и то, как ее можно встроить в поиск, почту и таблицы, компания не публиковала размер или другие детали своих обучающих данных.

Компания-разработчик ChatGPT OpenAI также не раскрыла специфику своей последней LLM GPT-4.

Причиной нераскрытия информации называют конкурентный характер бизнеса. Но по мере развертывания гонки вооружений ИИ исследовательское сообщество требует большей прозрачности.

LLM от Facebook LLaMA, о которой было объявлено в феврале, обучается на 1,4 триллиона токенов. Последний раз OpenAI делился размером обучения ChatGPT с GPT-3, когда компания заявила, что училась на 300 миллиардах токенов.

OpenAI выпустил GPT-4 в марте и заявил, что он демонстрирует “производительность на человеческом уровне” во многих профессиональных тестах.

Напомним, недавно Google представил новую крупную языковую модель PaLM 2. Она будет работать с обновленным чат-инструментом Google Bard.

Также Google планирует ввести генеративный искусственный интеллект для помощи в создании кода. Он также будет работать на PaLM 2.