PaLM 2 — це найпотужніша LLM вже зараз: стали відомі характеристики нової моделі Google
Нова велика мовна модель PaLM 2, яку Google анонсував минулого тижня, використовує майже в п’ять разів більше навчальних даних, ніж її попередниця. Це дозволяє їй виконувати більш просунуті завдання з кодування, математики та написання текстів.
Про це повідомив CNBC з посиланням на внутрішню документацію Google.
PaLM 2 — це поки найпотужніша LLM
Згідно з цією інформацією, PaLM 2 навчається на 3,6 трильйонах токенів.
Попередня версія Google PaLM, яка розшифровується як Pathways Language Model, була випущена в 2022 році та навчена на 780 мільярдах токенів.
На презентації PaLM 2 Google заявив, що нова модель менша за попередні LLM. Це означає, що технологія компанії стає ефективнішою, одночасно виконуючи більш складні завдання.
PaLM 2, згідно з внутрішніми документами, навчається на 340 мільярдах параметрів, що свідчить про складність моделі. Початковий PaLM був навчений за 540 мільярдами параметрів.
Спираючись на цю інформацію можна сказати, що PaLM 2 є потужнішою, ніж будь-яка існуюча модель.
Конкуренція по-тихому
Хоча Google прагнув продемонструвати потужність своєї технології штучного інтелекту та те, як її можна вбудувати в пошук, пошту та таблиці, компанія не публікувала розмір чи інші деталі своїх навчальних даних.
Компанія-розробник ChatGPT OpenAI також не розкрила специфіку своєї останньої LLM GPT-4.
Причиною нерозкриття інформації називають конкурентний характер бізнесу. Але в міру розгортання гонки озброєнь ШІ дослідницька спільнота вимагає більшої прозорості.
LLM від Facebook LLaMA, про яку було оголошено в лютому, навчається на 1,4 трильйона токенів. Востаннє OpenAI ділився розміром навчання ChatGPT з GPT-3, коли компанія заявила, що навчалася на 300 мільярдах токенів .
OpenAI випустив GPT-4 у березні та заявив, що він демонструє «продуктивність на людському рівні» у багатьох професійних тестах.
Нагадаємо, нещодавно Google презентував нову велику мовну модель PaLM 2. Вона працюватиме з оновленим чат-інструментом Google Bard.
Також Google планує впровадити генеративний штучний інтелект для допомоги в створенні коду. Він також працюватиме на PaLM 2.
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: