Нова велика мовна модель PaLM 2, яку Google анонсував минулого тижня, використовує майже в п’ять разів більше навчальних даних, ніж її попередниця. Це дозволяє їй виконувати більш просунуті завдання з кодування, математики та написання текстів.
Про це повідомив CNBC з посиланням на внутрішню документацію Google.
Згідно з цією інформацією, PaLM 2 навчається на 3,6 трильйонах токенів.
Попередня версія Google PaLM, яка розшифровується як Pathways Language Model, була випущена в 2022 році та навчена на 780 мільярдах токенів.
На презентації PaLM 2 Google заявив, що нова модель менша за попередні LLM. Це означає, що технологія компанії стає ефективнішою, одночасно виконуючи більш складні завдання.
PaLM 2, згідно з внутрішніми документами, навчається на 340 мільярдах параметрів, що свідчить про складність моделі. Початковий PaLM був навчений за 540 мільярдами параметрів.
Спираючись на цю інформацію можна сказати, що PaLM 2 є потужнішою, ніж будь-яка існуюча модель.
Хоча Google прагнув продемонструвати потужність своєї технології штучного інтелекту та те, як її можна вбудувати в пошук, пошту та таблиці, компанія не публікувала розмір чи інші деталі своїх навчальних даних.
Компанія-розробник ChatGPT OpenAI також не розкрила специфіку своєї останньої LLM GPT-4.
Причиною нерозкриття інформації називають конкурентний характер бізнесу. Але в міру розгортання гонки озброєнь ШІ дослідницька спільнота вимагає більшої прозорості.
LLM від Facebook LLaMA, про яку було оголошено в лютому, навчається на 1,4 трильйона токенів. Востаннє OpenAI ділився розміром навчання ChatGPT з GPT-3, коли компанія заявила, що навчалася на 300 мільярдах токенів .
OpenAI випустив GPT-4 у березні та заявив, що він демонструє «продуктивність на людському рівні» у багатьох професійних тестах.
Нагадаємо, нещодавно Google презентував нову велику мовну модель PaLM 2. Вона працюватиме з оновленим чат-інструментом Google Bard.
Також Google планує впровадити генеративний штучний інтелект для допомоги в створенні коду. Він також працюватиме на PaLM 2.
Китайський стартап SpacemiT представив MuseBook — ноутбук на базі восьмиядерного процесора K1 RISC-V, орієнтований на…
Учасники Brave1, українська команда MATHESIS, розробила для органів держбезпеки платформу HARVESTER на основі штучного інтелекту.…
Волинський програміст криптовалютного стартапу DeFi намагався виїхати з України за італійським паспортом. Але спроба не…
Міністерство оборони запустило онлайн-калькулятор грошового забезпечення військовослужбовців ЗСУ. Про це Міноборони повідомило в соціальній мережі…
32-річний розробник безпеки інформаційних систем Агентства національної безпеки Джарех Себастьян Далке отримав 22 роки в'язниці…
Українська компанія Flytech представила розвідувальний безпілотний літальний апарат ARES. Основні його переваги — недорога ціна…