Meta работает над новой моделью ИИ, не уступающей GPT-4

Ігор Шелудченко

12.09.2023 09:47

Meta, материнская компания Facebook и Instagram, работает над новой системой искусственного интеллекта, которая должна быть столь же мощной, как и GPT-4 от OpenAI.

Об этом сообщил The Wall Street Journal со ссылкой на собственные источники.

Что известно?

Meta стремится сделать свою новую LLM (Large Language Model) в несколько раз мощнее Llama 2, которая вышла пару месяцев назад.

Будущая система поможет другим компаниям создавать сервисы, которые будут делать сложный текст, проводить анализ и генерировать более сложные выводы.

Над системой будет работать группа, сформированная в начале этого года Марком Цукербергом.

Meta планирует начать обучение новой LLM в начале 2024 года.

Планы по новой модели являются частью усилий Цукерберга утвердить Meta как главную силу в мире ИИ (в контексте того, что сейчас достаточно существенно отстает от конкурентов).

Сейчас компания строит центры обработки данных, необходимые для работы, и покупает H100, сверхмощные чипы Nvidia, используемые для обучения ИИ.

Мощнее GPT-4

Meta планирует обучить новенькую модель на своей инфраструктуре.

Цукерберг настаивает на том, чтобы новая модель, как и предыдущие разработки Meta, была с открытым кодом и, следовательно, бесплатной для компаний для создания инструментов на основе искусственного интеллекта.

Meta надеется, что новая модель будет примерно такой же мощной, как и GPT-4, которую OpenAI запустил в марте. GPT-4, напомним, лежит в основе ChatGPT.

Недостатки моделей с открытым кодом

Желание Meta создать модель с открытым кодом имеет преимущества. Да и кроме того Цукерберг открыто агитировал за них черех их низкую стоимость и адаптивность.

Но есть свои недостатки. К ним относятся повышенные риски использования информации, потенциально защищенной авторским правом, и более широкий доступ к инструменту, который может быть использован для генерирования и распространения дезинформации или других вредных действий.

Большие языковые модели обычно становятся более мощными, когда учатся на большем количестве данных. Самая мощная версия модели Llama 2 была обучена на 70 млрд параметров.

OpenAI не разглашает размер GPT-4, но, по оценкам, он примерно в 20 раз превышает размер Llama 2 и имеет 1,5 триллиона параметров.

«Дешево и эффективно»: разработчик создал ИИ-конвейер фейков за $400

Дешевые и эффективные: исследователи обеспокоены темпами роста ИИ спам-ботов