Meta работает над новой моделью ИИ, не уступающей GPT-4
Meta, материнская компания Facebook и Instagram, работает над новой системой искусственного интеллекта, которая должна быть столь же мощной, как и GPT-4 от OpenAI.
Об этом сообщил The Wall Street Journal со ссылкой на собственные источники.
Что известно?
Meta стремится сделать свою новую LLM (Large Language Model) в несколько раз мощнее Llama 2, которая вышла пару месяцев назад.
Будущая система поможет другим компаниям создавать сервисы, которые будут делать сложный текст, проводить анализ и генерировать более сложные выводы.
Над системой будет работать группа, сформированная в начале этого года Марком Цукербергом.
Meta планирует начать обучение новой LLM в начале 2024 года.
Планы по новой модели являются частью усилий Цукерберга утвердить Meta как главную силу в мире ИИ (в контексте того, что сейчас достаточно существенно отстает от конкурентов).
Сейчас компания строит центры обработки данных, необходимые для работы, и покупает H100, сверхмощные чипы Nvidia, используемые для обучения ИИ.
Мощнее GPT-4
Meta планирует обучить новенькую модель на своей инфраструктуре.
Цукерберг настаивает на том, чтобы новая модель, как и предыдущие разработки Meta, была с открытым кодом и, следовательно, бесплатной для компаний для создания инструментов на основе искусственного интеллекта.
Meta надеется, что новая модель будет примерно такой же мощной, как и GPT-4, которую OpenAI запустил в марте. GPT-4, напомним, лежит в основе ChatGPT.
Недостатки моделей с открытым кодом
Желание Meta создать модель с открытым кодом имеет преимущества. Да и кроме того Цукерберг открыто агитировал за них черех их низкую стоимость и адаптивность.
Но есть свои недостатки. К ним относятся повышенные риски использования информации, потенциально защищенной авторским правом, и более широкий доступ к инструменту, который может быть использован для генерирования и распространения дезинформации или других вредных действий.
Большие языковые модели обычно становятся более мощными, когда учатся на большем количестве данных. Самая мощная версия модели Llama 2 была обучена на 70 млрд параметров.
OpenAI не разглашает размер GPT-4, но, по оценкам, он примерно в 20 раз превышает размер Llama 2 и имеет 1,5 триллиона параметров.
Читайте также:
В течение следующих пяти лет у каждого появится свой ИИ-помощник – соучредитель Google DeepMind
«Дешево и эффективно»: разработчик создал ИИ-конвейер фейков за $400
Дешевые и эффективные: исследователи обеспокоены темпами роста ИИ спам-ботов
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: