Llama 2 от Meta: чем может похвастаться новый искусственный интеллект

Meta анонсировала релиз нового семейства моделей искусственного интеллекта Llama 2 – в корпорации утверждают, что его производительность значительно улучшилась по сравнению с предыдущим поколением. Об этом пишет TechCrunch.

Подробности

Llama 2 является продолжением Llama — набора моделей ИИ, которые могут генерировать текст и код в ответ на подсказки, подобно чатам. Но предыдущее ПО было доступно только по запросу – Meta закрыла доступ из-за опасений неправомерного использования. Конечно, впоследствии Llama «слили» в интернет и распространили в разных сообществах ИИ (запретный плод сладкий).

Поэтому с Llama 2 решили не усложнять – ИИ будет бесплатным для исследований и коммерческого использования, например, для тонкой настройки на AWS, Azure и Hugging Face. Новая версия будет более проста в использовании, ведь она оптимизирована для Windows, а также смартфонов и ПК, оснащенных Qualcomm Snapdragon.

В чем особенности нового ИИ

ИИ есть в двух версиях: Llama 2 и Llama 2-Chat – вторая была настроена для двусторонних бесед. Затем Llama 2 и Llama 2-Chat, в свою очередь, еще делятся на версии разной сложности: 7 миллиардов параметров, 13 миллиардов параметров и 70 миллиардов параметров. Под параметрами подразумеваются части модели, полученные из обучающих данных и которые, в сущности, определяют навыки определенной модели.

Одна из фишек модели – возможность отвечать на вопросы в формате эмодзи.

Llama 2 был обучен на двух миллионах токенов – необработанных текстах, что почти вдвое больше, чем при обучении первой Llama. В общем, чем больше токенов, тем лучше, когда речь идет о генеративном ИИ – текущая флагманская большая языковая модель (LLM) от Google – PaLM 2, – была обучена на 3,6 миллионах токенов.

Нарушили ли авторские права при обучении модели? Здесь Meta перестраховалась и не раскрыла конкретные источники обучающих данных, ограничившись в документации коротким «из интернета, преимущественно на английском языке».

Конкурент GPT-4?

Meta сразу призналась, что в ряде тестов модели Llama 2 работают немного хуже, чем самые известные конкуренты с закрытым кодом типа GPT-4 и PaLM 2. Если брать навыки написания кода, то Llama 2 существенно отстает от GPT-4. Но оценщики считают Llama 2 примерно такой же «полезной», как ChatGPT (так утверждает Meta в документации), ведь ИИ ответил одинаково на набор из примерно 4000 подсказок, предназначенных для проверки «полезности» и «безопасности».

Одновременно Meta признает, что ее тесты не могут охватить все сценарии реального мира и тестам может не хватать разнообразия — иными словами, они недостаточно охватывают такие области, как кодирование и человеческое мышление. Кроме того, Llama 2, как и все генеративные модели AI, имеет смещение по определенным осям. К примеру, он склонен генерировать местоимения «он» с большей частотой, чем местоимения «она», благодаря дисбалансу в данных обучения (такой сексизм).

Однако Llama 2-Chat имеет лучшие показатели, чем Llama 2 по внутренним тестам полезности и токсичности Meta. Одновременно ИИ склонен быть слишком осторожным из-за груды ограничений, выставленных корпорацией, чтобы ее не постыдить.