Новый искусственный интеллект Meta может распознавать более 4 тысяч языков

Meta создала языковую модель искусственного интеллекта Massively Multilingual Speech (MMS), которая способна распознавать более 4 тысяч языков, а также преобразовывать текст в вещание более чем на 1100 языках.

Об этом компания  сообщила  в своем блоге.

«Сегодня мы публично делимся нашими моделями и кодом, чтобы другие в исследовательском сообществе могли использовать нашу работу, — говорится в сообщении. — Благодаря этой работе мы надеемся внести небольшой вклад в сохранение невероятного языкового разнообразия мира».

Что характерно, компания выпустила MMS для исследований с открытым исходным кодом, чтобы помочь сохранить языковое разнообразие и привлечь исследователей.

Создание и дальнейшее развитие MMS предполагает возможность доступа к информации и использования устройств на том языке, на котором владеет пользователь: от технологий виртуальной и дополненной реальности до служб обмена сообщениями.

«Модели MMS расширяют технологию преобразования текста в вещание и вещание в текст с примерно 100 до более 1100 языков — в более чем 10 раз больше, чем раньше», — отметили в компании.

Необычный подход

Meta использовала довольно нетрадиционный подход к сбору аудиоданных: обратились к прослушиванию аудиозаписей переведенных религиозных текстов.

«Мы обратились к религиозным текстам, таким как Библия, которые были переведены на многие разные языки. Эти переводы были широко изучены для изучения языкового перевода на основе текста», – заявили в компании. 

Включив немаркированные записи Библии и подобных текстов, исследователи Meta увеличили количество доступных языков модели до более чем 4000.

Для обучения MMS распознавания языков прибегли к нестандартному подходу – обратились к религиозным текстам. Библия и другие основные книги мировых религии переведены на множество языков, и существует множество общедоступных аудиозаписей, где эти тексты зачитываются. Обучение модели усложнилось из-за того, что аудиозаписи не имели точной текстовой разметки, но в итоге количество поддерживаемых языков превысило 4 тысячи.

«Хотя эти тексты часто начитываются представителями мужского пола, анализ показал, что наши модели все равно хорошо работают как для мужского, так и для женского голоса , — отметили в Meta.

В компании добавили, что собираются расширять список языков, которыми будет владеть MMS. Ожидается, что в дальнейшем она овладеет и региональными диалектами.

Напомним, недавно Google выпустил  новую обширную языковую модель PaLM 2, использующую почти в пять раз больше обучающих данных, чем ее предшественница. Это позволяет ей выполнять более продвинутые задачи по кодированию, математике и написанию текстов.