Новий штучний інтелект Meta може розпізнавати понад 4 тисячі мов

Meta створила мовну модель штучного інтелекту Massively Multilingual Speech (MMS), яка здатна розпізнавати понад 4 тисячі мов, а також перетворювати текст у мовлення понад 1100 мовами.

Про це компанія повідомила у своєму блозі.

«Сьогодні ми публічно ділимося нашими моделями та кодом, щоб інші в дослідницькому співтоваристві могли використовувати нашу роботу, — зазначено в повідомленні. — Завдяки цій роботі ми сподіваємося зробити невеликий внесок у збереження неймовірного мовного розмаїття світу».

Що характерно, компанія випустила MMS для досліджень з відкритим вихідним кодом, щоб допомогти зберегти мовне розмаїття і заохотити дослідників.

Створення і подальший розвиток MMS передбачає уможливити доступ до інформації та використання пристроїв тією мовою, якою володіє користувач: від технологій віртуальної та доповненої реальності до служб обміну повідомленнями.

«Моделі MMS розширюють технологію перетворення тексту в мовлення та мовлення в текст із приблизно 100 мов до понад 1100 — у понад 10 разів більше, ніж раніше», — зазначили в компанії.

Незвичайний підхід

Meta використала досить нетрадиційний підхід до збору аудіоданих: звернулися до прослуховування аудіозаписів перекладених релігійних текстів.

«Ми звернулися до релігійних текстів, таких як Біблія, які були перекладені багатьма різними мовами. Ці переклади були широко вивчені для дослідження мовного перекладу на основі тексту», – заявили в компанії.

Включивши немарковані записи Біблії та подібних текстів, дослідники Meta збільшили кількість доступних мов моделі до понад 4000.

Для навчання MMS розпізнавання мов вдалися до нестандартного підходу — звернулися до релігійних текстів. Біблія та інші основні книги світових релігії перекладені великою кількістю мов, і існує безліч загальнодоступних аудіозаписів, де ці тексти зачитуються. Навчання моделі ускладнилося через те, що аудіозаписи не мали точної текстової розмітки, але в підсумку кількість мов, що підтримуються, перевищила 4 тисячі.

«Хоча ці тексти часто начитуються представниками чоловічої статі, аналіз показав, що наші моделі однаково добре працюють як для чоловічого, так і для жіночого голосу, —  зазначили в Meta.

У компанії додали, що збираються розширювати перелік мов, якими володітиме MMS. Очікується, що в подальшому вона опанує і регіональні діалекти.

Нагадаємо, нещодавно Google випустив нову велику мовну модель PaLM 2, яка використовує майже в п’ять разів більше навчальних даних, ніж її попередниця. Це дозволяє їй виконувати більш просунуті завдання з кодування, математики та написання текстів.