Вихідний код вже на GitHub: Meta запустила нейромережу для створення музики

Компанія Meta випустила нейромережу AudioCraft — це генератор музики, в якому працює одразу три моделі штучного інтелекту.

Цією новиною Meta поділилася у себе в блозі.

🎵 Today we’re sharing details about AudioCraft, a family of generative AI models that lets you easily generate high-quality audio and music from text.https://t.co/04XAq4rlap pic.twitter.com/JreMIBGbTF

— Meta Newsroom (@MetaNewsroom) August 2, 2023

AudioCraft складається з трьох моделей: MusicGen, AudioGen та EnCodec

• MusicGen — генерує музику на основі текстових даних користувачів;
• AudioGen створює звуки навколишнього середовища та звукові ефекти, зокрема гавкіт собак, гудки авто або кроки по дерев’яній підлозі;
• EnCodec редагує звукові доріжки.

Крім того, за рахунок відкритого вихідного коду розробники можуть покращувати нейромережу та навчати її далі.

«Люди можуть легко розширити наші моделі та адаптувати їх до своїх випадків використання для дослідження. Є майже безмежні можливості, коли ви надаєте людям доступ до моделей, щоб налаштувати їх відповідно до своїх потреб. І це те, що ми хочемо зробити з цим сімейством моделей: дати людям можливість покращити свою роботу», — повідомила компанія.

У Meta вважають, що AudioCraft можуть використовувати й професійні музиканти, розробники ігор та представники малого бізнесу, щоб створити аудіо до постів у соцмережах.

Прослухати готові записи можна на сайті AudioCraft, а вихідний код проєкту вже доступний на GitHub.

Зазначимо, що це далеко не перша подібна нейромережа. Пів року тому розробники Google створили MusicLM. Вона генерує музику на частоті 24 кГц, яка залишається незмінною протягом декількох хвилин.

Розробники «для підтримки майбутніх досліджень» опублікували набір даних, який складається з 5,5 тис. пар «музика-текст», тобто детальний опис + аудіофайл.

Читайте також: 

YouTube створює нейромережу для багатомовного дубляжу відео

Як тобі таке, Midjourney? Нейромережа-генератор відео за текстом GEN-2 стала загальнодоступною

Українська розробниця створила добірку нейромереж: кодять, виправляють баги, пишуть резюме та супровідні листи