Исходный код уже на GitHub: Meta запустила нейросеть для создания музыки
Компания Meta выпустила нейросеть AudioCraft – это генератор музыки, в котором работает сразу три модели искусственного интеллекта.
Этой новостью Meta поделилась у себя в блоге.
🎵 Сегодня мы делимся подробностями о AudioCraft, семействе генеративных моделей искусственного интеллекта, которые позволяют легко создавать высококачественные аудио и музыку из текста. https://t.co/04XAq4rlap pic.twitter.com/JreMIBGbTF
— Meta Newsroom (@MetaNewsroom) 2 августа 2023 г.
AudioCraft состоит из трех моделей: MusicGen, AudioGen и EnCodec
- MusicGen – генерирует музыку на основе текстовых данных пользователей;
- AudioGen создает звуки окружающей среды и звуковые эффекты, включая лай собак, гудки авто или шаги по деревянному полу;
- EnCodec редактирует звуковые дорожки.
Кроме того, за счет открытого исходного кода разработчики могут улучшать нейросеть и обучать ее дальше.
«Люди могут легко расширить наши модели и адаптировать их к своим случаям для исследования. Есть почти безграничные возможности, когда вы предоставляете людям доступ к моделям, чтобы настроить их в соответствии со своими потребностями. И это то, что мы хотим сделать с этим семейством моделей: дать людям возможность улучшить свою работу», – сообщила Компания.
В Meta считают, что AudioCraft могут использовать и профессиональные музыканты, разработчики игр и представители малого бизнеса, чтобы создать аудио к постам в соцсетях.
Прослушать готовые записи можно на сайте AudioCraft, а исходный код проекта уже доступен на GitHub .
Отметим, что это далеко не первая подобная нейросеть. Полгода назад разработчики Google создали MusicLM. Она генерирует музыку на частоте 24 кГц, которая остается постоянной в течение нескольких минут.
Разработчики «для поддержки будущих исследований» опубликовали набор данных, состоящий из 5,5 тыс. пар «музыка-текст», то есть подробное описание + аудиофайл.
Читайте также:
YouTube создает нейросеть для многоязычного дубляжа видео
Как тебе, Midjourney? Нейросеть-генератор видео по тексту GEN-2 стала общедоступной
Сообщить об опечатке
Текст, который будет отправлен нашим редакторам: