Google зробив нейромережу, яка створює музику з тексту

Розробники Google створили новий штучний інтелект, який здатний генерувати музику на основі текстового опису.

Про це розробники написали на Github.com.

Розробники стверджують, MusicLM генерує музику на частоті 24 кГц, яка залишається незмінною протягом декількох хвилин.

Також вказано, що MusicLM перевершує попередні системи як за якістю генерованого звуку, так і за відповідністю текстовому опису.

Розробники «для підтримки майбутніх досліджень» опублікували набір даних, який складається з 5,5 тис. пар «музика-текст», тобто детальний опис + аудіофайл.

Крім того, розробники згенерували музику за описом картин Сальвадора Далі, Анрі Матіса та Едварда Мунка.

«Натхненна галюцинаціями, в яких Мунк відчув крик усієї природи, вона зображує охоплену панікою істоту, одночасно схожу на труп, сперматозоїд чи зародок, контури якого відбиваються місяцем в лініях криваво-червоного неба», – йдеться в описі.

А згенерована музика, напрочуд, навіть досить спокійна.

Функціонал для самостійної генерації музики по тексту, на жаль, поки що недоступний. Але з прикладами згенерованих мелодій можна ознайомитися за посиланням.

Зазначимо, раніше Highload писав, що в українському (і не тільки) інформаційному просторі набрала популярності китайська нейромережа Different Dimension Me, яка малює аніме-версії завантажених зображеннь.

Читайте також:

Нейромережа Stable Diffusion випустила масштабний апдейт

«Це завжди чорна скринька»: як тестувати нейромережі