Google представила нейромережу для генерації музики за текстовими запитами та зображеннями

Корпорація Google представила генеративну нейромережу MusicLM, яка здатна створювати музику за текстовим описом та зображеннями. Доступ до неї поки що відкривати не будуть. Новинка навчена на 280 тисяч годин музики та може створювати треки в будь-яких жанрах. Також нейромережа враховуватиме нюанси опису. Наприклад, їй можна задати трек, який може викликати відчуття перебування в космосі або основний саундтрек аркадної гри.

Нейросеть може ґрунтуватися на що існує мелодіях, які користувач наспівує, награє або насвистує. Крім того, система прийматиме кілька послідовно написаних описів, щоб створити довгий трек. Крім цього, завдання для MusicLM можна поставити, комбінуючи зображення та підписи до нього, встановити рівень досвіду віртуального музиканта або згенерувати звук певного інструменту.

Нарешті, система може створювати вокальні партії, але часто не є повноцінними текстами, а лише подобою. Раніше повідомлялося про систему Riffusion, яка може створювати музику на основі зображень. Сама Riffusion базується на Stable Diffusion, але при цьому використовує зображення як основу для звукових спектрограм.