✔В Google представили нейросеть, которая создает музыку по текстовому описанию - «Новости мира Интернет»

01 февраля 2023 348 Новости 0

Нейросеть может сгенерировать композицию в 24 кГц и в любом жанре, улавливая даже незначительные нюансы в аннотации. Это хорошо показано на примерах, где по запросам модель должна была создать «основой саундтрек аркадной игры» с «запоминающимся гитарным рифом», или же «слияние реггетона и электронной танцевальной музыки с космическим звучанием». В качестве задания даже можно представить описание картины, напев или же насвистывание мелодии.

Пример текстового описания картины, которое легло в основу аудио. Изображение: MusicLM

MusicLM также может объединить несколько аннотаций и сгенерировать по ним «музыкальную историю», где один фрагмент плавно перетекает в другой. Также нейросеть может учитывать уровень музыканта: как пишет Rozetked, по запросам «начинающий пианист» и «пианист-виртуоз» результаты выходят совершенно разные.

На данном этапе модель слабо справляется с генерацией вокала – синтезированная речь пока у нее выходит неразборчивой. Также ряд композиций звучат довольно странно, у них наблюдается заметно искаженное качество. Вдобавок, компания Google пока не готова представить разработку в общий доступ в связи с рисками, связанными с авторскими правами и возможными исками по ним.

Цитирование статьи, картинки - фото скриншот - Rambler News Service.

Иллюстрация к статье - Яндекс. Картинки.

Есть вопросы. Напишите нам.

Общие правила поведения на сайте.

Разработчики Google Research создали нейросеть MusicLM, генерирующую музыку в любом жанре по текстовому описанию. Модель обучали на 280 тысячах часов записи, информация о ней и примеры работ представлены на странице MusicLM . Нейросеть может сгенерировать композицию в 24 кГц и в любом жанре, улавливая даже незначительные нюансы в аннотации. Это хорошо показано на примерах, где по запросам модель должна была создать «основой саундтрек аркадной игры» с «запоминающимся гитарным рифом», или же «слияние реггетона и электронной танцевальной музыки с космическим звучанием». В качестве задания даже можно представить описание картины, напев или же насвистывание мелодии. Пример текстового описания картины, которое легло в основу аудио. Изображение: MusicLM MusicLM также может объединить несколько аннотаций и сгенерировать по ним «музыкальную историю», где один фрагмент плавно перетекает в другой. Также нейросеть может учитывать уровень музыканта: как пишет Rozetked, по запросам «начинающий пианист» и «пианист-виртуоз» результаты выходят совершенно разные. На данном этапе модель слабо справляется с генерацией вокала – синтезированная речь пока у нее выходит неразборчивой. Также ряд композиций звучат довольно странно, у них наблюдается заметно искаженное качество. Вдобавок, компания Google пока не готова представить разработку в общий доступ в связи с рисками, связанными с авторскими правами и возможными исками по ним.