Статья, недавно появившаяся на сайте arXiv.org, подробно рассказывает о подходе, который использовали сотрудники Университета Ватерлоо (Канада), создавшие систему написание текстов песен, соответствующих стилю какого-то конкретного музыкального исполнителя. Известно, что для этого был использован вариационный автокодировщик с вложениями музыкантов, а также классификатор CNN, способный имитировать стиль артиста, благодаря изучению MEL-спектрограмм их музыкальных клипов.

Специалисты разработали систему, способную создать тексты песен, повторяющие стиль определенного артиста

Как рассказала ведущий автор исследования Ольга Вечтомова, мотивацию для такой необычной работы она почерпнула исходя из собственных интересов.

«Музыка — моя страсть, и мне было любопытно, может ли машина генерировать строки, которые бы звучали как тексты моих любимых музыкальных исполнителей», — говорит женщина.

Во время работы над моделями генерации текста ученые выяснили, что нейронные сети в некоторых случаях способны создать действительно впечатляющие строчки. После этого специалисты решили узнать, сможет ли система самостоятельно изучить стиль выбранного музыканта для того, чтобы создать текст, который звучал бы так, будто бы его написал данный исполнитель.

Сама система, созданная учеными, имеет в своей основе нейронную сеть, больше известную как вариационный автокодировщик. Именно эта сеть может самообучаться, восстанавливая оригинальные строки текста. Для того, чтобы получить возможность генерирования текстов в стиле определенного артиста, исследователи предоставили нейросети огромный каталог песен, выраженный с помощью действительных чисел. После этого специалисты интегрировали тексты каждого музыканта так, чтобы система получила возможность выявить определенный стиль артиста. Стоит отметить, что цель данного исследования заключалась в создании произведений, которые различались бы не только лирическим, но и музыкальным стилем.

«Система предназначена не для того, чтобы заменить музыкальных исполнителей, а для того, чтобы те могли использовать ее в качестве источника вдохновения в процессе написания песен. Это может быть аналогом синтезатора, который способен генерировать бесконечное количество звуков, из которого художник затем создает песню. Точно так же этот инструмент может генерировать бесконечное количество новых строк, которые художники могут использовать любым способом», — объясняет ученый.

Поделиться в социальных сетях