Модель, которая автоматически извлекает сэмплы ударных для музыкальных треков.

Вычислительные модели на основе машинного обучения успешно применяются для решения широкого круга сложных задач обработки информации, в том числе для извлечения определенных элементов данных из больших архивов. Исследователи Sony Computer Science Laboratories (CSL) во Франции пытались разработать методы машинного обучения, которые могли бы помочь музыкальным продюсерам легко идентифицировать и извлекать определенные аудиосэмплы из базы данных.

С этой целью Стефан Латтнер, исследователь Sony CSL, недавно представил SampleMatch, модель на основе машинного обучения, которая может автоматически извлекать образцы ударных, соответствующие определенной музыкальной дорожке, из больших архивов. Его модель должна быть представлена ​​в декабре на конференции ISMIR 2022, ведущем мероприятии, посвященном поиску музыкальной информации.

«Наша музыкальная команда в Sony CSL работает над искусственным интеллектом, который может облегчить жизнь музыкальных продюсеров», — сказал TechXplore Стефан Латтнер, один из исследователей, проводивших исследование. «В музыкальном производстве есть много задач, для которых ИИ может быть полезен. Одной из таких задач, которая в настоящее время является относительно утомительной, является выбор барабанных сэмплов».

Выбор барабанных сэмплов — это процесс, в ходе которого музыкальные продюсеры должны искать барабанные сэмплы, которые будут хорошо работать с конкретными музыкальными треками без барабанов. Поскольку библиотеки барабанных сэмплов обычно большие, определение подходящих барабанных сэмплов может занять очень много времени и энергии.

В настоящее время музыкальные продюсеры имеют доступ только к нескольким элементарным вычислительным инструментам, предназначенным для помощи в процессах выбора барабанных сэмплов. В первую очередь это фильтрация большого набора данных по тегам или ключевым словам.

Несколько лет назад Латтнер приступил к разработке новой системы, которая могла бы извлекать барабанные сэмплы более интуитивным и эффективным способом. Однако из-за ограничений технологий, доступных в то время, эта система должна была быть относительно сложной.

«Я обнаружил, что система, которую я ранее создал, была не очень элегантной, поэтому я не стал ее публиковать», — объяснил Латтнер. «С недавними достижениями в контрастном обучении (и улучшениями в кодировщиках нейронных сетей) стало намного проще оценить, совпадают ли две точки данных вместе. В результате система стала более общей, и мой метод можно было использовать для оценки подходит для многих видов звуков».

При использовании SampleMatch музыканты могут вводить свой трек в свою систему на любом этапе производства. Затем система автоматически сортирует библиотеку сэмплов ударных на основе того, что, по ее расчетам, лучше всего подходит для нее.

Латтнер обучил SampleMatch, используя большой набор данных из 4830 треков электронной музыки и 885 известных поп- и рок-треков. В частности, он использовал звуковые пары инструментальной музыки (например, синтетические основы, бас, гитара, пэд, струнные, хор, клавишные и вокал) и соответствующие барабанные партии.

«SampleMatch был обучен на аудиопарах, которые, как мы знали, будут совпадать», — сказал Латтнер. «Теперь, когда мы показываем модели новую пару, она дает «оценку совпадения». Хотя уже существуют системы, которые сопоставляют аудиосэмплы с использованием извлеченных музыкальных признаков, качество их извлечения зависит от предварительно определенных функций и типа сэмплов.Для сэмплов ударных даже неясно, на какие функции мы должны смотреть, чтобы вычислить оценку сопоставления. “

Хотя Латтнер обучал свою модель узнавать, какие сэмплы ударных соответствуют определенному треку, ее также можно было использовать для других форм сопоставления звука. Фактически, используя разные пары обучающих образцов, SampleMatch можно научить извлекать совпадающие басовые, гитарные или другие инструментальные треки.

«Некоторые эстетические решения, которые музыкант использует при создании музыки, до сих пор остаются загадкой». — сказал Латтнер. «Хотя очевидно, что инструмент не должен играть фальшиво с барабанными сэмплами, нет никакой теории, почему некоторые из них подходят для вашего трека, а некоторые нет. Показывая примеры, компьютер теперь может изучить эстетические принципы, которые мы применяем, когда В некотором роде компьютер учится слушать, как человек».

В будущем модель поиска аудио, созданная Латтнером и его коллегами из Sony CSL, может помочь музыкальным продюсерам в поиске подходящих сэмплов ударных или других инструментальных сэмплов для своих треков. Кроме того, тщательный анализ того, как система научилась организовывать данные, может помочь в разработке новых теорий, которые могли бы направить усилия по созданию музыки. В частности, обратный инжиниринг системы может позволить исследователям наметить некоторые общие правила, которым должны следовать музыканты при микшировании своей музыки.

«В наших будущих работах мы хотим объединить этот метод с нашей технологией DrumGAN для создания сэмплов ударных, которые напрямую соответствуют заданному треку», — добавил Латтнер. «В то же время мы также хотим расширить SampleMatch на другие типы образцов».

© 2022 Наука Х Сеть