Введение 4
1. Обзор предметной области 8
1.1. Метод представления и кодирования музыки 8
1.1.1. Метод представления 8
1.1.2. Метод кодирования 10
1.2. Статус исследования генерации музыки 11
1.3. Задача генерации музыки 14
1.3.1. Генерация мелодий 14
1.3.2. Гармоническая аранжировка 15
1.3.3. Перенос стиля 16
1.4. Классическая модель 17
1.4.1. Модель LSTM 17
1.4.2. Модель Transformer 19
1.4.3. Модель GAN 21
2. Классическая и усовершенствование модель 22
2.1. Классические модели 23
2.1.1. Генерация музыки на LSTM и Transformer .... 23
2.1.2. Генерация музыки на MuseGAN 27
2.2. Классическая модель и ее усовершенствование 29
2.2.1. Усовершенствованные модели LSTM 29
2.2.2. Усовершенствованные модели GAN 32
2.3. Субъективная оценка результатов 37
3. Заключение 42
Список литературы 44
Актуальность
С развитием компьютерных технологий и распространением электронных устройств музыка все чаще хранится в цифровом виде на компьютерах, а хранение, обработка, сочинение и производство музыки все больше зависят от компьютеров. Эта тенденция определила развитие музыкальных технологий и музыкального интеллекта. Если музыка - это искусство и культурная форма, используемая для выражения мыслей и чувств людей и социальных реалий, то генеративный искусственный интеллект - одна из самых революционных технологий нашего времени, меняющая способ нашего взаимодействия с машинами. Генерация музыки изучает идею о том, чтобы позволить компьютерам автоматически создавать музыку с помощью алгоритмов, что обеспечивает музыкальной индустрии более разнообразный спектр музыкальных произведений для удовлетворения потребностей различных аудиторий.
В последние годы глубокие нейронные сети [4] добились значительного прогресса и достигли замечательных результатов в генерации изображений и видео, а также текста [37]. Аналогичные попытки постепенно предпринимаются для применения их в задачах генерации музыки. С развитием методов глубокого обучения [5] применение методов глубокого обучения [25] для автоматического генерирования музыки стало актуальным направлением исследований. Методы глубокого обучения позволяют избежать большого количества ручных музыкальных характеристик, которые необходимо маркировать в традиционных алгоритмах машинного обучения, и стали основным подходом к автоматическому генерированию музыки, обусловленным текущими доступными музыкальными данными и хорошими возможностями моделирования. В настоящее время генерация музыки охватывает различные области, такие как генерация полифонической музыки [19], генерация аккомпанемента [34], преобразование стиля [22] и восстановление музыки [27].
Создание музыкального произведения - непростая задача, это не то, что может сделать один человек простым движением руки, скорее, композитору требуется много усилий и времени, чтобы тщательно разработать и создать музыкальное произведение с помощью человеческого труда...
Целью работы является исследование методов генерации фортепианной музыки с использованием нейронных сетей, таких как LSTM, Transformer и GAN, обучение нескольких моделей генерации фортепианной музыки и оценка их производительности. Кроме того, в данной работе оценивается субъективное качество сгенерированных музыкальных клипов с помощью анкеты для выбора лучшей модели генерации фортепианной музыки, а также разрабатывается и внедряется приложение для автоматической генерации музыки на основе этой модели.
Основные задачи данной работы заключаются в следующем:
Во-первых, мы собрали и подготовили данные, используемые для проведения экспериментов, выбрали три классические модели LSTM, GAN и Transformer, сгенерировали с помощью этих моделей однодорожечные и многодорожечные фрагменты фортепианной музыки, а также выбрали усовершенствованные модели LSTM и GAN для обучения генерированию фортепианной музыки длительностью около 2 мин.
Во-вторых, в данной работе объективно оцениваются три модели генерации музыки на основе нейронных сетей и субъективно оценивается качество сгенерированных музыкальных фрагментов для выбора лучшей модели генерации фортепианной символьной музыки, что доказывает эффективность и мастерство предложенного метода генерации фортепианной символьной музыки. Среди них, для анкетной части, мы выбрали музыкальные клипы, сгенерированные каждой из этих моделей, два клипа классической LSTM и Transformer с хорошим опытом прослушивания, два клипа GAN и по одному клипу продвинутой LSTM и GAN, чтобы провести анкетный опрос, сформировать результаты анкетирования и проанализировать их...
