Введение 4
1. Обзор предметной области 8
1.1. Метод представления и кодирования музыки 8
1.1.1. Метод представления 8
1.1.2. Метод кодирования 10
1.2. Статус исследования генерации музыки 11
1.3. Задача генерации музыки 14
1.3.1. Генерация мелодий 14
1.3.2. Гармоническая аранжировка 15
1.3.3. Перенос стиля 16
1.4. Классическая модель 17
1.4.1. Модель LSTM 17
1.4.2. Модель Transformer 19
1.4.3. Модель GAN 21
2. Классическая и усовершенствование модель 22
2.1. Классические модели 23
2.1.1. Генерация музыки на LSTM и Transformer .... 23
2.1.2. Генерация музыки на MuseGAN 27
2.2. Классическая модель и ее усовершенствование 29
2.2.1. Усовершенствованные модели LSTM 29
2.2.2. Усовершенствованные модели GAN 32
2.3. Субъективная оценка результатов 37
3. Заключение 42
Список литературы 44
С развитием компьютерных технологий и распространением электронных устройств музыка все чаще хранится в цифровом виде на компьютерах, а хранение, обработка, сочинение и производство музыки все больше зависят от компьютеров. Эта тенденция определила развитие музыкальных технологий и музыкального интеллекта. Если музыка - это искусство и культурная форма, используемая для выражения мыс-лей и чувств людей и социальных реалий, то генеративный искусственный интеллект - одна из самых революционных технологий нашего времени, меняющая способ нашего взаимодействия с машинами. Генерация музыки изучает идею о том, чтобы позволить компьютерам автоматически создавать музыку с помощью алгоритмов, что обеспечивает музыкальной индустрии более разнообразный спектр музыкальных произведений для удовлетворения потребностей различных аудиторий.
В последние годы глубокие нейронные сети [4] добились значительного прогресса и достигли замечательных результатов в генерации изображений и видео, а также текста [37]. Аналогичные попытки постепенно предпринимаются для применения их в задачах генерации музыки. С развитием методов глубокого обучения [5] применение методов глубо-кого обучения [25] для автоматического генерирования музыки стало актуальным направлением исследований. Методы глубокого обучения позволяют избежать большого количества ручных музыкальных характеристик, которые необходимо маркировать в традиционных алгоритмах машинного обучения, и стали основным подходом к автоматическому генерированию музыки, обусловленным текущими доступными музыкальными данными и хорошими возможностями моделирования. В настоящее время генерация музыки охватывает различные области, такие как генерация полифонической музыки [19], генерация аккомпанемента [34], преобразование стиля [22] и восстановление музыки [27].
Создание музыкального произведения - непростая задача, это не то, что может сделать один человек простым движением руки, скорее, композитору требуется много усилий и времени, чтобы тщательно разработать и создать музыкальное произведение с помощью человеческого труда.
С развитием технологий искусственного интеллекта генерация музыки стала одним из основных направлений исследований в области искусственного интеллекта. Использование нейронных сетей для гене-рации музыки позволяет автоматически генерировать музыку, снижая порог для сочинения треков без необходимости для создателя обладать большим количеством специальных знаний в области теории музыки; все, что требуется, - это четкое представление о том, чего он хочет, и компьютер может сам создать соответствующий трек. Это не только помогает музыкантам в их творческой работе, давая вдохновение и создавая уникальные музыкальные произведения, но и обеспечивает музыкальную индустрию более разнообразным ассортиментом музыкальных произведений, отвечающих потребностям различных аудиторий. В то же время технология генерации музыки может доставить любителям удовольствие от написания и сочинения песен. Генерация фортепианной музыки является одним из наиболее важных применений технологии генерации музыки и имеет широкое исследовательское и практическое значение.
Цель работы
Целью работы является исследование методов генерации фортепианной музыки с использованием нейронных сетей, таких как LSTM, Transformer и GAN, обучение нескольких моделей генерации фортепианной музыки и оценка их производительности. Кроме того, в данной работе оценивается субъективное качество сгенерированных музыкальных клипов с помощью анкеты для выбора лучшей модели генерации фортепианной музыки, а также разрабатывается и внедряется приложение для автоматической генерации музыки на основе этой модели.
Задачи работы
Для достижения цели необходимо:
1. Сбор и подготовка данных, используемых для проведения экспериментов, и их предварительная обработка.
2. Обучение моделей генерированию однодорожечных и многодорожечных музыкальных клипов для фортепиано и выбор оптимального клипа для каждой модели.
3. Разработка анкеты субъективной оценки для распространения среди целевой аудитории и анализ полученных результатов.
4. Разработать программу автоматической генерации музыки LSTM- композитор на основе лучшей модели генерации фортепианной музыки, описав структуру и функциональность программной системы.
Практическая значимость работы
В работе исследуются методы генерации фортепианной музыки с использованием нейронных сетей, таких как LSTM, Transformer и GAN, для обучения пяти моделей генерации фортепианной музыки, а также приводится открытый исходный код этих пяти моделей. Кроме того, в данной работе оценивается субъективное качество сгенерированных музыкальных фрагментов с помощью анкеты, приводится образец анкеты, выбирается лучшая модель генерации фортепианной музыки, разрабатывается и внедряется приложение для автоматической генерации музыки на основе этой модели для генерации фортепианных музыкальных произведений.
Выводы, сделанные в данной работе, имеют большое практическое значение. Во-первых, технология генерирования фортепианной музыки может обеспечить больше творческого вдохновения для авторов фортепианной музыки и больше учебных ресурсов и возможностей для практики для учащихся музыкальных школ, помогая им лучше овладеть знаниями и навыками теории музыки. Во-вторых, фортепианная музыка, как элегантный вид искусства, обладает успокаивающим эффектом и может принести людям внутренний покой и расслабление. Генерирование большего количества произведений классической музыки с помощью технологии генерации музыки может не только предоставить больше возможностей для любителей музыки оценить и научиться, но и позволить большему количеству людей найти эмоциональную поддержку и духовное утешение в прекрасном мире классической музыки. Кроме того, созданные фортепианные пьесы и отрывки могут быть использованы в области музыкального образования, музыкальной терапии и музыкальной композиции, расширяя спектр музыкальных приложений. Наконец, развитие технологии генерации музыки также при-несло новые бизнес-модели и возможности в музыкальную индустрию, способствуя дигитализации и интеллектуальному развитию музыкальной индустрии. Таким образом, результаты исследования, проведенного в данной работе, имеют большое практическое значение для развития музыкальной индустрии и продвижения классической музыки.
Целью работы является исследование методов генерации фортепианной музыки с использованием нейронных сетей, таких как LSTM, Transformer и GAN, обучение нескольких моделей генерации фортепианной музыки и оценка их производительности. Кроме того, в данной работе оценивается субъективное качество сгенерированных музыкальных клипов с помощью анкеты для выбора лучшей модели генерации фортепианной музыки, а также разрабатывается и внедряется приложение для автоматической генерации музыки на основе этой модели.
Основные задачи данной работы заключаются в следующем:
Во-первых, мы собрали и подготовили данные, используемые для проведения экспериментов, выбрали три классические модели LSTM, GAN и Transformer, сгенерировали с помощью этих моделей однодорожечные и многодорожечные фрагменты фортепианной музыки, а также выбрали усовершенствованные модели LSTM и GAN для обучения генерированию фортепианной музыки длительностью около 2 мин.
Во-вторых, в данной работе объективно оцениваются три модели генерации музыки на основе нейронных сетей и субъективно оценивается качество сгенерированных музыкальных фрагментов для выбора лучшей модели генерации фортепианной символьной музыки, что доказывает эффективность и мастерство предложенного метода генерации фортепианной символьной музыки. Среди них, для анкетной части, мы выбрали музыкальные клипы, сгенерированные каждой из этих моде-лей, два клипа классической LSTM и Transformer с хорошим опытом прослушивания, два клипа GAN и по одному клипу продвинутой LSTM и GAN, чтобы провести анкетный опрос, сформировать результаты анкетирования и проанализировать их.
Наконец, в данной работе разрабатывается и внедряется приложение для автоматической генерации музыки на основе лучшей модели генерации музыки фортепианной нотации. В части разработки программного обеспечения мы выбираем лучшую модель среди субъективных моделей и разрабатываем программное обеспечение для автоматической генерации музыки на основе машинного обучения LSTM- composer, предоставляя структуру и функции программной системы. Это может дать создателям и энтузиастам музыки больше вдохновения и творческих инструментов, имеет широкие перспективы применения и коммерческую ценность.
Таким образом, данное исследование имеет важное теоретическое и практическое значение для исследования и применения технологии генерации фортепианной музыки, а также предоставляет новые идеи и методы для развития технологии искусственного интеллекта в музыкальной индустрии.
Исходный код опубликован на платформе GitHub по ссылке https://github.com/wumetay/neural-networks-genenrate-music-tracks.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
