Использование искусственных нейронных сетей в задачах генерации музыки

Введение 4
Постановка задачи 8
Обзор литературы 9
Глава 1. Нейронные сети 11
1.1 LSTM 11
1.2 Генеративно-состязательные сети 13
Глава 2. Данные и их предобработка 16
2.1 Виды музыкальных данных 16
2.2 Выбранная база данных 17
2.3 Музыкальная теория 18
2.4 Предобработка данных 20
Глава 3. Разработка моделей 22
3.1 Генерация ноты 22
3.2 LSTM сеть 24
3.2.1 Данные и параметры 25
3.2.2 Архитектура сети 25
3.2.3 Описание алгоритма генерации 27
3.2.4 Обучение и анализ модели 28
3.3 Генеративно-состязательная сеть 32
3.3.1 Данные и параметры 32
3.3.2 Архитектура сети 33
3.3.3 Описание алгоритма обучения GAN 37
3.3.4 Обучение и анализ модели 38
3.4 Результаты 40
3.5 Выводы 42
Заключение 43
Список использованной литературы 44
Приложение А. Архитектура LSTM сети 46
Приложение Б. Архитектура генеративно-состязательной сети 47
Купить

Генерация музыки является одним из самых абстрактных видов творческой деятельности. В отличии от других типов произведений, музыку способен понять каждый человек, независимо от познаний об окружающем мире. Естественно восприятие мира отдельного человека несомненно влияет на то, как он понимает то или иное произведение. Кроме того, музыка может быть представлена в виде простого формата данных без большой потери основного содержания. Так издревле были придуманы ноты, с помощью которых удобно создавать и воспроизводить музыку. Несмотря на то, что музыку можно представить в виде некоторой модели, есть множество вопросов, на которые не были получены окончательные ответы. Например, “Почему некоторые последовательности нот воспринимаются как музыка, а другие нет”. В музыке можно выделить некоторые закономерности, интуитивно понятные людям, но тяжело формулируемые на математическом языке.
Выявлению и определению основных концепций написания музыки посвящены целые дисциплины такие, например, как теория музыки. Но что же нужно уметь машине, чтобы уметь сочинять музыку, похожую на ту, что пишет человек?
Чтобы сочинить произведение, воспринимаемое человеческим слухом как музыка, компьютер должен уметь выявлять и воссоздавать последовательную музыкальную структуру. Модель должна уметь улавливать ритм музыки, следить за гармонией, а также различать стили, в которых написаны мелодии. Помимо этого, современная музыка часто полифонична, то есть в музыке участвуют сразу несколько потоков нот, написанных для разных инструментов, которые могут объединяться и создавать диссонантные или же консонантные гармонии, объединяясь в некоторый оркестр.
Данная задача является комплексной, а правильно оценить полученные результаты ввиду специфики предметной области проблематично.
Тем не менее, задача автоматической генерации музыки привлекает множество исследователей. Так, с появлением методов машинного обучения, основанных на нейронных сетях, данная тема стала еще актуальней.
Методы глубокого обучения начали применяться к музыке только недавно, и качество результатов все еще сильно отстает от результатов в других областях применения нейронных сетей.
Такое отставание в создании музыки с помощью глубокого обучения может быть связано с многими факторами. Например, одним из таких факторов является то, что музыка в своем понимании - очень широкое понятие, граница между музыкальным творчеством и простым набором звуков очень тонка. Но все же она существует и поэтому для решения этой задачи активно применяются методы машинного обучения, известные своей способностью улавливать зависимости, которые не заметны большинству людей.
Основным отличием данной работы является сведение задачи генерации музыки к прогнозированию временных рядов. Также в данной работе будет представлена реализация архитектуры GAN, ставшей state-of-the-art решением в задачах генеративного обучения [1].
В первой главе представлены общие теоретические сведения по нейронным сетям, рассмотрены основные архитектуры нейронных сетей, которые будут использованы в последующих моделях.
Вторая глава посвящена подготовке данных: выбору базы данных, предобработке данных, а также существующим способам представления музыки. Также в этой главе приведены небольшие понятия касающиеся теории музыки.
В третьей главе представлены разработанные модели, принципы их выбора, ход исследования, а также сравнение полученных архитектур. Помимо этого, приводится анализ полученных решений.
В заключении подведены итоги проведенной работы.
Актуальность работы
Генерация музыки довольно интересная, полезная и актуальная задача. Так как музыка используется повсеместно, создание модели, способной генерировать музыку, будет востребовано как в коммерческих целях, так и в исследовательских.
Так, например, в игровой индустрии многим небольшим компаниям часто не хватает музыки, необходимой на этапах разработки проекта. Им приходится искать либо существующие мелодии в свободном доступе, либо обучаться созданию музыки с нуля. Так как для таких компаний нанять талантливого композитора будет дороже, чем купить лицензию программного обеспечения по генерации музыки, то они скорее всего, прибегнут ко второму варианту.
Помимо этого, разработка систем автоматической генерации музыки может стать интересной перспективой для изучения самого процесса сочинения мелодии человеком, также такие генераторы послужат некоторым способом оценки музыкальных произведений. При использовании генеративно-состязательных сетей помимо обученного генератора, разработчик получает и хорошо обученный дискриминатор, который можно использовать в различных целях, таких, например, как классификация жанра музыки, что является актуальной проблемой ввиду возрастающего числа жанров музыки и размывания границ между ними.
Более широкой перспективой является то что система генерации музыки способна помочь и людям-музыкантам на различных этапах создания музыки: сочинении, аранжировки, оркестровки, постановки и т. д. При сочинении мелодии, музыкант редко создает новую музыку с нуля. Обычно процесс написания музыки включает в себя процесс повторного воспроизведения или адаптации, сознательно или бессознательно, черт из различной музыки, которую автор уже знает или слышал, следуя при этом некоторым принципам и рекомендациям, таким как теория гармонии. Система генерации музыки может помогать музыканту на разных этапах композиции, инициировать, предлагать, дополнять вдохновение композитора.
Помимо этого, системы генерации музыки, основанные на искусственных нейронных сетях, обладают способностью запоминать и обобщать данные на которых они учатся, благодаря чему, можно создавать произведения в классическом стиле от знаменитых авторов, например, Баха.
Купить