Глава 1. Введение 3
Глава 2. Постановка задачи 4
2.1. Основные понятия музыки 5
2.2. Первичное представления музыкальной композиции .... 6
2.2.1 MIDI 6
2.2.2 Хронограммы 7
2.3. Инвариантность сдвига гармонии 8
2.4. Учитывание полного контекста при сегментации 9
Глава 3. Обзор литературы 10
3.1. Правила и эвристики 10
3.2. Графические модели и скрытые марковские процессы (HMM) 11
3.3. Машинное и глубокое обучение 11
Глава 4. Основная часть 13
4.1. Алгоритм CHORD 13
4.1.1 Предобработка данных 14
4.1.2 Этап оценки вероятности 15
4.1.3 Этап сегментации 17
4.2. Алгоритм CHORD* 19
4.3. Тонкости реализации 20
4.4. Интерпритация 20
4.5. Датасеты и валидация 22
4.6. JSBChorales 22
4.7. McGill Billboard 2.0 23
Глава 5. Приложения 23
Глава 6. Заключение 24
Список литературы 25
Музыка, как универсальный язык эмоций и идей, играет значительную роль в жизни современного общества. С развитием информационных технологий, взаимодействие человека с музыкой выходит за рамки простого прослушивания. Возникает потребность в интеллектуальных системах, способных анализировать, понимать и даже создавать музыку. Именно здесь на первый план выходит область Music Information Retrieval (MIR) [1], призванная извлекать знания из музыкальных данных.
Одной из ключевых задач MIR является выделение гармоний [3] - процесс определения последовательности аккордов, составляющих гармоническую основу музыкальной композиции. Знание гармонической структуры открывает широкие возможности для решения целого ряда прикладных задач: автоматическое создание аккомпанимента и аранжировок [2] , классификация музыкальных жанров [4] , поиск и ранжирования похожих композиций [5], анализ музыкального стиля и настроения. В настоящее время существует множество методов выделения гармоний, основанных на различных подходах - от классических алгоритмов обработки сигналов до современных методов машинного обучения.
Однако, ни одно из решений в себе не содержит в себе: инвариантность сдвига гармонии [7], учитывание полного контекста при сегментации и интерпретируемость.
В данной дипломной работе придуман и реализован новый алгоритм CHORD (Chord Harmony Optimized Recognition and Detection) и его улучшение CHORD*, основанный на итеративном подходе с использованием деревьев решений. Алгоритм CHORD нацелен на повышение точности выделения гармоний с помощью использования выше перечисленных свойств. Результатом алгоритма является эффективное разделение композиции на гармонические фрагменты и возможность адаптации к различным форматам музыкальных данных (MIDI, хронограммы).
Полезное и близкое к нашим исследованиям приложение алгоритма состоит в использовании выделенных гармоний для улучшения генерации и настройки музыки с помощью архитектуры Transformer [6].
Эксперименты показали, что наша модель активно соперничает и бьет метрики с текущими решениями. Оказалось, можно изящной идеей и классической моделью добиться хороших результатов.
Множество маленьких улучшений в самых разных частях алгоритма внезапно показали изменения метрик в положительную сторону. Данное наблюдение оставляет возможность продолжать работу и улучшать алгоритм.
Кодовая база находиться на github.
