Введение 4
1. Конверсия из аудио в MIDI посредством NMF 8
1.1. Определение NMF 8
1.1.1. Проблемы применения NMF 8
1.1.2. Решение проблем 9
1.2. Метод базисной линии - ввод Решения 1 11
1.2.1.Оценка базисной матрицы из предварительного исполнения 11
1.2.2. Оценка векторов усиления для целевого исполнения 11
1.2.3 Создание MIDI сообщений определением порогового значения для усилений 12
1.3. Ввод Решения 2 13
1.3.1. Оценка базисной матрицы из первого предварительного исполнения . 14
1.3.2.Оценка векторов усиления для второго предварительного исполнения 14
1.3.3. Обучение нейронной сети 14
1.4.1. Оценка векторов усиления для целевого исполнения 15
1.4.2. Создание MIDI-сообщений на основе нейронных сетей 15
2. Интеграция MIDI-гитары и NMF 16
2.1. Описание метода интегрирования выходных данных MIDI-гитары 16
2.2. Действия по разделам 1.3.1. по 1.4.2 16
2.3. Интеграция с выходами MIDI-гитары 16
3. Экспериментальная работа 18
3.1. Описание эксперимента 18
3.2 Эксперименты 18
3.2.1. Эксперимент 1 - Использование нейронной сети 18
3.2.1.1. Результаты эксперимента 19
3.2.2. Эксперимент 2 - Интеграция 20
3.2.2.1. Результаты эксперимента 21
3.3. Анализ результатов экспериментов 23
Заключение 26
Список литературы 27
Приложение 29
MIDI-гитара-это новый инструмент, который пока ещё не обрёл большую популярность, хотя он и позволяет реализовать ранее невозможные задумки. В самом деле, при использовании этой технологии перед гитаристом открываются настоящие горизонты творчества. Новые грани гитарного исполнительства, которые еще совсем недавно казались утопией, воплотились в реальность.
MIDI-гитара, позволяющая выводить данные об исполнении музыкальной партии пользователем в формате MIDI в режиме реального времени, полезна для гитаристов при работе с музыкой, например, для MIDI ввода данных в компьютер или при импровизационной сессии. Её особенность в том, что она передает сигнал с каждой струны в отдельности, который впоследствии преобразовывается в сигнал МГОГГитарные синтезаторы основаны на том же принципе, что и клавишные синтезаторы, только в качестве источника событий здесь используются струны. Они требуют той же техники игры, но звук может быть, например, как у рояля или у саксофона.Тем не менее, точность MIDI-гитары не так высока, как точность MIDI-клавиатуры, потому что принцип работы MIDI-гитары состоит в том, что она обнаруживает вибрации струны путем анализа временных изменений магнитного поля вокруг струны.
Рисунок 1. МЮЗфайл гитарной партии
Было совершено много попыток в исследовании успешного транскрибирования музыкальной партии гитары (передачи аудио в символьный формат). В одном из таких экспериментов был модифицирован метод PreFEst (который оценивает фундаментальные частотымелодий и басовых линий в монофонических аудио сигналах), основанный на физических ограничениях при переборе на струнах.В принципе физические ограничения имели большую роль в этих исследованиях. Была построена система, которая транскрибирует исполнение музыкальной партии в гитарную табулатуру. Эта система оценивает не только ноты, которые воспроизвелись, но и то как эти ноты воспроизводятся (то есть так же номер струны и номер гитарного лада) через обработку аудио сигнала. Также рассматривались использование неотрицательной матричной факторизации (NMF) и аппаратное улучшение MIDI-гитары для точного транскрибирования исполнения гитарной партии. К тому же, были попытки улучшить производительность транскрибирования путём интегрирования обработки аудио-сигнала с компьютерным зрением.
Рисунок 2. MIDI гитара
Цель данной дипломной работы заключается в применении НМР(неотрицательной матричной факторизации) и нейросетей для повышения точности MIDI-гитары при производстве цифрового музыкального контента.
Для достижения поставленной цели были сформулированы следующие задачи:
1. Конверсия из аудио в МГО1посредством NMF
2. Интеграции MIDI-гитары и NMF.
3. Реализация методов.
4. Проведение экспериментов.
5. Оценка результативности методов.
В данной работе приоритет стоит на повышение точности MIDI-гитары путем её интеграции с технологиями обработки аудио сигнала (в частности методИМР). Почти все MIDI гитары имеют гнездо аудиовыхода для подключения к гитарномуусилителю, а также выход MIDI. Подключив это выходное гнездо к гнезду аудиовхода компьютера, аудио сигнал гитары может быть проанализирован. Путем передачи данныхMIDI гитары на этот компьютер, аудио и MIDI результатымогут быть интегрированы. Таким образом, ввод обработки звукового сигналана MIDI-гитары не требует никакого специальногооборудования или аппаратных улучшений. Метод данной курсовой не требует никакого дополнительного аппаратного усовершенствования. Использование компьютерноговидения представляет собой интересный подход, но он требует установки камеры, и это может ограничить движения гитариста. Использование физических ограничений в движении пальцев при игре - это так же часто используемый и перспективный подход, но в данном исследовании он не рассматривается столь же подробно. Однако, физические ограничения могут быть применены для дальнейшего совершенствования в будущем.
В результате выполнения дипломной работы было исследовано применение ИМРи нейросетей для повышения точности MIDI гитары, позволяющее увеличить точность игры на музыкальном инструменте, тем самым сохранив индивидуальность исполнения.
В процессе выполнениядипломной работы были решены следующие задачи:
1. Определены подходы к аудио-MIDI конверсии.
2. Изучена конверсия из аудио в МГО^осредством NMF.
3. Изучена интеграция MIDI-гитары и NMF.
4. Произведены эксперименты по работе.
5. Оценена результативность методов.
Экспериментальные результаты показали значительное улучшение в точности: F-оценка была 0,626 по сравнению с 0,377 только дляMIDI- гитары.Требуется повысить точность до как можно большего значения, чтобы обеспечить практическое использование MIDI-гитары. Идеей для дальнейшего улучшения может быть увеличение количества обучающих данных для нейронной сети (то есть для второго предварительного исполнения). Однако, увеличение этих данных приведет к большим усилиям гитариста и к увеличению времени, которое необходимо для обучения нейронной сети. Поэтому требуется найти разумный компромисс между временными затратами и итоговым результатом. Кроме того, нужно оценить задержку в выводе MIDI-сообщений, так как эта задержка является важным фактором в использовании MIDI-гитар как музыкальных инструментов.
