Введение
1 Постановка задачи
1.1 Обнаружение аномалий как область анализа данных....................7
1.2 Методы машинного обучения
1.3 Модельный подход в анализе маневров судна
2 Математическое моделирование и численные методы обнаружения
аномалий
2.1 Построение признакового пространства входных данных.........34
2.2 Метод изолирующего леса
2.3 Матричный формализм для решения задачи идентификации ...44
3 Программная реализация и вычислительный эксперимент.............49
3.1 Архитектура и логика работы программных компонент.............49
3.2 Валидация программного обеспечения
3.3 Вычислительный эксперимент
3.3.1 Обнаружение аномалий маневрирования
3.3.2 Обнаружение аномалий потребления топлива ..........................58
Выводы
Заключение
Список литературы и источников
Приложение A. Формат входных данных
Приложение B. Интерфейс программы Полифит
В настоящее время морская область переходит к этапу цифровой
трансформации [12]. Появляются и внедряются системы интернета вещей
(Internet of Things, IoT), больших данных (Big Data), машинного обучения.
На современном судне установлено большое количество датчиков, ведущих
непрерывную запись показателей функционирования его различных подсистем.
В случае организации сбора и хранения подобной информации открываются
возможности применения интеллектуальных систем анализа данных.
Установленные на судне датчики могут генерировать числовые данные
с интервалами, варьирующимися от десяти секунд для данных телеметрии
до одной минуты для навигационных параметров. Учитывая большой объем
получаемой информации, становится очевидной необходимость развития
автоматических систем анализа и обработки данных.
Внедрение подобных автоматических систем поддержки принятия решения
в морской области в основном направлено на две группы задач. К первой
относятся вопросы повышения безопасности судовождения, анализа
и предупреждения опасных маневров, обнаружения нештатных режимов
движения судна. Ко второй группе следует отнести экономические эффекты
от оптимизации режимов потребления топлива, прогнозирование возможных
поломок. Особенностью последней задачи является то, что момент обнаружения
поломки не всегда соответствует еѐ возникновению, то есть поломка может быть
обнаружена не вовремя, и разность во времени между возникновением проблемы
и еѐ обнаружением может достигать нескольких недель. Решение указанных задач
требует как развития инфраструктуры по сбору и хранению данных, так и
разработки новых алгоритмических подходов анализа данных.
Обнаружение аномалий в данных было изучено в статистическом
сообществе уже в XIX веке [40]; со временем в нескольких исследовательских
группах были разработаны методы обнаружения аномалий, часть из которых4
имела узкие области применения [13, 60], в то время как прочие подходы были
междисциплинарными [31, 32, 54].
Обнаружение аномалий (Anomaly Detection) относится к проблеме поиска
образцов данных, которые не соответствуют определенному понятию
нормального поведения и называются аномалиями, выбросами, противоречивыми
наблюдениями, исключениями, особенностями или загрязнениями в разных
областях применения. Задачи обнаружения аномалий не имеют единой
формулировки и часто интерпретируются различным образом в зависимости
от поставленной цели и характера данных [19, 45]. Важность обнаружения
аномалий обусловлена тем фактом, что они преобразуются в значительную, часто
критически важную информацию с использованием в разных областях
применения. Становится актуальной необходимость разработки методов,
способных на основе анализа поведения процесса прогнозировать возникновение
нештатных ситуаций в динамических системах.
Обнаружение новизны в данных (Novelty Detection) является другой
проблемой, связанной с детектированием аномалий и направленной
на обнаружение ранее не наблюдаемых шаблонов в данных, которые в отличие
от выбросов (Outlier Detection), обычно включаются в нормальную модель
после их обнаружения [71].
Целью работы является разработка методов поиска аномалий в сенсорных
данных, а также исследование свойств и апробация алгоритмов на задаче анализа
движения морских судов.
Для достижения указанной цели необходимо решить ряд задач.
1. Выявление актуальных направлений в области прогнозирования
аномальных событий применительно к анализу движения морских судов.
2. Построение математической модели обнаружения аномалий
маневрирования и потребления топлива для морских судов.
3. Реализация программного инструментария для обработки и анализа данных
на основе построенной математической модели.5
4. Проведение вычислительного эксперимента на основе сенсорных данных
с морских судов и анализ полученных результатов.
Методы исследования в данной работе основываются на фундаментальных
положениях интеллектуального анализа данных, теории временных рядов
и теории машинного обучения. Объектом исследования являются методы
теории интеллектуального анализа данных. Предметом исследования являются
модели, методы и алгоритмы автоматического обнаружения и прогнозирования
аномалий в сенсорных данных. Научная новизна исследования заключается
в решении актуальной задачи обнаружения и прогнозирования аномалий в сенсорных данных.
Публикации. Основные результаты исследования отражены в двух статьях
в изданиях, рекомендованных ВАК РФ; опубликованы 1 работа в издании,
индексируемом Scopus, и 1 работа в сборнике конференции, индексируемой
в РИНЦ. Также получено свидетельство о регистрации программы на ЭВМ
«Полифит: полиномиальная нейронная сеть».
Структура и содержание работы. Выпускная квалификационная работа
состоит из введения, трех глав, выводов, заключения, списка литературных
источников из 89 наименований и двух приложений. Общий объем работы
составляет 78 страниц.
Во введении отражена актуальность рассматриваемых проблем, приводятся
формулировки цели и задач исследования, представлено описание структуры
работы. Первая глава посвящена теоретическому описанию задачи поиска
аномалий как проблемы интеллектуального анализа данных. Представлен обзор
численных методов, применяемых в данной предметной области. Вторая глава
отражает построение математической модели предметной области: формализован
алгоритм изолирующего леса, использованный в качестве основного метода
поиска аномалий, представлена модель прогнозирования потребления топлива,
построенная на основе полиномиальных нейронных сетей. В третье главе
рассматривается реализованный программный инструментарий обработки
и анализа данных на основе построенной математической модели, приведены6
результаты тестирования предложенного численного метода на хорошо
изученных модельных задачах. В заключении приведены основные
теоретические и практические результаты, выносимые на защиту выпускной
квалификационной работы, указаны направления дальнейшего развития
исследования. Формат входных данных и интерфейс программы Полифит
представлены в приложениях.
В выпускной квалификационной работе аспиранта проведено исследование
в области выявления аномалий маневрирования и потребления топлива
на примере анализа данных движения морских судов. В рамках исследования
продемонстрировано применение методов изолирующего леса и полиномиальных
нейронных сетей для задач обнаружения аномалий маневрирования морских
судов. Также построена и протестирована модель прогнозирования потребления
топлива на основе навигационных данных. Стандартная реализация алгоритма
изолирующего леса взята из библиотеки scikit-learn и модифицирована с учетом
требований предварительной фильтрации входных данных. Алгоритмы на основе
полиномиальных нейронных сетей реализованы автором в виде библиотеки
на основе вычислительной платфорсы TensorFlow.
Приведенные математические выкладки построения математической
модели предоставляют строгий аппарат для построения и исследования
полиномиальных нейронных сетей, задаваемых матричным преобразованием Ли.
Полученные в работе результаты демонстрируют возможность применения
рассмотренной нейронной сети в качестве модели машинного обучения
для решения задач восстановления регрессии, а также приближенной оценки
общего решения систем обыкновенных дифференциальных уравнений.
Дальнейшим развитием рассмотренного подхода являются его обобщение
на теорию дифференциальных уравнений в частных производных и уравнения
с запаздыванием, а также развитие специализированных эффективных методов
обучения полиномиальных нейронных сетей. Также важной является
необходимость теоретических оценок точности и сходимости рассмотренного
подхода. Идентификация систем, описываемых уравнениями в частных
производных, может вестись на основе внедрения аппарата дифференциальной
алгебры. Уравнения с запаздыванием потенциально могут моделироваться
рекуррентными нейронными сетями.
Таким образом, в данной работе были получены следующие результаты.
1. Проведена обработка полученных сенсорных данных для повышения
устойчивости работы алгоритмов поиска аномалий и масштабирования на разные типы судов.
2. Разработана математическая модель обнаружения аномалий
маневрирования и потребления топлива для морских судов.
3. На основе построенной математической модели реализован программный инструментарий.
4. Проведена апробация методов на примере решения задачи идентификации
маневрирования судна.
В работе определен ряд трудностей, возникающих в процессе применения
алгоритмов, приведены варианты их решения и возможные пути дальнейшего
развития подходов. Реализация этих методов позволит в будущем перейти
как к задачам анализа больших данных, собираемых с судов, так и к внедрению
подобных алгоритмов непосредственно на борту судна с целью уменьшения
передаваемого объема информации
Помощь студентам и аспирантам в выполнении работ от наших партнеров
