ПРЕДСКАЗАНИЕ ХАОТИЧЕСКОЙ ДИНАМИКИ МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ

Введение 4
Цели и задачи работы 7
Алгоритмы машинного обучения 8
2.1. Регрессия метода опорных векторов (SVR) 9
2.2. Экстремальный градиентный бустинг (XGBoost) 11
Алгоритмы оптимизации параметров 13
3.1. Алгоритм кукушки 14
3.2. Алгоритм серых волков 15
3.3. Метод роя частиц 17
3.4. Алгоритм хаотической оптимизации 21
3.4.1. Реконструкция фазового пространства 21
3.4.2. Оптимизация параметров 22
3.5. Алгоритм Пауэлла 24
3.6. Алгоритм Джая-Пауэлла 25
3.7. Модификация алгоритма Пауэлла: GWO-Powell 26
Эксперименты 28
4.1. Система Лоренца 28
4.2. Хаос в модели лазеров 30
Результаты 32
Заключение 35
Список литературы 36
Программный пакет методов машинного обучения и алгоритмов оптимизации параметров 39

Купить

Динамический подход к описанию различных систем известен со времен Ньютона. Он является основой анализа большинства классических явлений в физике и других естественных науках: сначала строится соответствующая математическая модель в виде динамических уравнений, а далее тем или иным способом изучаются их решения, которые можно сопоставить с данными экспериментов. Развитие этих идей, а также представление о том, что состояние модели в любой момент времени однозначно определяется начальными условиями, привели исследователей к понятию динамической системы.
Хотя динамическая система и является некоторой математической абстракцией, данная парадигма стала продуктивным инструментом при описании многих реальных явлений. Наибольший успех в этом направлении был получен академиком А. А. Андроновым в 30-е годы ХХ века, которым была создана строгая теория автоколебаний двумерных систем [1, 3]. Следующей целью исследователей стало изучению возможности распространения этой теория на многомерные системы. Однако, несмотря на значительные открытия в данной области, до 60-х годов ХХ столетия не было понятно, насколько сложными могут быть движения в таких системах.
B 1963 г. американский метеоролог Э. Лоренц экспериментально показал принципиальное существование предельного режима (аттрактора) нового типа в гладких многомерных динамических системах [32]. Полученный Лоренцем аттрактор внешне представляет собой сложную геометрическую форму. С точки зрения численного моделирования, малая неточность в начальных данных в таких аттракторах приводит к разбеганию траекторий во времени. Такие предельные режимы называются хаотическими. Именно из-за чувствительности к выбору начальных данных предсказание хаотических траекторий существенно затруднено.
Хаотическое поведение наблюдается в самых разных системах — электрические схемы, лазеры, химические реакции, динамика жидкостей и магнитно-механических устройств, метеорология, движение спутников солнечной системы, динамика потенциалов в нейронах и молекулярных колебаниях, и во многих других. В настоящее время теория хаоса активно применяется, например, в медицине при изучении эпилепсии для предсказаний приступов, учитывая первоначальное состояние организма.
Динамический хаос встречается во множестве прикладных систем — от моделирования движения тектонических плит до изучения экономических процессов. Поэтому задача прогнозирования хаоса является крайне важной и актуальной. С другой стороны, в связи с чувствительностью к выбору начальных данных, долгосрочное прогнозирование в системах с хаотическим поведением становится сложной и нетривиальной задачей. Поэтому возможности традиционных методов исследования динамических систем, таких как, например, математическое моделирование, оказались сильно ограничены в исследовании хаоса.
Активное развитие машинного обучение с конца XX века дало толчок исследованию хаотической динамики и позволило выработать новый подход к решению этой задачи. Методы машинного обучения хорошо подходят для предсказания хаотической динамики, так как это универсальные методы аппроксимации функций, которые могут отображать любую нелинейную функцию без априорных предположений о данных. С помощью статистических методов алгоритмы машинного обучения позволяют классифицировать данные, строить прогнозы и выделять важные особенности в работе различных систем.
При этом критической проблемой в применении методов машинного обучения является переобучение. Это связано с тем, что модель машинного обучения улавливает не только полезную информацию, содержащуюся во входных данных, но и нежелательный шум. Это приводит к низкому уровню обобщающей способности. Данные вне выборки — это те данные, которые не используются при обучении модели. И эффективность методов с точки зрения обобщения для данных вне выборки всегда ниже, чем у обучающих данных. Таким образом, для достижения высокой точности предсказания в каждой конкретной задаче важно определить оптимальные параметры модели машинного обучения. Для этой цели используются различные алгоритмы оптимизации параметров модели.
От эффективности оптимизации параметров модели машинного обучения зависит практическая применимость метода машинного обучения. Существуют различные методы оптимизации параметров. Мы рассмотрели такие популярные алгоритмы оптимизации как алгоритм кукушки (CS) [11], алгоритм серых волков (GWO) [12], метод роя частиц (PSO) [4, 5], методы Пауэлла [2] и Джая-Пауэлла [18], алгоритм хаотической оптимизации (COA) [17], а также была разработана собственная модификацию алгоритма Пауэлла.
В данной работе мы проанализировали эффективность различных комбинаций алгоритмов машинного обучения и методов оптимизации параметров для предсказания хаотической динамики системы Лоренца и хаоса в модели лазеров с насыщающимся поглотителем. Также был разработан программный пакет на языке Python, позволяющий комбинировать методы машинного обучения SVR и XGBoost с описанными и предложенным алгоритмами оптимизации параметров.
Цели и задачи работы
Первой целью данной работы является исследование и развитие существующих алгоритмов машинного обучения и методов оптимизации параметров.
Второй целью является создание программного пакета на языке Python для комбинирования изученных и разработанных методов и применения их к различным системам.
Третьей целью является применение полученных методов для предсказания хаоса в системе Лоренца и в модели лазеров с насыщающимся поглотителем. Исходя из результатов экспериментов проанализируем эффективность, точность и обобщающую способность методов.
Для достижения поставленной цели необходимо было решить следующие задачи:
1. Изучить методы машинного обучения: регрессия опорных векторов и экстремальный градиентный бустинг
2. Изучить и реализовать некоторые известные алгоритмы оптимизации параметров
3. Разработать и реализовать модификацию алгоритма Пауэлла
4. Применить комбинации изученных методов машинного обучения и алгоритмов оптимизации параметров к системе Лоренца
5. Проанализировать эффективности и точность моделей машинного обучения для системы Лоренца
6. Применить полученные комбинации методов для предсказания хаотической динамики в модели лазеров с насыщающимся поглотителем
7. Проанализировать обобщающую способность полученных моделей машинного обучения в сравнении с результатами экспериментов для системы Лоренца

Купить