Предсказание хаотической динамики методами машинного ОБУЧЕНИЯ

Введение 4
Цели и задачи работы 7
Алгоритмы машинного обучения 8
2.1. Регрессия метода опорных векторов (SVR) 9
2.2. Экстремальный градиентный бустинг (XGBoost) 11
Алгоритмы оптимизации параметров 13
3.1. Алгоритм кукушки 14
3.2. Алгоритм серых волков 15
3.3. Метод роя частиц 17
3.4. Алгоритм хаотической оптимизации 21
3.4.1. Реконструкция фазового пространства 21
3.4.2. Оптимизация параметров 22
3.5. Алгоритм Пауэлла 24
3.6. Алгоритм Джая-Пауэлла 25
3.7. Модификация алгоритма Пауэлла: GWO-Powell 26
Эксперименты 28
4.1. Система Лоренца 28
4.2. Хаос в модели лазеров 30
Результаты 32
Заключение 35
Список литературы 36
Программный пакет методов машинного обучения и алгоритмов оптими­зации параметров 39
Купить

Динамический подход к описанию различных систем известен со времен Ньютона. Он является основой анализа большинства классических явлений в физике и других естественных науках: сначала строится соответствующая математическая модель в ви­де динамических уравнений, а далее тем или иным способом изучаются их решения, которые можно сопоставить с данными экспериментов. Развитие этих идей, а также представление о том, что состояние модели в любой момент времени однозначно опре­деляется начальными условиями, привели исследователей к понятию динамической си­стемы.
Хотя динамическая система и является некоторой математической абстракцией, данная парадигма стала продуктивным инструментом при описании многих реальных явлений. Наибольший успех в этом направлении был получен академиком А. А. Анд­роновым в 30-е годы ХХ века, которым была создана строгая теория автоколебаний двумерных систем [1, 3]. Следующей целью исследователей стало изучению возмож­ности распространения этой теория на многомерные системы. Однако, несмотря на значительные открытия в данной области, до 60-х годов ХХ столетия не было понятно, насколько сложными могут быть движения в таких системах.
B 1963 г. американский метеоролог Э. Лоренц экспериментально показал прин­ципиальное существование предельного режима (аттрактора) нового типа в гладких многомерных динамических системах [32]. Полученный Лоренцем аттрактор внешне представляет собой сложную геометрическую форму. С точки зрения численного мо­делирования, малая неточность в начальных данных в таких аттракторах приводит к разбеганию траекторий во времени. Такие предельные режимы называются хаоти­ческими. Именно из-за чувствительности к выбору начальных данных предсказание хаотических траекторий существенно затруднено.
Хаотическое поведение наблюдается в самых разных системах — электрические схемы, лазеры, химические реакции, динамика жидкостей и магнитно-механических устройств, метеорология, движение спутников солнечной системы, динамика потенци­алов в нейронах и молекулярных колебаниях, и во многих других. В настоящее время теория хаоса активно применяется, например, в медицине при изучении эпилепсии для предсказаний приступов, учитывая первоначальное состояние организма.
Динамический хаос встречается во множестве прикладных систем — от моделиро­вания движения тектонических плит до изучения экономических процессов. Поэтому задача прогнозирования хаоса является крайне важной и актуальной. С другой сторо­ны, в связи с чувствительностью к выбору начальных данных, долгосрочное прогно­зирование в системах с хаотическим поведением становится сложной и нетривиальной задачей. Поэтому возможности традиционных методов исследования динамических си­стем, таких как, например, математическое моделирование, оказались сильно ограни­чены в исследовании хаоса.
Активное развитие машинного обучение с конца XX века дало толчок исследо­ванию хаотической динамики и позволило выработать новый подход к решению этой задачи. Методы машинного обучения хорошо подходят для предсказания хаотической динамики, так как это универсальные методы аппроксимации функций, которые могут отображать любую нелинейную функцию без априорных предположений о данных. С помощью статистических методов алгоритмы машинного обучения позволяют класси­фицировать данные, строить прогнозы и выделять важные особенности в работе раз­личных систем.
При этом критической проблемой в применении методов машинного обучения яв­ляется переобучение. Это связано с тем, что модель машинного обучения улавливает не только полезную информацию, содержащуюся во входных данных, но и нежела­тельный шум. Это приводит к низкому уровню обобщающей способности. Данные вне выборки — это те данные, которые не используются при обучении модели. И эффек­тивность методов с точки зрения обобщения для данных вне выборки всегда ниже, чем у обучающих данных. Таким образом, для достижения высокой точности предсказа­ния в каждой конкретной задаче важно определить оптимальные параметры модели машинного обучения. Для этой цели используются различные алгоритмы оптимизации параметров модели.
От эффективности оптимизации параметров модели машинного обучения зависит практическая применимость метода машинного обучения. Существуют различные ме­тоды оптимизации параметров. Мы рассмотрели такие популярные алгоритмы оптими­зации как алгоритм кукушки (CS) [11], алгоритм серых волков (GWO) [12], метод роя частиц (PSO) [4, 5], методы Пауэлла [2] и Джая-Пауэлла [18], алгоритм хаотической оп­тимизации (COA) [17], а также была разработана собственная модификацию алгоритма Пауэлла.
В данной работе мы проанализировали эффективность различных комбинаций ал­горитмов машинного обучения и методов оптимизации параметров для предсказания хаотической динамики системы Лоренца и хаоса в модели лазеров с насыщающимся поглотителем. Также был разработан программный пакет на языке Python, позволя­ющий комбинировать методы машинного обучения SVR и XGBoost с описанными и предложенным алгоритмами оптимизации параметров.
Купить