Тема: Применение машинного обучения для одномерного алгоритма глобальной оптимизации с локальной настройкой

Методы глобальной оптимизации впервые появились в связи с проблемами, связанными с логистикой персонала и управлением транспортировкой. Как правило проблемы формулировались в терминах поиска конфигурации с минимальной стоимостью при соблюдении всех ограничений [22]. В дальнейшем алгоритмы оптимизации стали применяться для решения задач и в других областях: инженерии, экономики и управления, математики. В большинстве случаев требуется найти именно одно оптимальное решение задачи, с чем стандартные локальные методы не справляются, так как целевая функция является многоэкстремальной. В этом случае применяются алгоритмы глобальной оптимизации, позволяющие найти экстремальное значение функции в области определения с учетом различных ограничений на значения переменных.
Многие многомерные задачи можно решить, используя редукцию - сведение сложных задач к более простым. Таким образом многомерные задачи сводятся к нескольким одномерным, которые решаются при помощи одномерных алгоритмов. Одномерные алгоритмы глобальной оптимизации позволяют решать многоэкстремальные задачи, исследуя отдельные факторы многомерных процессов, одномерные процессы и их характеристики. Также, одномерные задачи встречаются в областях электроники и электротехники [3].
Существует несколько классов алгоритмов глобальной оптимизации: стохастические, эвристические и детерминированные. Последний тип алгоритмов - детерминированные, позволяют решать задачи липшицевой глобальной оптимизации. Большой вклад в развитие этих алгоритмов внесли Я.Д. Сергеев и Д.Е. Квасов. Основным преимуществом данных алгоритмов является высокая скорость нахождения решения. Отдельный класс алгоритмов, позволяющий существенно ускорить поиск решения за счет учета локальной информации во всей допустимой области, а не только в окрестности точки глобального минимума, - алгоритмы липшицевой глобальной оптимизации с локальной настройкой [13, 14, 24].
Применение машинного обучения на сегодняшний день является достаточно распространенным в различных сферах человеческой деятельности. Наиболее часто машинное обучение применяется в маркетинге для анализа данных о пользователях платформы или магазина. Кроме этого, машинное обучение в области медицины позволяет наиболее точно диагностировать заболевание и подобрать индивидуальный план лечения, а в структурах контроля безопасности довольно распространены системы распознавания лиц [20].
Цель данной работы - разработка алгоритма глобальной оптимизации с локальной настройкой с применением машинного обучения. Для достижения поставленной цели были сформулированы следующие задачи:
1) провести обзор существующих методов решения задачи глобальной оптимизации;
2) реализовать алгоритм липшицевой глобальной оптимизации с локальной настройкой и оценить количество итераций, необходимых для глобальной минимизации тестовых задач;
3) разработать нейронную сеть для решения задачи глобальной оптимизации и внедрить ее в алгоритм с локальной настройкой;
4) провести вычислительные эксперименты и сравнить эффективность построенных алгоритмов на тестовых функциях.
Купить

В работе была рассмотрена возможность применения машинного обучения в одномерном алгоритме глобальной оптимизации с локальной настройкой. Были изучены алгоритмы глобальной оптимизации, выявлены их достоинства и недостатки. На основе проведенного анализа был выбран алгоритм липшицевой глобальной оптимизации с локальной настройкой, так как он является наиболее подходящим для решения одномерных задач глобальной оптимизации. Были определены набор функций для тестирования и критерий эффективности, заключающийся в количестве числа итераций для нахождения решения задачи.
Был реализован алгоритм липшицевой глобальной оптимизации с локальной настройкой и проведена оценка количества итераций, необходимых для нахождения глобального минимума тестовой функции f(x) на заданном интервале [а, Ь]. В дальнейшем эти данные будут являться ключевыми в определении качества разработанного алгоритма с нейронной сетью.
Была разработана модель нейронной сети, проанализированы признаки функции, которые могут быть использованы при обучении нейронной сети. В качестве функции активации использовалась функция ReLU. Поскольку решалась задача регрессии, была выбрана функция потерь MSE - средняя квадратическая ошибка, так как она является наиболее подходящей для такого типа задач.
Был разработан алгоритм липшицевой глобальной оптимизации с локальной настройкой с интегрированной в него нейронной сетью. Обученная сеть используется в алгоритме для расчета параметров этого алгоритма, таким образом, снижая количество итераций для нахождения оптимального решения.
Алгоритм был разработан на языке Python 3.6 в среде разработки Google Colab. Обучение нейронной сети алгоритма занимает около 20-ти секунд, а в режиме прогнозирования на все тестовые задачи приходится около 3-х секунд.
Алгоритм был протестирован на разных наборах данных: изменялись обучающая выборка, количество слоев, нейронов и эпох. В результате тестирования были подобраны лучшие параметры, при которых среднее количество итераций алгоритма было наименьшим. В результате экспериментальных вычислений было выявлено, что эффективность разработанного алгоритма на 36% лучше алгоритма глобальной оптимизации с локальной настройкой.
Таким образом все поставленные задачи были выполнены, цель работы достигнута.
Купить