Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Математическая модель 6
1.1 Описание 6
1.2 Классический метод наискорейшего градиентного спуска 6
1.3 Регуляризованный метод наискорейшего спуска Иусема и Свайтера 7
Глава 2. Алгоритм 8
2.1 Алгоритм классического метода наискорейшего градиентного спуска 8
2.2 Алгоритм модифицированного регуляризованного градиентного спуска 8
Глава 3. Полученные результаты 9
3.1 Описание тестовых примеров 9
3.2 Программа, реализующая алгоритмы на языке Python 19
3.3 Результаты вычислений 20
Выводы 26
Заключение 27
Список литературы 28
ПРИЛОЖЕНИЕ А. GitHub репозиторий программы 30
При решении конкретной задачи оптимизации необходимо прежде всего выбрать математический метод, который приводил бы к конечным результатам с наименьшими затратами на вычисления или же давал возможность получить наибольший объем информации об искомом решении. Выбор того или иного метода в значительной степени определяется постановкой оптимальной задачи, а также используемой математической моделью объекта оптимизации.
Выбор наилучшего метода под задачу достаточно существенен. Для этого рассмотрим два градиентных метода и исследуем их на эффективность. Градиентные методы используются во многих алгоритмах, где требуется найти экстремум функции — нейронные сети, SVM, k-средних, регрессии.
В данной работе было рассмотрено два алгоритма; был проведен вычислительный эксперимент, включающий в себя численное сравнение двух алгоритмов. На большинстве функций классический метод сходился быстрее, чем регуляризованный. Стоит отметить, однако, что на нескольких функциях регуляризованный метод сошелся значительно быстрее, чем классический.
