Перечень принятых сокращений 4
Введение 5
Глава 1 Анализ способов решения поставленной задачи 7
1.1 Временные ряды. Фондовый рынок 7
1.2 Нейронная сеть 9
1.3 Анализ существующих решений 14
Глава 2 Генетический алгоритм и обучение нейронных сетей 18
2.1 Основные понятия генетического алгоритма 18
2.2 Операторы генетического алгоритма 21
2.2.1 Операторы генерации начальной популяции 22
2.2.2 Операторы оценки приспособленности 23
2.2.3 Операторы селекции 24
2.2.4 Операторы скрещивания 28
2.2.5 Операторы мутации 35
2.2.6 Операторы редукции 36
2.2.7 Операторы завершения алгоритма и выбора лучшей особи 38
2.3 Параллельный генетический алгоритм 38
2.4 Параметры генетического алгоритма 41
2.5 Обучение нейронной сети с помощью генетического алгоритма 42
2.6 Преимущества и недостатки генетического алгоритма 46
Глава 3 Реализация подсистемы обучения и тестирование программного
продукта 50
3.1 Программная реализация 50
3.1.1 Описание классов 50
3.1.2 Описание функций 53
3.2 Тестирование подсистемы обучения 55
3.3 Анализ влияния параметров ГА 56
3.4 Перспективы развития 60
Заключение 62
Список использованных источников 65
Приложение А. Результаты тестирования 67
Приложение Б. Листинги программы 72
Генетический алгоритм (ГА) - это эволюционный алгоритм поиска решений в задачах многокритериальной оптимизации. Задачи оптимизации широко распространены и используются в различных сферах жизни. Оптимизация сводится к поиску минимума или максимума целевой функции. Выделяют целый класс оптимизационных методов, большая часть которых основывается на градиентном методе. К недостаткам этих методов можно отнести плохую устойчивость к попаданию в точки локальных оптимумов. Для решения этой проблемы применяют генетический алгоритм.
Генетический алгоритм возник в результате наблюдения за процессами, происходящими в живой природе. Идею эволюционного алгоритма предложил Джон Холланд в конце 60-х годов ХХ века. В основе алгоритма лежат принципы естественного отбора, скрещивания и мутации. В настоящее время продолжается развитие генетического алгоритма и его адаптация к решению новых классов задач. Наиболее эффективное применение ГА находят в задачах многокритериальной оптимизации, распознавания образов, настройки и обучения нейронных сетей, аппроксимации функций и многих других. ГА отличается от других оптимизационных методов высокой устойчивостью к попаданию в локальные оптимумы, поиском решения из нескольких точек одновременно, использованием целевой функции без какой-либо дополнительной информации.
Одной из областей применения ГА является настройка и поддержка искусственных нейронных сетей (ИНС). Использование эволюционного подхода в обучении ИНС кажется логичным, поскольку ГА и ИНС произошли в результате наблюдения за процессами живой природы и имеют много общего. ИНС представляет собой множество нейронов и связей между ними, а совокупность всех составляющих моделирует искусственный интеллект. В настоящее время ИНС широко распространены, применяются в различных классах задач и бурно развиваются. Главной задачей является настройка архитектуры и оптимизация весов нейронной сети.
В данной работе предлагается провести исследование генетического алгоритма, как способа оптимизации в задачах обучения нейронных сетей. Целью данной диссертации является разработка подсистемы обучения нейронных сетей на основе генетического алгоритма.
В результате выполнения магистерской диссертации была разработана подсистема обучения нейронных сетей с использованием генетического алгоритма. На основании проведенных исследований можно утверждать, что генетический алгоритм является мощным инструментом в широком спектре задач. Наиболее частое применение ГА находят в следующих областях:
• Задачи оптимизации
• Настройка и обучение искусственных нейронных сетей
• Распознавание образов
• Аппроксимация функций
Применение генетического алгоритма в обучении нейронных сетей обосновывается его преимуществами по сравнению с другими оптимизационными методами:
• Поиск решений из множества точек
• Устойчивость к локальным оптимумам
• Параллелизм
• Универсальность
Стоит отметить гибкость алгоритма. Она заключается в настройке множества параметров, от которых зависит эффективность данного метода.
Вместе с нейронными сетями, генетические алгоритмы образуют целый класс нейроэволюционных алгоритмов. Основное назначение которых заключается в настройке и оптимизации нейронных сетей без участия оператора.
В результате выполнения работы были достигнуты следующие цели:
• Сформулированы понятия генетических алгоритмов, нейронных сетей и нейроэволюции
• Проведен обзор существующих способов обучения нейронных сетей с использованием генетических алгоритмов
• Предложены пути и способы решения поставленной задачи
• Был разработан эволюционный алгоритм обучения нейронных сетей
• Была разработана подсистема обучения нейронных сетей
• Разработаны и протестированы новые подходы в стратегии работы генетического алгоритма.
• Введено понятие метрики в обучении ИНС
• Проведен сравнительный анализ влияния параметров генетического алгоритма на его эффективность.
• Удалось успешно распараллелить алгоритм, что существенно повысило быстродействие всей системы.
• Проведен анализ результатов работы системы, преимуществ и недостатков разработанного алгоритма
• Приведены перспективы и пути развития.
• Удалось найти оптимальные параметры генетического алгоритма для настройки структуры и весов связей искусственной нейронной сети для достижения приемлемого результата.
Предметной областью магистерской диссертации являются генетические алгоритмы в обучении нейронных сетей.
Цель диссертационной работы состояла в разработке подсистемы обучения нейронных сетей с использованием генетических алгоритмов в рамках создания программного средства, выполняющего поведенческий анализ рынка форекс.
Поставленные в работе научные и практические задачи выполнены полностью. Был разработан генетический алгоритм, который позволяет настроить и обучить нейронные сети путём эволюции структуры и весовых коэффициентов. Также была разработана подсистема обучения нейронных сетей с использованием генетических алгоритмов в рамках создания программного средства, выполняющего поведенческий анализ рынка форекс.
Результаты работы приведены в приложении А.
