Введение 5
Постановка задачи 8
Обзор литературы 9
1. Многослойный персептрон 10
1.1. Искусственный нейрон 10
1.2. Архитектура многослойного персептрона 12
1.3. Геометрическая интерпретация 14
1.4. Задача обучения многослойного персептрона 16
1.5. Алгоритм обучения многослойного персептрона 18
1.6. Проблемы обучения сети 28
1.7. Проблемы выбора количества скрытых слоев и количества нейронов в
скрытом слое 33
2. Нейронная сеть линейной аппроксимации 37
2.1. Архитектура сети линейной аппроксимации 37
2.2. Обучение сети линейной аппроксимации 40
3. Вычислительный эксперимент 44
3.1. Задача аппроксимации функции двух переменных 44
3.2. Задача определения сортов вин 47
Заключение 51
Список литературы
Купить

С момента создания первых искусственных нейронных сетей они используются как для решения различных прикладных задач, так и для изучения возможных правил функционирования мозга. Нейронные сети успешно применяются в широком спектре приложений, таких как распознавание образов, прогнозирование, сжатие данных, задачи управления и другие. Одним из важных направлений практического использования искусственных нейронных сетей являются задачи прогнозирования. к задачам прогнозирования относятся задачи прогнозирования курса валют, прогнозирование курса ценных бумаг на фондовом рынке, прогнозирование цен на сырье и другие товары, задачи выявления страхового мошенничества и мошенничества при банкротствах, задачи определения свойств новых материалов по их структуре, прогнозирование нагрузок энергетических систем, предсказание платежеспособности кредиторов и состоятельности "start-up"проектов. Обобщая области применения искусственных нейронных сетей, можно утверждать, что искусственные нейронные сети могут применяться при решении любых задач для решения которых отсутствует адекватная математическая модель, в том числе недостаточно данных для эффективного применения статистических методов их анализа. Таким образом, применение искусственных нейронных сетей в задачах прогнозирования является актуальным.
Формально, задача обучения нейронной сети в задачах прогнозирования, формулируется как задача аппроксимации. Необходимо построить нейронную сеть (аппроксимирующую функцию), которая будет принимать совпадающие значения (с заданной точностью) не только на данных участвовавших в обучении (задача приближенной интерполяции), но и на данных контрольного множества не участвовавших в обучении. Задача распознавания образов также может быть формально поставлена как задача аппроксимации. В задачах аппроксимации используется обучение с учителем, то есть для каждого обучающего входного вектора имеется обучающий выходной вектор.
Для решения задач прогнозирования (аппроксимации) используются нейронные сети прямого распространения сигнала такие как многослойный персептрон, сети радиальных базисных функций, машины опорных векторов. Наиболее часто в задачах аппроксимации используется многослойный персептрон. При обучении многослойного персептрона, как правило, используется хорошо зарекомендовавший себя на практике метод обратного распространения ошибки. Этот метод используется для численного определения градиента целевой функции (суммы квадратов ошибок), что позволяет использовать для обучения сети направленные методы спуска, в том числе метод наискорейшего спуска. Использование такого подхода к обучению многослойного персептрона на практике показало высокую эффективность, однако имеются и существенные недостатки. Прежде всего, это возможность паралича обучения при попадании в локальный минимум целевой функции. Выход из локального минимума без существенного ухудшения значений целевой функции, что фактически означает обучение заново, в некоторых случаях затруднителен. Второй проблемой обучения многослойного персептрона с использованием любых направленных методов минимизации суммы квадратов ошибок является зависимость архитектуры сети от начальных данных. При малом количестве нейронов скрытого слоя персептрон невозможно обучить на данных обучающего множества, причем причина неудачи обучения не всегда ясна. В ряде случаев такой причиной может быть малое время обучения. При избыточном числе нейронов скрытого слоя возможно избыточное обучение, при котором сеть успешно обучается на данных обучающего множества, но показывает плохие результаты на данных контрольного множества. В этих случаях необходимо увеличение или уменьшение числа нейронов скрытого слоя, а затем обучение сети заново, что приводит к дополнительным временным затратам на обучение сети. Эти проблемы обучения многослойного персептрона делают актуальным разработку новых нейронных сетей прямого распространения обучающихся с учителем.
Наряду с многослойным персептроном в магистерской диссертации рассматривается двухслойная сеть линейной аппроксимации, которая обеспечивает разбиение входных обучающих данных n-мерными симплексами и их аппроксимацию гиперплоскостями на каждом симплексе. Обучение сети линейной аппроксимации происходит одновременно с формированием её структуры, когда в процессе обучения в сеть добавляются новые нейроны и изменяются веса связей остальных нейронов. Такой подход позволяет полностью решить проблему зависимости архитектуры сети от обучающих данных. Предложенный ранее последовательный метод обучения сети линейной аппроксимации показал хорошие результаты в сравнении с многослойным персептроном. Значительным недостатком сети линейной аппроксимации является существенно большее количество нейронов по сравнению с многослойным персептроном. Для сети линейной аппроксимации актуальна разработка более эффективных методов обучения, обеспечивающих функционирование сети с меньшим количеством нейронов. В настоящей работе предлагается пакетный метод обучения сети линейной аппроксимации, который показал лучшие результаты по сравнению с последовательным методом обучения.
Постановка задачи
Целью магистерской диссертации является совершенствование
алгоритмов обучения нейронных сетей для решения задач аппроксимации.
В работе ставятся следующие задачи:
1) формулирование основных проблем обучения многослойного персептрона и создание компьютерной модели многослойного персептрона, в которой реализованы имеющиеся методы;
2) разработка улучшенного метода обучения сети линейной аппроксимации, который обеспечит обучение нейронной сети с меньшим количеством нейронов;
3) реализация улучшенного метода обучения сети линейной аппроксимации;
4) проведение вычислительного эксперимента.

Купить