ВВЕДЕНИЕ 3
1. ПРИНЦИПЫ РАБОТЫ НЕЙРОННЫХ СЕТЕЙ 7
1.1 Биологические и искусственные нейроны 7
1.2 Активационные функции нейронных сетей 13
1.3 Правила обучения искусственных нейронных сетей 18
1.4. Явление переобучения искусственных нейронных сетей 24
2. МЕТОД ГЛАВНЫХ КОМПОНЕНТ 30
2.1 Постановка задачи. Базовые сведения 30
2.2 Геометрический смысл метода главных компонент 31
2.3 Анализ главных компонент: сингулярное разложение ковариационной матрицы 33
3. МЕТОДЫ РАСПОЗНАВАНИЯ ОБРАЗОВ 37
4. ПОНИЖЕНИЕ РАЗМЕРНОСТИ НЕЙРОСЕТЕВОЙ МОДЕЛИ ДЛЯ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ
ДИСКРЕТНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ 43
4.1 Прогнозирование солнечной активности 43
4.1.1 Проектирование трехслойной модели искусственной нейронной сети 43
4.1.2 Нейросеть с использованием дополнительного слоя 51
4.1.3 Нейросеть с использованием метода главных компонент 53
4.2 Прогнозирование аттрактора Лоренца 59
4.2.1 Проектирование трехслойной модели искусственной нейронной сети 59
4.2.2 Нейросеть с использованием дополнительного слоя 63
4.2.3 Нейросеть с использованием метода главных компонент 66
5. ПОНИЖЕНИЕ РАЗМЕРНОСТИ НЕЙРОСЕТЕВОЙ МОДЕЛИ ДЛЯ ЗАДАЧИ РАСПОЗНАВАНИЯ
РУКОПИСНЫХ ЦИФР ИЗ БАЗЫ ДАННЫХ MNIST 70
5.1 Проектирование трехслойной модели искусственной нейронной сети 70
5.2 Нейросеть с использованием дополнительного слоя, с использованием метода главных
компонент 74
ЗАКЛЮЧЕНИЕ 80
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 81
ПРИЛОЖЕНИЕ

Купить

За свою уже более чем полувековую историю, искусственные нейронные системы нашли огромное применение в разнообразных сферах человеческой деятельности. Нейронные сети используются для решения таких задач как прогнозирование, распознавание образов, классификация, сжатие данных, принятие решений. Этот перечень можно продолжить и далее. Широкое применение нейронных сетей, значительные ресурсы, вкладываемые в создание программного обеспечения и аппаратуры для реализации нейронных сетей, показывают, что имеется большая заинтересованность в разработке искусственных нейронных сетей. Актуальность прогнозирования в современных условиях достаточно высока. Качество прогноза может повлиять на принятие решения прикладных задач в различных сферах деятельности.
Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний план проблему поиска физических систем, способных к ее переработке. Решение этой комплексной задачи тесно связано с новыми информационными технологиями, важное место среди которых занимают методы распознавания и категоризации образов. Нейронные сети это мощный и на сегодня, пожалуй, наилучший метод для решения задач распознавания образов в ситуациях, когда в экспериментальных данных отсутствуют значительные фрагменты информации, а имеющаяся информация предельно зашумлена.
Многообразие предлагаемых алгоритмов, характеризующихся различной степенью детальности проработки, возможностями их параллельной реализации, а также наличием аппаратной реализации, приводит к особой актуальности исследования по сравнительным характеристикам различных методик.
Теория нейронных сетей возникла из исследований в области искусственного интеллекта, а именно из попыток воспроизвести способность нервных биологических систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга. Сегодня могут быть построены искусственные нейронные сети для решения таких задач, которые являются трудными как для компьютеров, построенных по традиционной схеме, так и для человека.
Искусственные нейронные сети основаны на модели биологической нервной системы. Каждый нейрон обладает многими качествами, общими с другими элементами организма человека, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга. Мозг, построенный из очень большого числа нейронов (каждый из которых принимает взвешенную сумму входных сигналов и при определенных условиях имеет возможность передавать сигнал дальше), способен решать чрезвычайно сложные задачи. Именно такую модель и стремятся реализовать искусственные нейронные сети.
Совершенно очевидно, что свою силу нейронные сети черпают из способности самообучаться, т.е. создавать обобщения. Эти свойства позволяют нейронным сетям решать сложные (масштабные) задачи, которые считаются трудноразрешимыми. Однако на практике при автономной работе нейронные сети не могут обеспечить готовые решения. Их необходимо интегрировать в сложные системы.
При работе с нейронными сетями возникает проблема с её переобучением - когда сеть хорошо распознает примеры из обучающего множества, но не приобретает свойство обобщения, то есть не распознает или плохо распознает любые другие примеры, кроме обучающих. При переобучении искусственная нейронная сеть переопределена. Чтобы система не была переопределена применяют различные методики, такие как метод главных компонент.
Метод главных компонент представляет собой один из основных способов уменьшить размерность данных, без существенных потерь ее информативности, состоящий в переходе к новому ортогональному базису, оси которого ориентированы по направлениям максимальной дисперсии объема выборки. Дисперсия максимальна вдоль первой оси нового базиса, вторая ось максимизирует дисперсию при условии ортогональности первой оси, и т.д., последняя ось имеет минимальную дисперсию из всех возможных. Преобразование, полученное таким методом, позволяет понижать информацию путем отбрасывания координат, соответствующих направлениям с минимальной дисперсией. Предполагается, что если нам надо отказаться от одного из базисных векторов, то лучше, если это будет тот вектор, вдоль которого набор входных данных меняется менее значительно.
В качестве объекта прогнозирования были использованы статистика среднемесячной солнечной активности и система Лоренца с классическими значениями параметров. Количественной характеристикой солнечной активности является число Вольфа, в работе используются данные за период с 1749 по 2013 годы. Также подобный метод был применен для задачи распознавания рукописных цифр на примерах из базы данных рукописных цифр MNIST.
Моделирование прогноза проводилось в среде MATLAB с помощью пакета Neural Networks Toolbox (инструменты нейронных сетей). В состав пакета Neural Networks входит более 150 различных функций, образуя собой своеобразный макроязык программирования и позволяя пользователю создавать, обучать и использовать самые различные нейронные сети. Он содержит средства для проектирования, моделирования, обучения и использования множества известных парадигм аппарата искусственных нейронных сетей, от базовых моделей персептрона до самых современных ассоциативных и самоорганизующихся сетей, что помогает пользователям развивать методы проектирования и расширять область применения нейронных сетей.
Целью данной работы является анализ возможности использования метода главных компонент для понижения размерности матриц весовых коэффициентов нейронной сети с целью устранения переобучения; а также проверка данного подхода на примере прогнозирования среднемесячного числа Вольфа, системы Лоренца и распознавания рукописных цифр.
Купить