Аннотация 2
Введение 5
1 Теоретические основы нейронных сетей 8
1.1 Определение нейронной сети 8
1.2 Применение нейронных сетей 9
1.3 Сбор данных для нейронных сетей 12
1.4 Обучение нейронных сетей 15
1.5 Функции активации 16
1.6 Ступенчатая функция (функция пороговой активации) 17
1.7 Сигмоидная функция 18
1.8 Линейная функция 20
1.9 Функция ReLU (линейный выпрямитель) 21
2 Параметрические функции активации 25
2.1. PReLU 25
2.2. Параметрический синтез нейромоделей на основе эволюционного подхода 27
2.3. Настройка параметрической оптимизации для одноконтурных автоматизированных систем 29
2.4. Задание коэффициентов ONC для решения задач параметрической оптимизации 32
2.5. Эволюционный метод параметрического синтеза модели нейронной сети с использованием априорной информации 37
2.8. Параметрический синтез управления стабилизацией методом градиента скорости 49
Заключение 53
Список используемой литературы 55
Купить

Первое упоминание о нейронных сетях произошло в 1940-х годах. Полагается, что теоретические основы нейронных сетей, как научного направления, были определены в работе У. Маккаллока и У. Питса в 1943 г. В ней говорилось, что любую арифметическую или логическую функцию можно осуществить с помощью простой нейронной сети.
В 1948 - Н. Виннер вместе с единомышленниками публикует работу о кибернетике, в которой сложные биологические процессы представлялись математическими моделями.
«В 1949 г. Д. Хэбб предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей, а также теоремы М. Минского и исследования им ряда типовых задач, в том числе, популярной задачи «Исключающего ИЛИ»» [31].
«В 1958 г. Ф. Розенблатт предложил нейронную сеть, названную персептроном, и построил первый нейрокомпьютер «Марк-1». Персептрон был предназначен для классификации объектов и получал на этапе обучения от «учителя» сообщение, к какому классу принадлежит предъявляемый объект. Обученный персептрон был способен классифицировать объекты, в том числе, не использовавшиеся при обучении, делая при этом очень мало ошибок» [38].
В 1960 г. Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу же начал использоваться для задач предсказания и адаптивного управления. В настоящее время Адалин (адаптивный сумматор) - стандартный элемент многих систем обработки сигналов.
В 1963 г. А. П. Петровым в Институте проблем передачи информации АН СССР, было проведено обширное исследование задач «сложных» для перцептрона.
В 1969 г. М. Минский опубликовал не отражающее существа дела доказательство ограниченности перцептрона и показал его неспособность решать некоторые задачи (задача «чётности» и «один в блоке»), связанные с инвариантностью представлений. После данной публикации интерес к нейронным сетям упал.
«В 1972 г. Т. Кохонен и Дж. Андерсон обособлено друг от друга предложили новый тип нейронных сетей, которые были готовы функционировать в качестве памяти» [21].
«В 1973 г. Б. В. Хакимов представил нелинейную модель с синапсами на основе сплайнов и запустил её для решения задач в медицине, геологии, экологии» [21].
«В 1974 г. Пол Дж. Вербос и А. И. Галушкин независимо друг от друга изобрели алгоритм обратного распространения ошибки для обучения многослойных перцептронов» [21].
«В 1975 г. - Фукусима представляет когнитрон - самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, достигающую за счёт запоминания фактически всех состояний образа» [21].
«В 1982 г. - после некоторого периода затишья, интерес к нейронным сетям снова возрастает. Дж. Хопфилд обнаружил, что нейронная сеть с обратными связями может являть собой систему, уменьшающую энергию (так называемая сеть Хопфилда). Кохоненом были показаны модели сети, обучающейся без учителя (нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных» [21].
«В 1985-1986 гг. теория нейронных сетей получила «технологический импульс», который был вызван возможностью моделирования нейронных сетей на появившихся в то время доступных и высокопроизводительных персональных компьютерах» [21].
В 2007г. Джеффри Хинтоном в университете Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей. Успех обусловлен тем, что Хинтон при обучении нижних слоев сети использовал ограниченную машину Больцмана (RBM — Restricted Boltzmann Machine).
В последнее время, открыты новые возможности нейронных сетей, а работы в этой области приносят огромный вклад в промышленность, науку, технологии, экономику и медицину и т.д.
Несмотря на многообразие научных публикаций, нерешенным остается ряд вопросов, относящихся к выбору функций активации, в том числе, использование параметрических функций активации в нейронных сетях, а также обучения нейронных сетей, что показывает актуальность проводимого мною исследования.
Цель работы - рассмотреть основные теоретические основы нейронных сетей и области их применения.
Объект исследования - параметрические функции активации в нейронных сетях.
Предмет исследования - применение параметрических функций активации в нейронных сетях.
Задачи исследования:
1. исследовать теоретические основы построения нейронных сетей.
2. изучить параметрические функции активации.
3. произвести сравнительный анализ параметрических функций активации с другими функциями активации.
Купить