Тема: Исследование параметрических функций активации в нейронных сетях

Первое упоминание о нейронных сетях произошло в 1940-х годах. Полагается, что теоретические основы нейронных сетей, как научного направления, были определены в работе У. Маккаллока и У. Питса в 1943 г. В ней говорилось, что любую арифметическую или логическую функцию можно осуществить с помощью простой нейронной сети.
В 1948 - Н. Виннер вместе с единомышленниками публикует работу о кибернетике, в которой сложные биологические процессы представлялись математическими моделями.
«В 1949 г. Д. Хэбб предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей, а также теоремы М. Минского и исследования им ряда типовых задач, в том числе, популярной задачи «Исключающего ИЛИ»» [31].
«В 1958 г. Ф. Розенблатт предложил нейронную сеть, названную персептроном, и построил первый нейрокомпьютер «Марк-1». Персептрон был предназначен для классификации объектов и получал на этапе обучения от «учителя» сообщение, к какому классу принадлежит предъявляемый объект. Обученный персептрон был способен классифицировать объекты, в том числе, не использовавшиеся при обучении, делая при этом очень мало ошибок» [38].
В 1960 г. Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу же начал использоваться для задач предсказания и адаптивного управления. В настоящее время Адалин (адаптивный сумматор) - стандартный элемент многих систем обработки сигналов.
В 1963 г. А. П. Петровым в Институте проблем передачи информации АН СССР, было проведено обширное исследование задач «сложных» для перцептрона.
В 1969 г. М. Минский опубликовал не отражающее существа дела доказательство ограниченности перцептрона и показал его неспособность решать некоторые задачи (задача «чётности» и «один в блоке»), связанные с инвариантностью представлений. После данной публикации интерес к нейронным сетям упал.
«В 1972 г. Т. Кохонен и Дж. Андерсон обособлено друг от друга предложили новый тип нейронных сетей, которые были готовы функционировать в качестве памяти» [21].
«В 1973 г. Б. В. Хакимов представил нелинейную модель с синапсами на основе сплайнов и запустил её для решения задач в медицине, геологии, экологии» [21].
«В 1974 г. Пол Дж. Вербос и А. И. Галушкин независимо друг от друга изобрели алгоритм обратного распространения ошибки для обучения многослойных перцептронов» [21].
«В 1975 г. - Фукусима представляет когнитрон - самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, достигающую за счёт запоминания фактически всех состояний образа» [21].
«В 1982 г. - после некоторого периода затишья, интерес к нейронным сетям снова возрастает. Дж. Хопфилд обнаружил, что нейронная сеть с обратными связями может являть собой систему, уменьшающую энергию (так называемая сеть Хопфилда). Кохоненом были показаны модели сети, обучающейся без учителя (нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных» [21].
«В 1985-1986 гг. теория нейронных сетей получила «технологический импульс», который был вызван возможностью моделирования нейронных сетей на появившихся в то время доступных и высокопроизводительных персональных компьютерах» [21].
В 2007г. Джеффри Хинтоном в университете Торонто созданы алгоритмы глубокого обучения многослойных нейронных сетей. Успех обусловлен тем, что Хинтон при обучении нижних слоев сети использовал ограниченную машину Больцмана (RBM — Restricted Boltzmann Machine).
В последнее время, открыты новые возможности нейронных сетей, а работы в этой области приносят огромный вклад в промышленность, науку, технологии, экономику и медицину и т.д.
Несмотря на многообразие научных публикаций, нерешенным остается ряд вопросов, относящихся к выбору функций активации, в том числе, использование параметрических функций активации в нейронных сетях, а также обучения нейронных сетей, что показывает актуальность проводимого мною исследования.
Цель работы - рассмотреть основные теоретические основы нейронных сетей и области их применения.
Объект исследования - параметрические функции активации в нейронных сетях.
Предмет исследования - применение параметрических функций активации в нейронных сетях.
Задачи исследования:
1. исследовать теоретические основы построения нейронных сетей.
2. изучить параметрические функции активации.
3. произвести сравнительный анализ параметрических функций активации с другими функциями активации.
Купить

В бакалаврской работе получены теоретические результаты, позволяющие выяснить основные преимущества и недостатки параметрической системы активации перед другими системами активаций.
Хотел бы добавить, что в последнее время нейронные сети развиваются с ошеломляющей скоростью, и также за ними и функции активации которых с каждым годом становится всё больше и больше, и одна из последних как раз исследуемая функция PReLU.
Подход к изучению нейронных сетей, а также методов как они получают данные, обрабатывают их для обучения показал, что с развитием данного направления, увеличивается и спектр, их применения, от обычного обрабатывания фотографии или построения простейшего математического графика, до более масштабного, как воссоздание с минимальными данными структур или сложных вычислений таких, как, вычисления квантовой физики.
Модели, основанные на нейронных сетях, могут быть успешно использованы для решения задач практически в любом направлении и разнообразии. В ходе исследования полученные результаты доказывают эффективность этих моделей по сравнению с ранее использовавшимися решениями.
Сравнивая на один взгляд похожих функций активации, а именно (ReLU и PReLU) показал, крайние эффективность второй, а именно, c его добавлением количество сетевых параметров немного увеличилось: общее количество новых параметров для каждого уровня и равно только количеству каналов для этого уровня, и это позволяет ей работать намного стабильнее, также данный метод позволяет обучать модели очень глубокой коррекции с нуля и изучать более глубокие или более широкие сетевые архитектуры. И ещё одно преимущество, что данный метод может обуть более глубокому, без практически дополнительных трат на ресурс системы.
И помимо достигнутой изначальной цели исследования, были также получены новые данные о эффективности использования PReLU представлений на регуляризацию моделей. Полученные результаты могут быть использованы при выборе подхода к разработке новых функций активации или при выборе существующей модели представлений для решения задач обработки естественного языка.
Купить