Введение 4
Искусственный нейрон и его прототип — биологический нейрон 4
Виды активационных функций 6
Обучение искусственной нейронной сети 6
Виды искусственных нейронных сетей 7
Нейросеть адаптивного резонанса 7
Постановка задачи 9
Обзор литературы 10
1 Описание функционирования нейросети АРТ-1 12
1.1 Используемые обозначения 13
1.2 Латеральное торможение 14
1.3 Процесс распознавания 14
1.4 Обучение 15
1.5 Фаза поиска 16
2 Модифицированные алгоритмы обучения 17
2.1 Вещественная матрица запомненных векторов 17
2.2 Имитация локальной кратковременной памяти 20
3 Программная реализация, тестирование и анализ результатов 23
3.1 Особенности реализации 23
3.2 Графический пользовательский интерфейс 24
3.3 Сравнительное тестирование АРТ-1 и ее модификаций, ана­лиз результатов 25
3.3.1 Тестирование нейросетей АРТ-1.0 и АРТ-1.1 26
3.3.2 Тестирование нейросетей АРТ-1.0 и АРТ-1.2 26
3.3.3 Тестирование на неполных и зашумленных образах 28
3.3.4 Тестирование на изображениях из базы MNIST 29
Выводы 31
Заключение 33
Литература 34
Купить

Искусственный нейрон и его прототип — биологический нейрон
Искусственные нейронные сети являются перспективной областью для исследования. Они применяются во многих прикладных задачах: рас­познавание образов, аппроксимация, классификация и кластеризация, сжа­тие и архивация данных. Разработки в данной сфере ведутся крупны­ми российскими и зарубежными компаниями, такими как Yandex, Google, Nvidia [1]-[3].
Важным преимуществом искусственных нейросетей перед некоторы­ми другими применяемыми алгоритмами является то, что в них предусмот­рена возможность обучения. При правильном обучении нейросеть способна выявлять сложные зависимости между входной и запомненной информа­цией и производить обобщение, что напоминает мыслительные процессы человека. Поэтому искусственные нейронные сети также рассматривают­ся как один из способов моделирования искусственных интеллектуальных систем.
К преимуществам искусственных нейронных сетей можно отнести возможность распараллеливания алгоритма, что влечет за собой высокую производительность. Искусственные нейронные сети интересны также тем, что позволяют однотипно решать совершенно разные прикладные задачи, а сложный алгоритм работы нейросети строится из множества простых однотипных действий.
Искусственная нейронная сеть состоит из элементарных единиц — искусственных нейронов, принцип функционирования которых схож с их биологическим прототипом. Упрощенная структура двух взаимодейству­ющих биологических нейронов представлена на рис. 1 [4]. Электрохими­ческие импульсы идут по дендритам, принимаются нейронами в синапсах (точках соединения). В теле нейрона происходит их обработка: сигналы суммируются, причем одни могут возбудить нейрон, а другие — наоборот, уменьшить возбуждение. Когда суммарное возбуждение превышает некоторый порог, нейрон по аксону посылает нервный импульс к другим нейронам.
Рис. 1. Два взаимодействующих биологических нейрона.
Искусственные нейроны по принципу функционирования подобны биологическим нейронам. На вход искусственного нейрона (рис. 2) посту­пает некоторое множество сигналов x1, x2,..., xn. Каждый сигнал умножа­ется на соответствующий вес w1,w2,... ,wn и поступает на суммирующий блок. Затем выход этого блока NET проходит через активационную функ­цию, которая по-особому преобразует сигнал. Выход OUT активационной функции идет на вход другим нейронам.
Рис. 2. Искусственный нейрон [4].
Искусственные нейроны с одинаковыми множествами входов и одной активационной функцией могут быть объединены в нейронный слой. Вы­числения, производимые нейронным слоем, представимы в виде матрично­го умножения весовой матрицы, в строках которой записаны веса нейронов слоя, на входной вектор, общий для всех нейронов слоя, и применения к элементам полученного вектора активационной функции.
Виды активационных функций
При моделировании искусственных нейронных сетей применяется мно­жество различных активационных функций, рассмотрим некоторые из них [5].
• Линейная фунцкция: F(NET) = K • NET, K — некоторая постоянная.
• Пороговая функция:
F(NET) = { 1; если NET > T,
0, в противном случае,
T — некоторая постоянная.
Сигмоидальная логистическая функция: F(NET) =
• Сигмоидальная функция гиперболического тангенса: F (NET) =tanh(NET).
Обучение искусственной нейронной сети
Искусственные нейронные сети предусматривают возможность изме­нять свое поведение в ответ на изменение внешней среды, то есть обучаться. Во время обучения нейросеть самонастраивается для обеспечения требуе­мой реакции. Технически обучение — это изменение весов на входах ней­ронов (wi,W2, ■ ■ ■ ,wn на рис. 2). Обучение бывает двух видов: с учителем и без учителя [4].
Обучение с учителем предполагает наличие нескольких обучающих пар, состоящих из входного и целевого (ожидаемого) векторов. Входной вектор подается на вход нейросети, вычисляется выход, который сравни­вается с соответствующим целевым вектором. Разница, или ошибка, пода­ется в сеть, и веса нейронов изменяются по некоторому алгоритму, стремя­щемуся уменьшить ошибку. Обучение длится до тех пор, пока ошибка не достигнет допустимого уровня.
При обучении без учителя обучающее множество состоит только из входных векторов. В процессе обучения нейросеть выявляет сходные черты у экземпляров входного множества и объединяет их в классы. При предъ­явлении нейросети вектора, принадлежащего определенному классу, сеть выдает на выходе некоторый вектор, характеризующий данный класс.
Важное свойство большинства искусственных нейронных сетей — спо­собность к обобщению, то есть нечувствительность к незначительным из­менениям входных образов, шумам и искажениям входной информации [4]. Это свойство адаптироваться в условиях изменяющейся внешней среды де­лает нейросети эффективными при решении многих прикладных задач.
Виды искусственных нейронных сетей
Существует достаточно много различных нейросетей, отличающихся способами организации нейронов, алгоритмами обучения. Одной из более распространенных является, например, персептрон.
Простой персептрон состоит из одного слоя нейронов МакКаллока- Питса (рис. 2, про другие модели искусственных нейронов смотреть [6]) с пороговой активационной функцией:
< 1, если NET > 0,
F (NET) = <
I 0, в противном случае.
Многослойный персептрон состоит из выходного и как минимум одного внутреннего (скрытого) слоя. Обучение персептрона происходит с учите­лем и заключается в таком подборе весов нейронов сети, чтобы выходной вектор нейросети был наиболее близок к заданному, целевому вектору [6].
Нейросеть адаптивного резонанса
В данной работе рассматривается нейронная сеть адаптивной резо­нансной теории АРТ-1, разработанная американскими учеными Гейл Карпентер и Стивеном Гроссбергом в 1987 г. [7]. Ее преимущества перед дру­гими типами нейросетей в том, что АРТ-1 решает проблему стабильности- пластичности: сети АРТ-1 в процессе функционирования не изменяют и не разрушают результаты предшествующего обучения, а также существует возможность запоминания новых образов. Нейросеть АРТ-1 предназначе­на для решения задачи распознавания образов. Она работает с бинарными векторами и обучается без учителя.
Во время функционирования нейросети вход­ной вектор проходит через два критерия сходства. На первой стадии в памяти сети ищется запомнен­ный вектор (эталон), на который больше всего по­хож (значение этого слова будет раскрыто далее) распознаваемый образ. Второй критерий сходства определяет, достаточно ли похож входной вектор на найденный эталон. В случае положительного от­вета запомненный образ изменяется, или обучает­ся, иначе в памяти нейросети создается новая кате­гория для входного образа. Обучение происходит по правилу конъюнкции: вычисляется логическое пересечение элементов входного и запомненного векторов [4].
На основе классической модели нейросети АРТ-1, обладающей таки­ми важными свойствами как адаптивность, стабильность и пластичность, предлагались различные модифицированные алгоритмы как самими созда­телями, так и другими авторами [8]-[15]. Эти модификации направлены в основном на улучшение качества распознавания нейросети, повышение производительности, а также расширение области применимости.
Рассмотрим пример обучения сети АРТ-1 (рис. 3). Пусть на вход сети подается образ х, он больше всего похож на эталон t. В результате функ­ционирования в память записывается логическое пересечение образов х и t — образ t (жирным шрифтом выделены элементы, подлежащие изменению при обучении).
Купить