Введение 4
Искусственный нейрон и его прототип — биологический нейрон 4
Виды активационных функций 6
Обучение искусственной нейронной сети 6
Виды искусственных нейронных сетей 7
Нейросеть адаптивного резонанса 7
Постановка задачи 9
Обзор литературы 10
1 Описание функционирования нейросети АРТ-1 12
1.1 Используемые обозначения 13
1.2 Латеральное торможение 14
1.3 Процесс распознавания 14
1.4 Обучение 15
1.5 Фаза поиска 16
2 Модифицированные алгоритмы обучения 17
2.1 Вещественная матрица запомненных векторов 17
2.2 Имитация локальной кратковременной памяти 20
3 Программная реализация, тестирование и анализ результа- 
тов
3.1 Особенности реализации 23
3.2 Графический пользовательский интерфейс 24
3.3 Сравнительное тестирование АРТ-1 и ее модификаций, ана¬лиз результатов 25
3.3.1 Тестирование нейросетей АРТ-1.0 и АРТ-1.1 26
3.3.2 Тестирование нейросетей АРТ-1.0 и АРТ-1.2 26
3.3.3 Тестирование на неполных и зашумленных образах . 28
3.3.4 Тестирование на изображениях из базы MNIST .... 29
Выводы 31
Заключение 33
Купить

Искусственный нейрон и его прототип — биологический нейрон
Искусственные нейронные сети являются перспективной областью для исследования. Они применяются во многих прикладных задачах: рас-познавание образов, аппроксимация, классификация и кластеризация, сжа-тие и архивация данных. Разработки в данной сфере ведутся крупны¬ми российскими и зарубежными компаниями, такими как Yandex, Google, Nvidia [1]-[3].
Важным преимуществом искусственных нейросетей перед некоторы-ми другими применяемыми алгоритмами является то, что в них предусмот-рена возможность обучения. При правильном обучении нейросеть способна выявлять сложные зависимости между входной и запомненной информа¬цией и производить обобщение, что напоминает мыслительные процессы человека. Поэтому искусственные нейронные сети также рассматривают¬ся как один из способов моделирования искусственных интеллектуальных систем.
К преимуществам искусственных нейронных сетей можно отнести возможность распараллеливания алгоритма, что влечет за собой высокую производительность. Искусственные нейронные сети интересны также тем, что позволяют однотипно решать совершенно разные прикладные задачи, а сложный алгоритм работы нейросети строится из множества простых однотипных действий.
Искусственная нейронная сеть состоит из элементарных единиц — искусственных нейронов, принцип функционирования которых схож с их биологическим прототипом. Упрощенная структура двух взаимодейству-ющих биологических нейронов представлена на рис. 1 [4]. Электрохими-ческие импульсы идут по дендритам, принимаются нейронами в синапсах (точках соединения). В теле нейрона происходит их обработка: сигналы суммируются, причем одни могут возбудить нейрон, а другие — наобо-

Рис. 1. Два взаимодействующих биологических нейрона.

рот, уменьшить возбуждение. Когда суммарное возбуждение превышает некоторый порог, нейрон по аксону посылает нервный импульс к другим нейронам.
Искусственные нейроны по принципу функционирования подобны биологическим нейронам. На вход искусственного нейрона (рис. 2) посту-пает некоторое множество сигналов xi, x2,..., xn. Каждый сигнал умножа¬ется на соответствующий вес w1,w2,... ,wn и поступает на суммирующий блок. Затем выход этого блока NET проходит через активационную функ¬цию, которая по-особому преобразует сигнал. Выход OUT активационной функции идет на вход другим нейронам.

Рис. 2. Искусственный нейрон [4].

Искусственные нейроны с одинаковыми множествами входов и одной активационной функцией могут быть объединены в нейронный слой. Вы-числения, производимые нейронным слоем, представимы в виде матрично-го умножения весовой матрицы, в строках которой записаны веса нейронов слоя, на входной вектор, общий для всех нейронов слоя, и применения к элементам полученного вектора активационной функции. 
Виды активационных функций
При моделировании искусственных нейронных сетей применяется мно-жество различных активационных функций, рассмотрим некоторые из них [5].
• Линейная фунцкция: F(NET) = K • NET, K — некоторая постоянная.
• Пороговая функция:
1; если NET > T,
0, в противном случае,
T — некоторая постоянная.
Сигмоидальная логистическая функция: F(NET) =
• Сигмоидальная функция гиперболического тангенса: F (NET) =tanh(NET).
Обучение искусственной нейронной сети
Искусственные нейронные сети предусматривают возможность изме¬нять свое поведение в ответ на изменение внешней среды, то есть обучаться. Во время обучения нейросеть самонастраивается для обеспечения требуе¬мой реакции. Технически обучение — это изменение весов на входах ней¬ронов (w1,w2,... ,wn на рис. 2). Обучение бывает двух видов: с учителем и без учителя [4].
Обучение с учителем предполагает наличие нескольких обучающих пар, состоящих из входного и целевого (ожидаемого) векторов. Входной вектор подается на вход нейросети, вычисляется выход, который сравни¬вается с соответствующим целевым вектором. Разница, или ошибка, пода¬ется в сеть, и веса нейронов изменяются по некоторому алгоритму, стремя¬щемуся уменьшить ошибку. Обучение длится до тех пор, пока ошибка не достигнет допустимого уровня.
При обучении без учителя обучающее множество состоит только из входных векторов. В процессе обучения нейросеть выявляет сходные черты у экземпляров входного множества и объединяет их в классы. При предъ-явлении нейросети вектора, принадлежащего определенному классу, сеть выдает на выходе некоторый вектор, характеризующий данный класс.
Важное свойство большинства искусственных нейронных сетей — спо-собность к обобщению, то есть нечувствительность к незначительным из-менениям входных образов, шумам и искажениям входной информации [4]. Это свойство адаптироваться в условиях изменяющейся внешней среды де¬лает нейросети эффективными при решении многих прикладных задач.
Виды искусственных нейронных сетей
Существует достаточно много различных нейросетей, отличающихся способами организации нейронов, алгоритмами обучения. Одной из более распространенных является, например, персептрон.
Простой персептрон состоит из одного слоя нейронов МакКаллока- Питса (рис. 2, про другие модели искусственных нейронов смотреть [6]) с пороговой активационной функцией:
< 1, если NET > 0,
F (NET) = <
I 0, в противном случае.
Многослойный персептрон состоит из выходного и как минимум одного внутреннего (скрытого) слоя. Обучение персептрона происходит с учите¬лем и заключается в таком подборе весов нейронов сети, чтобы выходной вектор нейросети был наиболее близок к заданному, целевому вектору [6].
Нейросеть адаптивного резонанса
В данной работе рассматривается нейронная сеть адаптивной резо-нансной теории АРТ-1, разработанная американскими учеными Гейл Кар¬
пентер и Стивеном Гроссбергом в 1987 г. [7]. Ее преимущества перед дру¬гими типами нейросетей в том, что АРТ-1 решает проблему стабильности- пластичности: сети АРТ-1 в процессе функционирования не изменяют и не разрушают результаты предшествующего обучения, а также существует возможность запоминания новых образов. Нейросеть АРТ-1 предназначе¬на для решения задачи распознавания образов. Она работает с бинарными векторами и обучается без учителя.
х t t
1 0 0
0 1 0
1 1 1
1 1 1
1 1 1
Во время функционирования нейросети вход¬ной вектор проходит через два критерия сходства. На первой стадии в памяти сети ищется запомнен¬ный вектор (эталон), на который больше всего по¬хож (значение этого слова будет раскрыто далее) распознаваемый образ. Второй критерий сходства определяет, достаточно ли похож входной вектор на найденный эталон. В случае положительного от¬вета запомненный образ изменяется, или обучает¬ся, иначе в памяти нейросети создается новая кате¬гория для входного образа. Обучение происходит
по правилу конъюнкции: вычисляется логическое пересечение элементов входного и запомненного векторов [4].
На основе классической модели нейросети АРТ-1, обладающей таки¬ми важными свойствами как адаптивность, стабильность и пластичность, предлагались различные модифицированные алгоритмы как самими созда-телями, так и другими авторами [8]-[15]. Эти модификации направлены в основном на улучшение качества распознавания нейросети, повышение производительности, а также расширение области применимости.
Рассмотрим пример обучения сети АРТ-1 (рис. 3). Пусть на вход сети подается образ х, он больше всего похож на эталон t. В результате функ-ционирования в память записывается логическое пересечение образов х и t — образ t (жирным шрифтом выделены элементы, подлежащие изменению при обучении).
Постановка задачи
В некоторых случаях в задаче распознавания образов классическая сеть АРТ-1 может оказаться неэффективной. Ее обучение необратимо, что означает возможную потерю данных вследствие правила обучения, наблю¬дается эффект деградации классов с их последующим размножением [16]. Это влечет за собой также значительно увеличивающееся время работы.
Рассмотрим наглядный пример. Незаполненные векторы долговре-менной памяти состоят из единиц. Пусть c — вектор, хранящийся в долго-временной памяти сети (изначально пустой), на вход сети подается вектор x, t — вектор, полученный после обучения. Для наглядности векторы пред-ставлены в виде матриц.
(1111)
1111
1111
V 1 1 1 (00 1 0)
0 11 0
0 0 1 0
(00 1 0) (00 1 0)
0 11 0
0 0 1 0
(00 1 0)
c x t
/0 0 1 0 /0 0 1 0 /0 0 1 0
0 11 0 0 0 1 0 0 0 1 0
0 0 1 0 0 0 1 0 0 0 1 0
(0 0 1 0 0 1 0) (00 1 0)
1. c
x
t

Теперь образ, хранящийся в сети, является неполным. Таким обра¬зом, информация, хранящаяся в памяти сети, может быть потеряна из-за последовательного предъявления незначительно измененных образов.
Задача данной научно-исследовательской работы — разработка моди-фицированных алгоритмов обучения для нейросети адаптивной резонанс¬ной теории АРТ-1, направленных на уменьшение эффекта деградации и размножения классов, а также сравнительное тестирование классической и модифицированных нейросетей и анализ результатов. Выборка образов для тестирования должна включать в себя экземпляры, проверяющие стой¬кость нейросети к зашумленным, искаженным и неполным в разной степе¬ни данным. Эффективность типа true-positive, скорость, а также количе¬ство запомненных образов (меньшее количество говорит о большей способ¬ности нейросети к обобщению) будут являться критериями оценки качества введенных модификаций.
Обзор литературы
При написании данной дипломной работы были использованы учеб¬ная, научная и научно-популярная литература, статьи в периодических из¬даниях Российской Федерации и других стран, а также публикации на ин-формационном портале eLIBRARY.ru.
Основными источниками, раскрывающими принципы функциониро-вания искусственных нейронных сетей, явились специализированные науч¬ные и научно-популярные издания отечественных и зарубежных авторов: Хайкин С. — «Нейронные сети. Полный курс» [5], Осовский С. — «Нейрон¬ные сети для обработки информации» [6]. В книге Круглова В. В., Борисо¬ва В. В. «Искусственные нейронные сети. Теория и практика» [17] в основ¬ном внимание уделено программным оболочкам-имитаторам искусствен¬ных нейронных сетей, но в ней можно найти краткий обзор достаточно большого числа различных видов нейросетей. Хочется отдельно отметить издание Уоссермана Ф. «Нейрокомпьютерная техника: теория и практи¬ка» [4], в котором можно найти достаточно подробные и доступные сведе¬ния по данной тематике, оно могло бы быть полезно как людям, только начинающим работать в данной области, так и специалистам. Актуаль¬ность исследования искусственных нейронных сетей и их применимость рассмотрены на примере компаний Yandex [1], Google [2] и Nvidia [3].
При работе с искусственной нейронной сетью адаптивной резонанс¬ной теории были использованы, кроме перечисленных работ, оригиналь¬ные статьи авторов данной нейросети Карпентер Г. и Гроссберга С. [7]—
[10] , а также ресурсы сайта национального открытого университета Ин- туит [16]. Опыт применения нейросети и разработки модификаций для нее рассмотрен также на основе публикаций на информационном порта¬ле eLIBRARY.ru [11]-[15].
Для разработки одного из модифицированных алгоритмов использо-вались материалы учебного пособия «Психология» Немова Р. С. [18], опи-сывающие принципы взаимосвязанной работы кратковременной и долго-временной памяти человека.
Купить