Введение 4
Искусственный нейрон, искусственная нейронная сеть .... 6
Обучение искусственной нейронной сети 8
Виды искусственных нейронных сетей 9
Методы обучения искусственных нейронных сетей 11
Постановка задачи 12
Обзор литературы 13
Используемые обозначения 16
1 Описание полносвязной и сверточной нейросетей 17
1.1 Многослойный персептрон 17
1.2 Обучение многослойного персептрона методом градиентного
спуска 19
1.2.1 Алгоритм обучения 22
1.3 Сверточная нейронная сеть 23
1.4 Градиентное обучение сверточной нейронной сети 26
1.4.1 Алгоритм обучения 29
2 Обучение по правилу Хебба 30
2.1 Фильтр Хебба 30
2.1.1 Модель со слоем нейронов 32
2.1.2 Модель с латеральным торможением 33
2.1.3 Симметричные алгоритмы 34
2.1.4 Применение активационных функций в хеббоподобных нейронах 35
2.2 Обучение с учителем в нейросетях с фильтрами Хебба ... 35
2.3 Применение правила Хебба для обучения сверточных нейронных сетей 37
3 Программная реализация, тестирование и анализ результатов 39
3.1 Особенности реализации 39
3.2 Эксперименты по выделению главных компонент 40
3.3 Обучение с учителем неглубоких полносвязных нейросетей . 44
3.3.1 Предварительное тестирование 44
3.3.2 Окончательное тестирование 46
3.4 Обучение сверточной нейронной сети 50
3.4.1 Эксперимент с неглубокой архитектурой 50
3.4.2 Эксперимент с глубокой архитектурой 51
Выводы 54
Заключение 56
Искусственные нейронные сети (ИНС) являются перспективной областью для исследования. Они позволяют сходным образом решать совершенно разные прикладные задачи, поэтому находят применение в широком спектре областей: медицина, экономика, робототехника и др. При этом в ряде задач нейросети оказываются эффективнее других математических алгоритмов [1]. Важное значение в этом успехе нейросетей играет их способность к обучению, что позволяет выявлять сложные зависимости в поступающей на вход информации, производить обобщение. При этом нейронные сети нечувствительны к незначительным изменениям входных образов, шумам и искажениям входной информации, что позволяет им легко адаптироваться в условиях изменяющейся внешней среды [2].
Отмеченное поведение искусственных нейронных сетей в некотором роде напоминает мыслительную деятельность человека, поэтому ИНС являются также одним из способов моделирования искусственного интеллекта.
При решении сложных прикладных задач все чаще встает необходимость в использовании глубокого обучения, требующего больших вычислительных ресурсов, однако важным преимуществом нейросетевого подхода является возможность эффективного распараллеливания алгоритма. Поэтому успех в нейросетевой области также коррелирует с развитием технологий ускоренных вычислений. Особенно сильный толчок обеспечила архитектура параллельных вычислений CUDA от NVIDIA, которая позволяет существенно увеличить вычислительную производительность благодаря использованию GPU (графических процессоров) [3].
Важно отметить, что исследования в области искусственного интеллекта и искусственных нейронных сетей проводятся исследовательскими группами по всему миру, включая такие крупные компании как Google [4], Yandex [5], Facebook [6] и другие. Если говорить о задачах машинного зрения, то в данной области за последние годы были получены весьма впечатляющие результаты. Ниже перечислены некоторые из таких задач исоответственно результаты, полученные при их решении:
1. генерация текстур [1];
2. перенос стиля [7];
3. сегментация объектов [8];
4. преобразование изображения в изображение [9] (см. рис. 1);
5. классификация [10].
В данной магистерской диссертации изучены свойства и проанализированы некоторые проблемы фильтра Хебба и его различных реализаций, а также предложены для них некоторые модификации. Также предложено несколько вариантов реализации хеббовского обучения в задаче обучения с учителем. Хеббовсие алгоритмы обучения адаптированы для модификации весов сверточной нейронной сети. Проведены эксперименты по обучению хеббовских нейросетей выделению главных компонент и классификации образов, при этом результаты обучения сравнивались соответственно с работой статистического метода главных компонент и нейросетей, обучающихся методом градиентной оптимизации. Архитектуры нейросетей варьировались от однослойного персептрона до многослойной сверточной, и в результате экспериментов удалось достичь достаточно высокого качества хеббовского обучения нейросетей, включая глубокую сверточную сеть. Это позволяет сделать вывод, что обучение по Хеббу применимо в сверточных нейросетях, являющихся на данный момент мощнейшим инструментом в области машинного зрения, что открывает широкие возможности. Свойство локальности хеббовских алгоритмов делает обучение потенциально более быстрым, чем градиентное, так как нет необходимости распространять сигналы и в прямом, и в обратном направлениях, и изначально избавляет обучение от таких трудностей градиентной оптимизации, как, например, проблема затухающих градиентов. Благодаря этому становится возможным обучение глубоких нейросетей с использованием правил Хебба.
