Тема: Разработка модифицированной нейронной сети адаптивной резонансной теории для решения задач распознавания изображений

Искусственные нейронные сети
Широкий спектр современных задач, от идентификации частиц, возникающих в результате ядерных столкновений [1], до помощи в постановке медицинских диагнозов [2], решается с использованием искусственных нейронных сетей. Также нейронные сети, из-за их биологического подобия, находят глубокий интерес среди исследователей из разных областей [3, 4].
Искусственная нейронная сеть — это множество взаимодействующих вычислительных элементов (нейронов). Каждый нейрон может выполнять лишь простейшие операции, однако, объединяя их в сети, можно проводить сложные распределенные вычисления. Наиболее интересной с точки зрения информатики является модель нейрона Маккалока-Питтса [5], согласно которой, результатом работы нейрона является вещественная функция от линейной комбинации сигналов других нейронов. Для решения конкретных задач коэффициенты линейной комбинации каждого нейрона подбираются в процессе специального алгоритма (обучения).
Распространен подход, в котором нейроны с одинаковой активационной функцией и набором связанных нейронов объединяются в группы — слои. Хотя такой подход не соответствует реальным схемам взаимодействия нейронов в биологических нейронных сетях, он значительно упрощает проектирование и обучение искусственных. Следует отметить, что линейную комбинацию, вычисляемую в нейроне, легко представить в виде векторного произведения. Тогда результатом работы нейронного слоя является вектор-функция от произведения матрицы коэффициентов (далее — матрица весов) на вектор сигналов от связанных нейронов (далее — входной вектор). Иллюстрация данного подхода приведена в формуле 1, здесь R— выход нейронного слоя, f (x) — активационная функция слоя, wi;j— коэффициент j-го нейрона для i-го входного сигнала, х; — i-й входной сигнал, M— количество нейронов в слое, N— количество входных сигналов.
f (!11x1 + • • • + !1N xN)
(1)
f(!M 1x1 + • • • + !MNxN) /
A Jvl X 1
К преимуществам нейронных сетей можно отнести единый подход к решению широкого спектра задач и возможность ускорения вычислений за счет массового параллелизма. Параллелизм обеспечивается независимостью работы каждого нейрона в слое.
Задача распознавания образов
Выбирая количество нейронных слоев, порядок их соединения и алгоритмы обучения, нейронные сети можно настроить на решение различных задач: сжатие и архивация данных, прогнозирование (экстраполяция), интерполяция, аппроксимация, классификация и кластеризация. Особый интерес представляет задача распознавания образов [6] и, в частности, изображений. Перспективность данной задачи объясняется быстрым ростом количества производимой информации, в том числе графической. Эта информация является отличным набором данных для обучения, тестирования и применения нейронных сетей. В данной работе будет рассматриваться задача распознавания бинарных (черно-белых) изображений.
Искусственная нейронная сеть Хэмминга
Наиболее простой нейронной сетью для решения задачи распознавания бинарных изображений является сеть Хэмминга [5], основанная на одноименной метрике. Расстоянием Хэмминга между двумя элементами из пространства бинарных векторов фиксированной размерности называется количество различающихся компонент этих векторов.
Нейронная сеть Хэмминга состоит из двух слоев (сравнения, конкуренции) и имеет следующий алгоритм функционирования:
1. Подготовка изображений. Входные изображения (матрица пикселей с высотой Hи шириной W) раскладываются в вектор размерности N = HW. Один из цветов пикселей (например черный) представляется как 1, другой как —1.
2. Обучение. Множество из Mэталонных изображений записывается в строки весовой матрицы слоя сравнения.
3. Сравнение. Описанная весовая матрица умножается на вектор, подлежащий распознаванию, и получается вектор С =(Ci, ...,См)Т, где Ci пропорциональна количеству совпавших пикселей в распознаваемом и i-м эталонном изображениях. Следует отметить, что величина Ciоб¬ратно пропорциональна расстоянию Хэмминга, и эталонный образ с максимальным Ciявляется наиболее близким ко входному в смысле меры Хэмминга.
4. Конкуренция. В слое конкуренции происходит поиск максимальной компоненты вектора С. Эталон, соответствующий данной компоненте, является самым близким к входному образу в метрике Хэмминга. Это изображение и является результатом распознавания.
Преимущества
1. Использование простой метрики Хэмминга. Для сравнения, в нейронной сети АРТ-1 используется мера сходства изображений, которая не является метрикой в математическом смысле.
2. Быстродействие. Наличие всего двух нейронных слоев обеспечивает малую вычислительную сложность по сравнению с некоторыми другими нейронными сетями.
Возможные проблемы
Отсутствие пластичности. В традиционной нейронной сети Хэмминга не предусмотрена возможность обучения существующих эталонов и выделения новых категорий. В литературе такая проблема называется отсутствием пластичности. Причиной такого поведения является безусловность определения победителя: во многих задачах требуется выделять новый эталон, если расстояние между распознаваемым и эталонным образом выше некоторого порога.
Искусственная нейронная сеть адаптивной резонансной теории
Адаптивная резонансная теория была разработана в 1987 году Стивеном Гроссбергом и Гейл Карпентер. Существует несколько нейронных сетей, построенных в соответствии с этой теорией [7, 8] и одной из них является АРТ-1 [9], предназначенная для распознавания бинарных изображений и учитывающая недостатки сети Хэмминга. Архитектура и алгоритм АРТ-1 приведены в главе 1.
Преимущества
Существенным преимуществом данной сети является наличие пластичности. Также, в отличие от некоторых других нейронных сетей, например персептрон [5], в АРТ-1 при обучении изменяется только эталон- победитель, не искажая все остальные. Данное преимущество называют свойством стабильности.
Возможные проблемы
1. Производительность. В силу особенностей алгоритма распознавания, вычислительная сложность АРТ-1 высока, по сравнению со многими другими нейронными сетями. Это может негативно сказаться, например, в задачах real-time распознавания [10].
2. Асимметрия нулей и единиц. В АРТ-1 при вычислении меры сходства используются только единичные элементы образов, и игнорируются нулевые. Это снижает качество распознавания в некоторых задачах.
3. Деградация запомненных образов. В силу необратимости алгоритма обучения запомненная информация может теряться.
4. Мера сходства изображений не является метрикой в математическом смысле. Данный факт не является существенной проблемой, но использование простой меры Хэмминга облегчило бы тестирование и отладку нейронной сети.
Следует отметить, что приведены проблемы, выявленные при сравнении АРТ-1 с нейронной сетью Хэмминга. Также известны и другие проблемы, например отсутствие ассоциативной и распределенной памяти, но они не будут рассмотрены в рамках данной работы.
Постановка задачи
Целью данной работы является анализ описанных проблем нейронной сети АРТ-1 и предложение ряда решений для проблемы высокой вычислительной сложности. Планируется провести сравнение рассмотренных решений с исходной нейронной сетью и друг с другом теоретически и в ходе тестирования, а также выявить области их применимости.
Обзор литературы
В ходе работы был изучен ряд научно-методических книг и статей по теме нейронных сетей. Среди них следует выделить ряд книг, предназначенных для введения в теорию нейронных сетей: Уоссерман Ф. (1992) [5], Осовский С. (2002) [11], Круглов В. В. и Борисов В. В. (2002) [12], Хайкин С. (2008) [13]. Данные книги подробно описывают основы теории и многие статьи, посвященные нейронным сетям, ссылаются на них.
Основой данной работы является адаптивная резонансная теория. Она была предложена Гроссбергом С. и Карпентер Г. в 1987 году в работе [9]. Также на тему этой теории ими был написан ряд других работ в период с 1987 по 2015 года [7, 8, 14]. Данные работы легли в основу множества статей. Например решение проблемы деградации образов в АРТ- 1 предложено в работах Выдриной Ю. В., Козынченко В. А. (2015) [15], Ращенко Ю. В., Козынченко В. А. (2015) [16]. Решение проблемы асимметрии нулей и единиц предложено в работах Ращенко Д. В. (2015) [17], Дмитриенко В. Д., Заковоротный А. Ю. (2012) [18]. Вариации меры сходства изображений рассмотрены в работах Ращенко Д. В., Козынченко В. А. (2015) [19], Антипин И. А., Козынченко В. А. (2012) [20]. Некоторые другие модификации нейронной сети АРТ-1 и варианты ее применения рассмотрены в работах Мищенко A. В. (2010) [21], Дмитриенко В. Д., Хавина И. П., Заковоротный А. Ю (2009) [22].
Целью данной работы является решение проблемы низкой производи-тельности АРТ-1. Эта проблема затронута в некоторых из перечисленных работ [17, 19, 20], однако в них предлагаются решения, связанные с изменением меры сходства изображений, а следовательно изменением результатов распознавания. Такой подход может давать хорошие результаты (увеличение и производительности, и качества распознавания), однако затрудняет сравнение различных модификаций друг с другом. В данной работе предлагается подход, увеличивающий быстродействие АРТ-1 без изменения результатов распознавания.
По предварительным результатам работы опубликовано 2 статьи [17, 19] и представлены доклады на следующих конференциях: XLVI международная научная конференция аспирантов и студентов «Процессы управления и устойчивость» в 2015 году, III International Conference in memory of V. I. Zubov «Stability and Control Processes» в 2015 году, XLVII международная научная конференция аспирантов и студентов «Процессы управления и устойчивость» в 2016 году.

Купить

В данной работе проанализированы проблемы, которые могут возникать в нейронной сети АРТ-1, и предложены две модификации для решения проблемы низкой скорости работы. Первая из модификаций обеспечивает увеличение производительности без изменения структуры сети. Вторая значительно изменяет структуру сети, но обеспечивает существенный прирост скорости. Обе модификации и классическая АРТ-1 реализованы в виде пакета программ и проведено их сравнительное тестирование на 300 изображениях рукописных цифр. Тестирование подтвердило эффективность модификаций: увеличение производительности в 2.18 раза для первой модификации и в 125.75 раза для второй.
Купить