Введение 4
1. Математическая постановка задачи 5
2. Постановка задачи на естественном языке 6
3. Техническая постановка задачи 7
4. Архитектура сети 9
4.1. Свертка 10
4.2. Оубдискретизация 11
4.3. Dropout регуляризация 12
5. Алгоритм обучения 14
5.1. Функции активации 14
5.2. Adam (Adaptive Moment Estimation) 15
6. Обучение свёрточной нейронной сети 17
7. Заключение 18
Список литературы 19
Рассматривалась общая задача распознавания рукописного текста, апробация происходила на базе данных рукописных цифр MNIST1. MNIST представляется из себя переработку оригинального набора чёрно-белых образцов NIST с добавленными образцами написанными студентами.
В статье [1] В. А. Якубовича, рассматривалась задача распознавания рукописных цифр. Современный подход решения данной задачи основанный на сверточных нейронных сетях базируется на статье [8] Yann Lecun и др. Я решил задачу распознавания рукописных цифр с помощью свёрточной нейронной сети.
Преимущества такой модели:
• свёрточные нейронные сети хорошо зарекомендовали себя в задачах по распознаванию изображений;
• уменьшение количества обучаемых параметров и повышение скорости обучения по сравнению с полносвязной нейронной сетью;
В работе рассказано с помощью каких операций производится обучение свёрточной нейронной сети и показывается дальнейшее распознавание ею объектов из MNIST.
Рис. 5. Процесс обучения нейронной сети
На (рис. 5) изображены графики функционала качества и процента правильно распознанных цифр из обучающей выборки зависящие от того, сколько раз вся обучающая выборка прошла через нейронную сеть. Из графиков видно, что процент правильно распознанных цифр после того, как обучающая выборка прошла через нейронную сеть 10 раз был больше 99%.
На тестовом наборе данных процент правильно распознанных цифр составляет 99.385%. Получившаяся нейронная сеть попала в топ 25% на соревновании kaggle Digit Recognizer, из более чем 3000 участников.
[1] Якубович В. А. “Машины, обучающиеся распознаванию образов”. В: Методы вычислений 2 (1963), с. 95—131.
[2] Christopher M. Bishop. Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag, 2006.
[3] Diederik P. Kingma и Jimmy Ba. Adam: A Method for Stochastic Optimization. 2014. arXiv: 1412.6980 [cs.LG].
[4] Ian Goodfellow, Yoshua Bengio и Aaron Courville. Deep Learning. The MIT Press, 2016.
[5] Tom M. Mitchell. Machine learning, International Edition. McGraw-Hill Series in Computer Science. McGraw-Hill, 1997.
[6] Dominik Scherer, Andreas C. Muller и Sven Behnke. “Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition.” В: ICANN (3). Lecture Notes in Computer Science. Springer, 2010, с. 92— 101.
[7] Geoffrey E. Hinton и др. “Improving neural networks by preventing coadaptation of feature detectors”. В: CoRR abs/1207.0580 (2012).
[8] Yann Lecun и др. “Gradient-Based Learning Applied to Document Recognition”. В: Proceedings of the IEEE 86 (1998), с. 2278—2324.
[9] http://www.machinelearning.ru/wiki/images/1/1e/Sem07_ann.pdf.
[10] http://cs231n.github.io/convolutional-networks/.