Введение 4
1. Математическая постановка задачи 5
2. Постановка задачи на естественном языке 6
3. Техническая постановка задачи 7
4. Архитектура сети 9
4.1. Свертка 10
4.2. Оубдискретизация 11
4.3. Dropout регуляризация 12
5. Алгоритм обучения 14
5.1. Функции активации 14
5.2. Adam (Adaptive Moment Estimation) 15
6. Обучение свёрточной нейронной сети 17
7. Заключение 18
Список литературы 19
Рассматривалась общая задача распознавания рукописного текста, апробация происходила на базе данных рукописных цифр MNIST1. MNIST представляется из себя переработку оригинального набора чёрно-белых образцов NIST с добавленными образцами написанными студентами.
В статье [1] В. А. Якубовича, рассматривалась задача распознавания рукописных цифр. Современный подход решения данной задачи основанный на сверточных нейронных сетях базируется на статье [8] Yann Lecun и др. Я решил задачу распознавания рукописных цифр с помощью свёрточной нейронной сети.
Преимущества такой модели:
• свёрточные нейронные сети хорошо зарекомендовали себя в задачах по распознаванию изображений;
• уменьшение количества обучаемых параметров и повышение скорости обучения по сравнению с полносвязной нейронной сетью;
В работе рассказано с помощью каких операций производится обучение свёрточной нейронной сети и показывается дальнейшее распознавание ею объектов из MNIST.
Рис. 5. Процесс обучения нейронной сети
На (рис. 5) изображены графики функционала качества и процента правильно распознанных цифр из обучающей выборки зависящие от того, сколько раз вся обучающая выборка прошла через нейронную сеть. Из графиков видно, что процент правильно распознанных цифр после того, как обучающая выборка прошла через нейронную сеть 10 раз был больше 99%.
На тестовом наборе данных процент правильно распознанных цифр составляет 99.385%. Получившаяся нейронная сеть попала в топ 25% на соревновании kaggle Digit Recognizer, из более чем 3000 участников.
