Введение 2
Глава 1 Нейронные сети 3
1.1 Биологический нейрон 3
1.2 Искусственный нейрон 4
1.3 Функции активации 5
1.4 Однослойная нейронная сеть 7
1.5 Многослойная нейронная сеть 7
1.6 Обучение с учителем 8
1.7 Обучение без учителя 9
1.8 Категориальная кросс энтропия 9
Глава 2 Алгоритмы нейронных сетей 10
2.1 Градиентный спуск 10
2.2 Adagrad 11
2.3 RMSProp 12
2.4 Adam 12
2.5 Алгоритм обратного распространения ошибки 13
Глава 3 Реализация 14
3.1 Используемые библиотеки 14
3.2 Набор данных 14
3.2 Представление данных 15
3.3 Инициализация нейронной сети 16
3.4 Прогноз 17
3.5 Исследование эффективности 19
Заключение 23
Список литературы 24
Приложение 1 25
Машинное обучение заключается в извлечении знаний из данных. Это научная область, находящаяся на пересечении статистики, искусственного интеллекта и компьютерных наук и также известная как прогнозная аналитика или статистическое обучение. В последние годы применение методов машинного обучения в повседневной жизни стало обыденным явлением. Многие современные веб-сайты и устройства используют алгоритмы машинного обучения, начиная с автоматических рекомендаций по просмотру фильмов, заказа еды или покупки продуктов, и заканчивая персонализированными онлайн-радиотрансляциями и распознаванием друзей на фотографиях. Когда вы видите сложный сайт типа Facebook, Amazon или Netflix, то весьма вероятно, что каждый раздел сайта содержит несколько моделей машинного обучения.
Выйдя за пределы коммерческих приложений, машинное обучение уже оказало огромное влияние на научные исследования, управляемые данными. Инструменты, представленные в данной работе, использовались для решения различных научных задач (исследование звезд, поиск далеких планет, открытие новых частиц, анализ последовательностей ДНК, а также разработка персонализированных методов лечения рака).
Целью работы является построить нейронную сеть для распознавания рукописных цифр и сравнить эффективность использования методов оптимизации Adam, Adagrad, RMSProp.
В ходе работы было рассмотрено создание и обучение нейронной сети на языке программирования Python, функции активации, методы оптимизации Adagrad, RMSProp, Adam, критерий качества категориальная кросс энтропия.
Из результатов проведенной работы видно, что наилучшим образом в плане эффективности показал себя метод Adam, хотя и RMSProp не сильно отстает. Adagrad же показал хорошую эффективность, но с лучшей сопротивляемостью к переобучению.
Благодаря широкому спектру разнообразных библиотек и надстроек в языке Python, открываются большие возможности для реализации машинного обучения и нейронных сетей, что помогает в освоении и реализации интересующих методов.
