Нейросети глубокого обучения являются эффективным инструментом для решения широкого спектра задач: классификация образов, аппроксимация функций, задача прогнозирования, задача оптимизации и так далее.
Основным преимуществом нейронных сетей является самообучаемость. Эти модели могут изменять свою внутреннюю структуру в зависимости от входных данных, уточняя значения связей между нейронами. Также зачастую нейронные сети имеют более высокую скорость работы нежели классические алгоритмы.
Однако, при построении нейросетевой модели аналитики часто сталкиваются с проблемой переобучения. Переобучение - это процесс, когда модель «запоминает» связи между входными и выходными значениями конкретной обучающей выборки, теряя возможность решить схожую задачу на других данных. Для решения этой проблемы существует большое количество алгоритмов, таких как, например, регуляризация весов или батч- нормализация. С другой стороны, можно применить другой подход к построению самой нейросети и воспользоваться байесовской статистикой.
Принцип байесовского подхода можно описать выражением «уверенность в справедливости некоторого утверждения возрастает по мере приобретения новых знаний об этом утверждении». Иными словами, априорные знания о распределении некоторого параметра влияют на искомое апостериорное распределение.
Байесовская нейросеть отличается от нейросети, основанной на частотном подходе, тем, что в такой нейросети веса нейронов заданы не конкретными числами, а вероятностью, высчитываемой по формуле Байеса:
Использование байесовских сетей избавляет аналитика от сложностей, связанных с переобучением, поскольку результатом ее работы является распределение всех возможных значений искомого параметра.
Целью данной работы является рассмотрение вопроса применения искусственных нейронных сетей на основе байесовского подхода для решения задач обработки данных.
Задачи:
1. Изучить теоретические материалы по теме «искусственные байесовские нейронные сети».
2. Построить нейронные сети на основе байесовского и частотного подхода с использованием библиотек и инструментов высокоуровневого языка Python и применить их для решения регрессионных задач.
3. Сравнить точность прогнозов нейросетей, построенных на основе байесовского и частотного подхода.
Выпускная квалификационная работа состоит из введения, двух глав, заключения и трех приложений.
Во введении рассмотрена актуальность темы, а также поставлена цель и задачи работы. В главе 1 рассматриваются основные термины, понятия и алгоритмы. В главе 2 приведено описание построения искусственных нейронных сетей с точки зрения частотного и байесовского подхода на языке Python, а также результаты сравнения качества их прогноза в задачах регрессии. В заключении приводятся выводы и результаты работы. В приложении содержатся полные версии программного кода.
В ходе работы были изучены материалы по теме нейросетевого моделирования, а также построены искусственные нейронные сети с использованием байесовского и частотного подхода для различных регрессионных задач. При написании программ были использованы язык программирования Python и библиотеки NumPy, Scikit-learn, PyTorch и Keras. А также было проведено сравнение качества прогноза при различных условиях: для различного объёма выборок и для выборок, содержащих статистические выбросы. Данные для обучения и тестирования работы нейросетей были сгенерированы при помощи инструментов библиотек PyTorch и NumPy.
Подводя итоги, можно сделать вывод, что байесовский подход работает лучше частотного в условиях небольшого объема выборки для задач парной и множественной регрессии. Кроме того, байесовские сети очень хорошо справляются с анализом данных, содержащих статистические выбросы: с увеличением доли выбросов в данных качество прогноза байесовской сети уменьшается на несколько процентов, между тем как точность частотной сети ощутимо падает. Также стоит отметить, что согласно графикам, отображающим качество работы частотной сети для задачи парной регрессии (Приложение Б), более низкая точность прогноза может быть связана с проблемой переобучения.
При решении задачи бинарной классификации оба подхода показали неплохие результаты, однако точность результатов частотной сети в среднем выше на несколько процентов.
