ВВЕДЕНИЕ 2
1. История развития исследуемой области 5
2. Основные понятия 9
2.1. Виды активационных функций 23
2.2. Функция стоимости для задачи классификации 29
2.3. Оптимизаторы нейронной сети 34
2.4. Мини-батч 38
2.5. Предобработка данных для нейронной сети 40
2.6. Батч-нормализация 43
2.7. Методы решения проблемы переобучения 46
2.8. Гиперпараметры сети 50
2.9. Начальная инициализация сети 53
3. Используемые технологии 55
4. Анализ выживаемости пациентов при помощи нейронных сетей 56
ЗАКЛЮЧЕНИЕ 74
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 75
ПРИЛОЖЕНИЕ А Листинг программы
Данная работа посвящена динамично развивающейся в последние годы области искусственных нейронных сетей. Они получили широкое применение в медицине, бизнесе, различных беспилотных системах, игровой индустрии и так далее. С течением времени, люди все чаще сталкиваются с искусственными нейронными сетями в повседневной жизни, иногда и сами того не подозревая. Яркими примерами является контекстная реклама, голосовые помощники, распознавание текстов.
В наш век цифровых технологий и больших данных, исследование искусственных нейронных сетей имеет большую актуальность, как никогда раньше.
Прежде чем дать определение искусственного нейрона, покажем, что из себя представляет естественный нейрон.
Если отбросить описание химических процессов, то очень упрощенно естественный нейрон можно описать следующим образом: дендрит содержит на себе синапсы, которые принимают сигналы с других нейронов, поступающие в ядро, где эти сигналы накапливаются. Когда суммарный накопленный импульс превышает пороговое значение, у нейрона появляется импульс, который по аксону передается на другие нейроны. Синапсы могут менять чувствительность, подстраиваясь на внешние раздражения от других нейронов.Таким образом, если абстрагироваться от некоторых биологических и химический процессов, можно дать следующее определение:
Искусственный нейрон - элементарная единица искусственной нейронной сети и являющийся математической моделью естественного нейрона.
В погоне за построением полноценного искусственного интеллекта (англ. Artificial intelligence), компании-гиганты (Google, Facebook и т.д.) уже используют в своих искусственных нейронных сетях (далее ИНС) миллиарды искусственных нейронов [2], что требует огромных вычислительных ресурсов. На данный момент любая ИНС нацелена на конкретную задачу и ни о каком искусственном разуме в данной работе речи не пойдет.
Целью работы является разработка библиотеки алгоритмов теории искусственных нейронных сетей и последующее их практическое применение.
С помощью реализованной библиотеки подобрать оптимальную модель для анализа выживаемости пациентов и проранжировать признаки, влияющие на выживаемость пациентов.
Первая глава кратко рассказывает об истории зарождения и развития теории искусственных нейронных сетей. Во второй главе описывается теоретический материал, который практически полностью был запрограммирован. В третьей главе приводятся использованные технологии для решения задачи, а в четвертой сама задача (её описание, обработка данных и т.д.). Далее приводятся выводы по работе, список использованной литературы и листинг программы.
В рамках данной работы реализована универсальная библиотека алгоритмов теории искусственных нейронных сетей. С её помощью на учебных задачах экспериментально было проведено сравнение методов градиентного спуска и АДАМ для обучения сети. Для реальной задачи с онкоурологическим набором данных было отобрано две модели - одна для прогнозирования выживаемости пациентов, а другая для выявления и ранжирования часто встречающихся признаков. При построении моделей было выяснено:
1) Несбалансированные классы (когда наблюдений одного класса намного больше, чем другого) мешают обучению сети и одним из способов решения этого является взвешенная целевая функция.
2) Аномалии в выборке препятствуют обучению сети, решением является их удаление, например, с помощью алгоритма изоляционного леса.
На основе построенных моделей были проранжированы признаки, положительным и отрицательным влияющие на выживаемость пациентов. Результат получил подтверждение экспертов - специалистов в предметной области медицины.
