Введение
ПОСТАНОВКА ЗАДАЧИ 5
2. ТЕКУЩЕЕ СОСТОЯНИЕ ИССЛЕДОВАНИЙ 6
3. МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ 8
3.1. Рекуррентные нейронные сети 10
3.1.1. Долгая краткосрочная память 11
3.1.2. Регуляризация 13
3.1.3. ASGD Weight-Dropped LSTM 14
3.2. Transformer 15
3.3. Метод опорных векторов 17
4. РАБОТА С ДАННЫМИ 20
4.1. Предобработка данных 20
4.2. Анализ данных 21
4.3. Подготовка данных 24
5. ЭКСПЕРИМЕНТЫ 27
6. ЗАКЛЮЧЕНИЕ 30
ГЛОССАРИЙ 31
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 33
ПРИЛОЖЕНИЕ
Минувшее десятилетие ознаменовалось взрывом популярности алгоритмов глубокого обучения на большом спектре задач, в том числе включая обработку естественного языка [1], распознавания речи [2], компьютерного зрения [3] и обучения с подкреплением [4]. Все большее количество информации становится доступным специалистам в области анализа данных [5-9], что ведет к возросшему количеству исследований (см. Диаграмму 1-2), в том числе и в медицине.
Глубокое обучение было широко использовано в задачах анализа медицинских изображений [10], в работе по определению ретинопатии, как одной из форм осложнения сахарного диабета [11], в работе по определению клеток метастаза на гигапиксельных изображениях [12]. В геномике глубокое обучение помогло идентифицировать распространенные генетические вариации более точно в сравнении с традиционными методами [13,14], что позволило открыть пути к новым генетическим исследованиям [15,16]. Генетические исследования в свою очередь ведут к созданию персонифицированных лекарственных средств [17].
Во всех вышеперечисленных исследованиях алгоритмы глубокого обучения анализировали базы данных Electronic Health Records (EHR). EHR представляет собой цифровую версию истории болезни пациента. EHR доступны в реальном времени, содержат всю возможную информацию о конкретном пациенте и предоставляют возможность мгновенного и защищенного доступа к ним авторизованным пользователям.
В данной выпускной квалификационной работе были изучены и реализованы работы последних лет в области обработки естественного языка. Была проведена работа по анализу и обработке клинических данных, были проведены эксперименты по обучению разных архитектур нейронных сетей, проведена валидация полученных результатов. Результаты работы показали, что использование простой архитектуры без сложной семантической обработки текста недостаточно для эффективного решения прикладных задач. Для улучшения результата следует применить более комплексный подход, включающий в себя выделение именованных сущностей, использование русскоязычных онтологий.
