Введение 3
Постановка задачи 6
1. Решение задачи кластеризации 8
1.1. Источник данных для анализа 8
1.2. Постановка задачи 11
1.3. Подготовка данных 16
1.4. Результаты решения задачи кластеризации по всем имеющимся
признакам. 17
2. Улучшение результатов кластеризации 19
2.1 Поиск признаков, наиболее влияющих на диагноз 19
2.2 Результаты решения задачи кластеризации по четырем признакам 21
3. Решение задачи классификации (постановки диагноза) 24
3.1. Постановка задачи 24
3.2 Решение задачи классификации методом наивного Байеса. 25
3.3. Резюме 29
4. Разработка пользовательского интерфейса для решения задач медицинской диагностики с применением методов интеллектуального анализа данных 31
4.1 Сравнительный анализ подходов к созданию пользовательского
интерфейса и визуализации данных с помощью Shiny и Microsoft Azure 31
4.2 Разработка пользовательского интерфейса с помощью пакета
Shiny 35
5 Тестирование разработанного средствами пакета
Shiny пользовательского интерфейса 46
6 Описание предлагаемой технологии создания пользовательского
интерфейса средствами пакета Shiny 49
6.1 Структура приложения Shiny 49
6.2 Скрипт ui.R 49
6.3 Скрипт server.R 53
6.4 Shiny оффлайн 55
6.5 Размещение приложения в интернете 55
Заключение 57
Список литературы 59
Приложение
Интеллектуальный анализ данных (Data Mining) является одной из самых актуальных тем в современном мире. Он применяется для обнаружения скрытых, практически полезных, ранее неизвестных закономерностей в процессах реального мира путём анализа больших объёмов данных. Выявление скрытых закономерностей позволяет осуществлять прогноз значений исследуемых признаков. Подобные задачи возникают в самых разных областях деятельности - как в естественнонаучных, так и в гуманитарных. Одной из перспективных областей применения систем интеллектуального анализа данных является медицина, в частности, задачи медицинской диагностики.
С появлением вычислительной техники объём данных, с которыми может работать человек, значительно увеличился. Современная компьютерная техника позволяет хранить и обрабатывать большие объёмы данных в режиме реального времени. Это открывает широкие перспективы для реализации принципиально новых подходов к решению названных задач.
До недавнего времени постановка медицинских диагнозов опиралась, главным образом, на анализ индивидуальных признаков пациента. Теперь появляется новая возможность - учитывать не только локальные данные (результаты анализов пациента, симптомы, субъективные жалобы и прочие характеристики анамнеза). Сейчас за счёт применения математических методов обработки больших объёмов данных (big data) открывается возможность учитывать ещё и общие закономерности поведения исследуемого признака (в задачах медицинской диагностики таковым является предполагаемый диагноз).
Настоящая работа была инициирована коллегами из Казанской государственной медицинской академии, которые обратились в Институт вычислительной математики и информационных технологий КФУ с предложением начать совместную работу по созданию систем поддержки принятия решений в области медицинской диагностики (включая самодиагностику) на основе концепции Web 3.0. В результате ряда семинаров, организованных руководством ИВМиИТ (директором института (до 2015г.) Р.Х.Латыповым и зам. директора по научной работе В.В.Бандеровым) с участием преподавателей кафедр системного анализа и информационных технологий и анализа данных и исследования операций, группой студентов под руководством доц. А.А.Андриановой была начата работа по созданию специализированного веб-сайта. Концепция системы состояла в том, чтобы не только обеспечить с её помощью консультационную поддержку пациентов с определённым заболеванием (в режиме онлайн), но главное - обеспечить сбор, хранение и анализ характеристик анамнеза и субъективных данных большого количества пациентов для последующего применения методов машинного обучения. Это, в свою очередь, должно стать основой для создания системы интеллектуальной поддержки принятия решений в области медицинской диагностики.
Поскольку сбор и верификация данных посредством специализированного веб-приложения требует довольно длительного времени, было решено параллельно проводить исследования в режиме оффлайн с использованием реальных данных из открытых источников.
Система поддержки принятия решений в области медицинской диагностики предполагает решение нескольких классов задач формальными методами (методами анализа данных, машинного обучения, математической статистики) и комплексное исследование получаемых результатов неформальными методами. Поэтому было выделено несколько подзадач, решение которых (в рамках магистерских работ) было поручено 4-м студентам 2-го года обучения магистерской программы «Бизнес-информатика»: Зариповой Диане, Фатхетдиновой Аиде, Разиной Кристине, Мустафиной Элине.
Задача, предложенная мне, состояла в разработке пользовательского интерфейса для решения задач медицинской диагностики с применением методов интеллектуального анализа данных. Подробное описание задачи и составляющих её подзадач, целей и ожидаемых результатов см. в разделе «Постановка задачи».
Считаю, что поставленная цель была достигнута.
При выполнении дипломной работы была разработана средствами пакета R модель поддержки принятия решений в области медицинской диагностики. Модель основана на методе Байеса для задачи классификации.
Вспомогательной задачей была задача кластеризации. Ее результатом должен был быть оптимальный набор признаков, который будет использован в задаче диагностики (классификации).
Было построено несколько моделей кластеризации, основанных на алгоритме k-средних.
Первая из моделей содержала в качестве факторов все имеющиеся 24 характеристики состояния пациента, а именно: возраст, артериальное давление, удельный вес мочи, уровень альбумина, уровень сахара, нормальный/ненормальный уровень эритроцитов, количество гнойных клеток, наличие/отсутствие гнойных сгустков, наличие/отсутствие бактериальной инфекции, уровень глюкозы в крови, содержание мочевины в крови, уровень креатинина, количество натрия, количество калия, уровень гемоглобина, гематокритная величина, количество лейкоцитов, количество эритроцитов, наличие/отсутствие артериальной гипертензии, наличие/отсутствие сахарного диабета, наличие/отсутствие коронарной недостаточности, аппетит,
наличие/отсутствие отёк ног и лодыжек, наличие/отсутствие малокровия.
Метод k-средних допустил большой процент (32 %) ошибки, не смог разделить данные на кластеры, близкие к “здоровым” и “больным”. Поэтому было принято решение искать такие признаки, которые дали бы достаточно маленький процент ошибки.
Вторая модель прогнозирования строилась с признаками, которые наиболее сильно влияют на диагноз. Такими оказались: удельный вес мочи, показатель гемоглобина, нормальный/ненормальный уровень эритроцитов, показатель гематокрита. Построив модель, содержащую в качестве факторов данные характеристики состояния пациента, получилось снизить ошибку с 32% до 5,75%. Таким образом, метод k-средних смог разделить данные на кластеры, близкие к “здоровым” и “больным”.
Поэтому в классификации использовался последний набор факторов (удельный вес мочи, показатель гемоглобина, нормальный/ненормальный уровень эритроцитов, показатель гематокрита).
Модель классификации получилась достаточно точной (метод Байеса допустил 1 % ошибки).
Мы построили классификацию для различных объёмов выборки и убедились, что изменение объемов выборок почти не влияет на точность решения, что говорит о стабильности решения.
Далее на основе вышеописанной модели классификации с небольшим процентом ошибки прогнозирования было разработано с помощью пакета Shiny веб-приложение для пациента с целью медицинской самодиагностики в режиме онлайн. Тестирование разработанного средствами сервиса Shiny веб¬приложения прошло успешно, что позволяет включать приложение в специализированный сайт для решения задач медицинской диагностики с применением методов интеллектуального анализа данных.
Таким образом, итогом данной дипломной работы является веб¬приложение для применения метода машинного обучения с целью самостоятельной медицинской диагностики в режиме онлайн. Точность спрогнозированного диагноза составляет 99%.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
