ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ, СИМВОЛОВ, СОКРАЩЕНИЙ,
ТЕРМИНОВ 6
ВВЕДЕНИЕ 7
1 Подготовка данных 10
1.1 Анализ предметной области 10
1.2 Исходный набор данных 11
1.3 Разметка данных 13
1.4 Предварительный анализ набора данных и нарезка снимков 14
1.5 Расширение данных 17
1.6 Выводы по главе 20
2 Обзор методов сегментации и эксперименты 21
2.1 Оценка сегментации IOU 21
2.2 U-Net 23
2.2. UpSampling2D и Conv2DTranspose 24
2.2.2 Модификация U-Net 25
2.3 Использование предварительно обученных нейронных сетей 27
2.3.1 ResNet34 27
2.3.2 VGG16 30
2.3.3 Inception3 32
2.4 Функции потерь 33
2.4.1 Focal-loss 34
2.4.2 Dice loss 34
2.5 Ансамбль моделей и визуализация результата 35
2.6 Локализация области лёгких 36
2.7 Выводы по главе 39
3 Программная реализация 40
3.1 Подготовка данных 41
3.2 Обучение моделей 43
3.2 Создание графического интерфейса пользователя 44
3.3 Выводы по главе 45
ЗАКЛЮЧЕНИЕ 46
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 47
ПРИЛОЖЕНИЕ А скриншоты приложения для просмотра и разметки 51
ПРИЛОЖЕНИЕ Б примеры кода подготовки данных 53
ПРИЛОЖЕНИЕ Г скриншоты пользовательского интерфейса 58
На сегодняшний день существует большое количество работ, связанных с применением компьютерного зрения в медицине. Одна из решаемых задач — это задача сегментации, которая подразумевает выделение множества пикселей из исходного изображения. Например, в исследовании [4] авторы обнаруживают паренхиму легких на КТ-изображениях с использованием свёрточной нейронной сети, обученной на наборе данных, предварительно обработанном с помощью алгоритма кластеризации. В другом исследовании [5], авторы с помощью глубоких нейронных сетей проводили сегментацию изображений человеческих ооцитов. В исследовании [6], авторы создали систему для обнаружения рака легких в наборе данных, собранных из иракских больниц, с использованием метода свёрточной нейронной сети с архитектурой AlexNet. Такое количество исследований, часть из которых применяются на практике, говорит о том, что компьютерное зрение востребовано в медицине. Мы не нашли исследований, связанных с сегментацией кальцинатов в лёгких, что говорит о недостаточной разработанности этой темы.
В данной работе рассматривается проблема недостаточной изученности применимости методов и алгоритмов компьютерного зрения в задаче сегментации кальцинатов в лёгких. Объектом исследования является процесс сегментации кальцинатов в лёгких на снимках КТ. Предметом исследования является анализ методов компьютерного зрения для повышения качества сегментации кальцинатов на снимках КТ.
Зачастую причиной появления кальцинатов в легких является туберкулез [2, 7]. Но также они могут появляться как результат перенесенной пневмонии, наличия инородных тел в легких, глистных инвазий, опухолевых образований, нарушения обмена кальция и других заболеваний [2]. Чаще всего сами кальцинаты в лёгких не представляют угрозы для здоровья и дыхательной функции [2], однако важно установить причину их образования с целью профилактики дальнейшего роста и уточнения статуса первичного заболевания. Также нужно оценивать их объём с течением времени. Вручную это сделать довольно сложно и займёт большое количество времени врачей, что говорит об актуальности данной темы
Поэтому была поставлена цель — создать программу с графическим интерфейсом пользователя, которая позволяет, загружать снимки КТ грудной клетки, обнаруживать на них кальцинаты, подсчитывать их объём и визуализировать результат. Для этого необходимо было выполнить следующие задачи:
1. Получить набор данных снимков КТ пациентов с кальцинатами.
2. Проанализировать медицинские источники.
3. Выполнить разметку снимков, исходя из анализа.
4. Проанализировать другие работы, связанные с компьютерным зрением и задачей сегментации.
5. Выбрать подходящую метрику оценки качества моделей сегментации.
6. Провести эксперименты, с целью выявления модели с наилучшей оценкой качества.
7. Реализовать метод сегментации лёгких, для улучшения качества сегментации.
8. Выполнить визуализацию работы модели, реализовать интерфейс пользователя.
Во время исследований использовались следующие методы:
1. Анализ литературных источников по: лучевой диагностике, компьютерному зрению, функциям оценки моделей, функциям потерь, машинному и глубокому обучению.
2. Методы разработки ПО с целью проведения экспериментов с различными методами компьютерного зрения для сегментации и сравнение эффективности их работы.
3. Методы улучшения работы полученных моделей сегментации, визуализация и интерпретация полученных результатов.
Научная новизна исследования заключается в предложенном способе сегментации кальцинатов в лёгких, основанным на использовании ансамбля модифицированных свёрточных нейронных сетей U-Net [8] с кодирующей частью ResNet34 [9] совместно с алгоритмом локализации области лёгких методом анализа плотностей.
Практическая значимость исследования: разработанный метод сегментации кальцинатов в лёгких позволит выполнять сегментацию и оценивать объём быстрее, чем вручную.
Основная часть магистерской диссертации состоит из трёх разделов: в первом разделе рассматривается обзор литературы по тематике предметной области и подготовка КТ для сегментации; во втором разделе располагается обзор различных методов и алгоритмов сегментации, применимых для обработки данных КТ, эксперименты с этими алгоритмами, их оценка и визуализация результатов их работы; в третьем разделе описывается создание графического интерфейса пользователя.
В заключение был подготовлен набор данных, используя который, удалось разработать способ сегментации кальцинатов в лёгких, основанный на применении ансамбля модифицированных моделей свёрточных нейронных сетей архитектуры U-Net с кодирующей частью ResNet-34 и локализации области лёгких. Который позволяет медицинским работникам быстро и с приемлемой точностью выполнить сегментацию кальцинатов на снимке КТ грудной клетке и оценить их объём. Это позволяет быстрее и проще оценивать и сравнивать снимки пациентов за различные промежутки времени, что увеличивает скорость постановки диагноза.
