Введение 3
Актуальность работы 3
Цель и задачи работы 5
Практическая значимость 6
Глава 1. Обзор литературы и технологических решений 9
1.1. Обзор существующих технологических решений по работе
с медицинскими изображениями 9
1.2. Задачи детекции и сегментации изображений 12
1.3. Обзор методов повышения качества изображений и их оценка в задачах детекции и сегментации 17
1.3.1 Методы обучения с учителем 18
1.3.2 Методы обучения без учителя 27
1.3.3 Применение алгоритма повышения разрешения к задачам детекции и сегментации опухолей 28
1.3.4 Генеративно-состязательные сети 29
1.4. Обзор методов оценки качества изображений 33
Глава 2. Разработка программного комплекса для детекции и сегментации опухолей 36
2.1. Проектирование архитектуры программного комплекса . . . 36
2.2. Разработка и реализация методов на основе описанных моделей 40
2.3. Описание гиперпараметров обучения 43
2.4. Тестирование и апробация разработанного решения 45
2.4.1 Постановка эксперимента 45
2.4.2 Результаты эксперимента 45
2.4.3 Выводы 48
Заключение 49
Результаты работы 49
Перспективы развития 50
Список литературы
Компьютерное зрение является одним из наиболее прогрессивных на-правлений машинного обучения. Распознавание лиц, сегментация и классификация изображений, их обработка и генерация - все это задачи компьютерного зрения. За последние 10 лет в этой области произошло немало достижений, достигнуты почти человеческие способности решения некоторых задач, а иногда алгоритмы машинного обучения даже превосходят человека - нейронная сеть способна классифицировать изображения, ошибаясь в 1.2% случаев [1], тогда как ошибка человека составляет 5.1% [2] (результаты соревнования ImageNet). Также, в последние несколько лет, исследователи активно разрабатывают state-of-the-art алгоритмы на основе машинного обучения в медицинской сфере, в особенности уделяя внимание выявлению злокачественных новообразований. В настоящее время опухоль головного мозга является одной из главных причин роста смертности среди взрослых и детей, а наличие специализированных методов обнаружения аномалий предоставляют возможность врачам помочь сохранить жизни за счет более раннего выявления болезни.
Опухоль головного мозга - это масса клеток, которые бесконтрольно растут и размножаются в различных частях мозга [3]. В нормальных условиях здоровые клетки тела периодически умирают и на их месте появляются новые. Опухолевые клетки ведут себя иначе - хотя организм в них не нуждается, они размножаются и не умирают, как здоровые. По мере продолжения этого процесса злокачественное новообразование продолжает расти и, в некоторых случаях, очень стремительно. Злокачественные опухоли головного мозга не имеют четких границ - помимо того, что они быстро растут, подобные новообразования способны перемещаться. Существуют различные методы обработки изображений, которые помогают обнаружить такие особенности опухолей, как форма, размер, текстура и кальцификация. Нахождение этих особенностей делает процесс обнаружения опухоли наиболее точным.
Качественная визуализация в диагностике рака является важным инструментом для его выявления с использованием алгоритмов детекции и сегментации. Основной проблемой медицинской визуализации (и компьютерного зрения в целом) является сложность сбора необходимого количества качественных данных для наиболее эффективного анализа изображений методами искусственного интеллекта. В частности, такого рода проблемы порождаются наличием технических ограничений устройств получения изображений (камера, компьютерная томография, спутник) и устройств их обработки (оптические искажения, наличие шума, размытие линз).
Медицинские снимки можно разделить на несколько групп в зависимости от того, с помощью какого аппарата они сделаны. К таким способам получения медицинских изображений относятся ультразвуковое сканирование, магнитно резонансная томография, компьютерная и ядерная томографии. МРТ использует радиоволны и магнитные поля для создания детализированных изображений поперечного сечения внутренних органов в отличии от других способов, что делает ее наиболее применяемой. К тому же, МРТ считается наиболее безопасным способом медицинской визуализации, но применим такой способ не во всех случаях (только в тех частях тела, где много жидкости). Компьютерная томография справляется с большей площадью человеческого тела, однако существует высокая вероятность облучения пациента вредным излучением. В связи с этим в медицинской визуализации собрать множество снимков хорошего качества значит не только преодолеть трудности получения доступа к персональным данным, но и негативно воздействовать на здоровье часто ослабленных пациентов. При снижении дозы агрессивного излучения (для более щадящего воздействия), полученные снимки могут отличаться низкой контрастностью, наличием шумов и размытием. Другая не менее важная проблема - не всегда медицинское учреждение имеет ресурсы на приобретение аппаратов, способных создавать качественные снимки. Это порождает собой создание изображений низкого разрешения, которые к тому же страдают от низкой контрастности.
Стоит помнить и о человеческих факторах при получении снимка - пациент может случайно привести в движение ту или иную часть тела (на результат может повлиять даже сердцебиение), что негативно влияет на получение четкого снимка. Ошибка при настройке аппарата, отсутствие фокусировки, наличие у пациента металлических имплантов - также может повлиять на качество изображения. Не всегда существует возможность сделать вторую попытку (пациент может уже уйти, повторное воздействие излучения может оказать неблагоприятное воздействие и т.д.).
Тогда как для решения проблемы нехватки данных существуют предварительно обученные модели и возможность аугментации, то для борьбы с изображениями низкого качества существуют алгоритмы его повышения.
Повышение качества изображений - важная задача компьютерного зрения. Область применения технологий решения данной проблемы достаточно обширна - помимо использования алгоритмов повышения качества изображений в машинном обучении, они также популярны и в реальном мире - для качественной интерпретации человеком. В медицине хорошее качество изображения необходимо для правильной постановки диагноза [4], в право-охранительных органах - для распознавания лиц с камер наблюдения [5], в медиа - для повышения качества давно снятых фильмов [6].
Что представляет собой повышение качества изображений? Изображение в плохом качестве отличается от изображения в хорошем качестве наличием шумов и артефактов, размытостью, низким разрешением и другими, в основном зависящими от устройства получения изображений, недостатками. Исходя из этого можно сказать, что улучшить изображение - значит увеличить его пространственное разрешение, избавиться от шумов и артефактов, сделать изображение более четким1.
Цель и задачи работы
Целью данной работы является разработка методов улучшения качества изображений, основанных на использовании современных нейронных сетей, для повышения эффективности обнаружения и сегментации опухолей.
Для достижения цели в работе поставлены следующие задачи:
1. обзор автоматизированных техник повышения качества изображений и
'Задача повышения качества изображений в данной работе описана в терминах задачи повышения разрешения (Super Resolution, SR). В литературе она часто подразумевает под собой не только увеличение изображения, но и само улучшение его качества (устранение размытия, удаление артефактов и т.д.). В связи с этим далее словосочетание "повысить разрешение" будет пониматься как "улучшить качество".
их модификаций
2. обзор существующих технологических решений в области анализа изображений
3. изучение генеративно-состязательных сетей с целью их применения в качестве основного алгоритма
4. обзор существующих методов оценки качества изображений, выбор наиболее подходящего для данной работы
5. проектирование архитектуры программного комплекса на основе методов искусственного интеллекта
6. разработка и реализация нейронных сетей для задач повышения разрешения, детекции и сегментации
7. тестирование и апробация разработанного решения на медицинских изображениях, с использованием полученных знаний об их специфичности
8. оценка качества детекции и сегментации опухолей с использованием алгоритма повышения качества изображений и без него
Практическая значимость
Использование технологий повышения разрешения в медицине не ограничивается диагностикой рака с применением методов машинного обучения. Помимо того, что устранение шумов и других артефактов с изображения может благоприятно повлиять на эффективность алгоритмов детекции и сегментации опухолей, снимок лучшего качества и большего размера дает возможность специалисту увидеть мелкие детали новообразований. Все это необходимо для максимальной корректности поставленных диагнозов и снижения затрат на их получение.
Построенный в результате данной работы алгоритм может быть использован и в других доменах для решения различных задач. Однако его комплексность заключается в самом методе, тогда как в зависимости от поставленной проблемы могут меняться данные, их предобработка, методы оценки и другие нюансы. Далее рассмотрены некоторые из тех приложений, в которых применяются технологии повышения разрешения.
1. Глубинные карты. Для оценки положения некоторых объектов в пространстве и их семантической сегментации существуют глубинные карты. Проблема таких карт - экономические и производственные ограничения при их создании, из-за которых глубинная карта может оказаться в низком разрешении с присутствием шумов и отсутствием некоторых значений. Такие сложности существенно влияют на оценку положения объекта, в частности на его границы, что делает задачу улучшения качества глубинных карт актуальной.
2. Видео. Решение задачи повышения качества отдельных изображений несложно распространить на совокупность изображений - видео. В данном случае несколько кадров представляют собой гораздо больше информации о сцене и существуют не только внутрикадровые пространственные зависимости, но и межкадровые временные зависимости (движения, изменения яркости и цвета). Актуальность повышения качества видео достаточно велика. Примером подобного приложения может служить технология Яндекса DeepHD [6] - проект, с помощью которого пользователям предоставляется возможность смотреть давно снятые фильмы в хорошем качестве.
3. Камеры наблюдения. Многим известно, что камеры, установленные в периметрах важных объектов не всегда снабжены дорогостоящими компонентами, способными создавать качественные видео. Часто, целью таких камер наблюдения является фиксация подозрительных движений, для чего качество играет малую роль. Однако при совершении серьезных преступлений, таких как кража, убийство и терроризм, для обнаружения и распознавания лица подозрительного / участвующего в действии человека необходима четкая картинка с установленных поблизости камер. В таких ситуациях - когда на полученной картинке все-таки невозможно различить лицо преступника - применяются методы повышения качества изображений. Такой алгоритм может быть полезен и в пропускной системе сотрудников компании - при нечетком снимке система может ошибиться и впустить на территорию человека, не являющегося сотрудником компании, или не впустить сотрудника.
4. Спутниковые снимки. Часто спутниковые снимки не страдают проблемой низкого разрешения, наоборот, они достаточно огромны и могут содержать в себе 10.000 х 10.000 пикселей. Несмотря на это, изображения подобной природы обычно очень шумные, что негативно влияет на эффективность работы с ними. В качестве примера использования алгоритмов улучшения качества спутниковых снимков можно привести цифровую систему управления арктической логистикой Газпром Нефти "Капитан"[7], в задачи которой входит сегментация типов льда в реальном времени как раз на основе снимков со спутника, предварительно очищенных от специфичных шумов.
Стоит отметить, что в приложениях 1, 3 и 4 алгоритм повышения качества изображений является не целью, а вспомогательным действием для решения других задач машинного обучения - детекции (обнаружение объектов на изображении), распознавании лиц и сегментации (поиск границ объектов) [8]. Аналогично, идея данной работы заключается в построении алгоритма повышения разрешения для наиболее эффективного решения задач детекции и сегментации опухолей на медицинских снимках.
Результаты работы
В процессе выполнения данной работы были получены следующие результаты:
1. проведен обзор существующих техник решения задачи повышения разрешения и их вариаций для различных целей, задач и доменов
2. проведен обзор существующих технологических решений по работе с медицинскими изображениями, что говорит об актуальности разработки методов искусственного интеллекта в сфере здравоохранения
3. была подробно изучена концепция генеративно-состязательных сетей, описаны особенности их обучения
4. описаны методы оценки качества изображений, сложности их применения и возможные способы комбинации
5. проектирование архитектуры программного комплекса на основе методов искусственного интеллекта
6. разработан комплекс методов в результате использования которого возможно оценить влияние техники повышения разрешения медицинских изображений на задачи детекции и сегментации опухолей (реализацию всего программного комплекса можно найти по ссылке [41])
7. поставлен эксперимент, в результате которого были получены необходимые для оценки эффективности метрики качества
Несмотря на то, что прирост в эффективности решений двух высоко-уровненых задач оставляет желать лучшего, описанная предварительная об-работка изображений в виде улучшения их качества является перспективным направлением не только в сфере медицинской визуализации, но и в других.
Перспективы развития
Результаты, полученные в данной работе, дают мотивацию продолжить изучение описанного влияния техник улучшения качества изображений на другие задачи машинного обучения. Следующие этапы исследования:
1. Переход к реальным данным: получение доступа к данным, работа с изначально шумными снимками;
2. Разделение больших снимков на патчи: в реальности разрешение МРТ снимков может достигать нескольких тысяч пикселей;
3. Использование предварительно обученных моделей: адаптация к такому домену, как медицинские снимки является достаточно сложной задачей;
4. Наиболее качественная симуляция шума: очевидно, что для того, чтобы избавиться от шума, необходимо воссоздать шум близкий к реальному и использовать его при генерации снимков в низком разрешении. Помимо этого, важно научиться обобщать способность алгоритма удалять один вид шума на способность удалять несколько различных;
5. Предварительное контрастирование снимков: важно понять, влияет ли данная модификация на результат сегментации;
6. Одна из частых проблем задач с генерацией изображений - интерпретируемость метрик качества: одни из самых популярных метрик данной области - PSNR и SSIM - ориентируются на восприятие картинки человеком. Однако при удалении шума и увеличении разрешения мелкие детали могут смазаться (человек такую мелочь может не заметить, а для решения алгоритма сегментации это может оказаться важным).
Помощь студентам и аспирантам в выполнении работ от наших партнеров
