Помощь студентам в учебе
Нейросетевые методы анализа изображений аорты
|
Введение 3
Обзор литературы 6
Обзор существующих решений 8
Глава 1. Данные 9
1.1. Наборы данных 9
1.2. Формат исходных данных 10
1.3. Подготовка 10
1.3.1 Обработка 10
1.3.2 Объединение просветов 12
1.3.3 Разделение данных 12
1.4. Программная реализация 15
Глава 2. Машинное обучение 16
2.1. Методология исследования 16
2.2. Аугментации 16
2.3. Рассматриваемые модели и архитектуры 18
2.4. Параметры обучения 20
2.5. Результаты 21
2.6. Выводы 22
Глава 3. Измерение диаметра 24
3.1. Введение 24
3.2. Алгоритм 25
3.3. Выводы 25
Заключение 26
Список литературы
Обзор литературы 6
Обзор существующих решений 8
Глава 1. Данные 9
1.1. Наборы данных 9
1.2. Формат исходных данных 10
1.3. Подготовка 10
1.3.1 Обработка 10
1.3.2 Объединение просветов 12
1.3.3 Разделение данных 12
1.4. Программная реализация 15
Глава 2. Машинное обучение 16
2.1. Методология исследования 16
2.2. Аугментации 16
2.3. Рассматриваемые модели и архитектуры 18
2.4. Параметры обучения 20
2.5. Результаты 21
2.6. Выводы 22
Глава 3. Измерение диаметра 24
3.1. Введение 24
3.2. Алгоритм 25
3.3. Выводы 25
Заключение 26
Список литературы
Машинное обучение переживает небывалый рассвет. В виду увеличение вычислительных мощностей и большого объёма информации область машинного обучения получила огромный толчок в развитии. Начиная с 2012 года, когда Джеффри Хинтон представил метод обратного распространения ошибки[36], нейросети начали стремительно набирать популярность. Получив возможность обучать искусственные нейронные сети, компьютеры смогли выполнять задания, бывшие прерогативой людей. В итоге, на сегодняшний день, машинное обучение присутствует во всех аспектах нашей жизни. Человечество разговаривает с умными колонками, передвигается на машинах с автоматическим управлением и много более технологических достижений. Медицина не остаётся в стороне и имеет свои достижения[26] с применением машинного обучения. В данной работе будут рассмотрены последние технологии нейросетевых моделей на примере аорты.
Аорта является примером артерий эластического типа, стенка аорты состоит из трех слоев: внутреннего или интимы (tunica intima), среднего или медии (tunicamedia) и наружного или адвентиции (tunica adventitia). Основной пагенетической особенностью диссекции аорты является разрыв интимы с последующим образованием и распространением субинтимальной гематомы. Гематома, распространяющаяся вдоль слоев аортальной стенки, обычно занимает от 1/2 до 3/4 ее диаметра, в некоторых случаях расслоение распространяется циркулярно по всей окружности аорты. Вследствие чего формируется «ложный» просвет, или двухпросветная аорта, что существенно увеличивает риски мальперфузии внутренних органов за счет нарушения кровотока по магистральным артериям, отходящим от аорты. При распространении диссекции на восходящий отдел аорты может развиваться тампонада полости перикарда
Аневризма восходящего отдела аорты - заболевание, характеризующееся сочетанием минимальных клинических проявлений либо их отсутствием, и высокой вероятностью драматически быстро наступающих тяжелых, зачастую, фатальных осложнений. Основными осложнениями данной патологии являются расслоение и/или разрыв аорты. Встречаемость аневризм грудного отдела аорты в популяции составляет 0,16 -1,15%. Частота развития расслоения грудной аорты в мире в среднем составляет 3-8 случаев на 100.000 населения в год. При этом отмечается крайне высокий риск внезапной смерти. Ориентировочно две трети диссекций аорты происходят в восходящем отделе (типа А по Стенфордской классификации) и лишь в одной трети случаев наблюдается изолированное расслоение нисходящего отдела аорты (тип В).
При острой диссекции аорты типа А (по Stanford) летальность достигает 50%в первые двое суток от начала заболевания или 1-2% в час, и в течение первого месяца от момента расслоения составляет 75-90% без хирургического вмешательства. Огромное значение имеет фактор времени, от момента расслоения до операции. Среди оперированных пациентов 30¬дневная госпитальная летальность до 1985 г. была более 30%, а к 2013-2015 гг. составляла уже 11-12,5%, 5-летняя выживаемость в середине 1990-х гг составляла 50-71%, в середине 2000-х гг. -63-94%, 10-летняя выживаемость -37-64% и 65-84%, соответственно. Также стоит отметить, что при хроническом расслоении 5-летняя выживаемость без операции составляет 10-15%. Необходимость в хирургическом лечении при остром расслоении по абсолютным показаниям обусловлена крайне высоким риском летального исхода при естественном течении патологии и бесперспективности консервативных методов лечения. В то же время, стабильное состояние пациентов при хроническом проксимальном расслоении аорты дает возможность провести полную диагностику и подготовку к плановой операции. Операции по протезированию аорты при диссекции грудной аорты и торакоабдоминального отдела являются одними из самых сложных. Количество осложнений и высокая госпитальная летальность при данной патологии существенно снизились за последние 20 лет, так, при острой диссекции госпитальная летальность снизилась с 50% до 17-24% в среднем (от 9 до30%), с приходом новых техник хирургии и технологий, однако и по сей день подобные вмешательства являются настоящим «вызовом» для хирурга.
Общепринятые диагностические алгоритмы и хирургические методики на сегодняшний день недостаточно развиты. Для улучшения как ближайших, так и отдалённых результатов лечения пациентов данной категории необходимо дальнейшее изучение данной проблемы.
Таким образом, тема и научно-практическая значимость обсуждаемой проблемы являются весьма актуальными, поскольку многие вопросы диагностики и лечения расслоения аорты остаются до конца не изученными по настоящее время.
Постановка задачи
В рамках выполнения данной работы автор сотрудничал с врачами из клиники высоких медицинских технологий им. Н. И. Пирогова. Результатом данной кооперации стал обмен знаниями о предметных областях. Сотрудники клиники предоставили необходимую информацию о заболеваниях аорты, а также обозначили ряд проблем в диагностике, предоставив примеры данных для изучения. Данные представляют собой двумерные снимки, полученные с помощью компьютерной томографии. Проблемой анализа снимков является изменение поперечного сечения аорты и обнаружение диссекции.
В результате, были сформированы следующие цели и задачи.
Целью данной работы является разработка нейросетевых методов для проведения анализа изображений аорты. Для достижения вышеупомянутой цели в рамках данной работы рассматриваются следующие задачи:
• подготовка датасета;
• сегментация аорты на изображениях;
• сегментация просветов аорты на изображениях;
• определение диаметра аорты на изображениях.
Решения поставленных задач, обусловило следующую структуру работы. Подготовка датасета, предобработка снимков, разделение на тренировочные и валидационные наборы представлены в главе 1 "Данные". Описание использованных нейросетевых моделей, аугментаций и метрик отображено в главе 2 "Машинное обучение". В третьей главе написано о задаче определения диаметра аорты на изображениях. В заключении сделаны итоговые выводы работы.
Практическая значимость работы
Результаты данной работы имеют значение для диагностики заболеваний аорты с использованием компьютерных технологий для медицинских организаций и, в частности, для клиники высоких медицинских технологий им. Н. И. Пирогова.
Обзор литературы
Проблема изучения аорты исследуется уже не первое десятилетие. До 2015 года работы по анализу аорты и её рассечений опирались на использовании методов обработки изображений. Например, Anderson[2]в своей работе представил полуавтоматический алгоритм сегментации для определения диссекции, основанный на поиске краёв на изображении. Аналогичный подход использовал Krissian[44], создав полуавтоматический алгоритм с изучением контрастных точек, дополнив его размытием мешающих высококонтрастных органов. Помимо анализа краёв, в работе Lee[32]использовался вэйвлет анализ для различия просветов аорты. Полноценные сравнения существующих методов также появились вместе с их развитием[1; 20]. Все вышеописанные методы, представляют собой полуавтоматическую настроенную вручную систему. Подобные системы из-за необходимости в ручной настройке, при работе в новых условиях склонны к ошибкам[20].
Начиная с 2012 года под влиянием работы Hinton начались активные исследования применения нейронных сетей, заинтересовавших людей высокой точностью и автоматичностью[30]. В 2015 году начали появляться первые модели показавшие работоспособность глубоких нейросетей в задачах обработки медицинских снимков[18]. В последнее время, с помощью глубокого обучения выдающиеся результаты были достигнуты почти во всех областях анализа медицинских изображений [3]. В особенности много усилий было приложено к изучению автоматической сегментации при помощи свёрточных нейросетей (Convolutional Neural Networks, CNN) и сетей с глубоким обучением (Deep Neural Networks, DNN)[33]. Среди них в последние годы появляются новые архитектуры, направленные на улучшение качества сегментации. Например, в работе Pereira S[12]изучен потенциал свёрточных нейронных сетей с малым ядром для сегментации MRI снимков вместе с нормализацией интенсивности.
Нейронные сети используются в обработке изображений аорты. Например, в работе Yu[4]авторы использовали 3D U-net[42]для сегментации аорты и её просветов. Однако, появились более современные модели и в рамках данной работы рассматриваются только двумерные снимки. В работе Akinori[17]использовал предобученный Xception[13]для классификации наличия диссекции аорты на двумерных снимках компьютерной томографии, но без выделения просветов. Таким образом, применение предобученнных нейросетей актуально в рамках поставленной проблемы и будет в дальнейшем изучено в работе.
В 2020 году были выпущены две статьи, в которых авторы представили архитектуры, имеющие в себе сразу две объединённые вместе нейро- сети[5; 34]. В своей работе Li F.[34]опробовал двухпоточную архитектуру для борьбы с ошибками сегментации. Одна нейросеть занималась поверхностными признаками, а вторая наоборот глубокими. Такой дизайн из двух параллельных потоков, согласно автору, показал результаты точности сегментации на уровне передовых моделей. В тоже время, Conze[5]в своей работе использовал также две нейросети, но расположенные не параллельно, а последовательно. Во избежание недообучения результаты первой сети объединяются с исходным изображением перед прохождением сквозь вторую сеть. Данная архитектура, по словам автора, заняла первое место в соревновании CHAOS по сегментации в трёх номинациях. Подобная архитектура использовалась в работе Yu[4], где авторы применили аналогичный подход для выявления расслоения аорты с помощью двух последовательных моделей: для сегментации аорты и просветов соответственно. Однако данная модель, по словам авторов, работает достаточно долго и требует множества снимков на разных уровнях. Результаты данных работ заставляют задуматься о возможности объединения рассмотренных архитектур. Тем не менее, как показывают результаты Yu[4], предварительная сегментация аорты улучшает качество диагностирования, что и будет основным акцентом в дальнейшем исследовании.
Аорта является примером артерий эластического типа, стенка аорты состоит из трех слоев: внутреннего или интимы (tunica intima), среднего или медии (tunicamedia) и наружного или адвентиции (tunica adventitia). Основной пагенетической особенностью диссекции аорты является разрыв интимы с последующим образованием и распространением субинтимальной гематомы. Гематома, распространяющаяся вдоль слоев аортальной стенки, обычно занимает от 1/2 до 3/4 ее диаметра, в некоторых случаях расслоение распространяется циркулярно по всей окружности аорты. Вследствие чего формируется «ложный» просвет, или двухпросветная аорта, что существенно увеличивает риски мальперфузии внутренних органов за счет нарушения кровотока по магистральным артериям, отходящим от аорты. При распространении диссекции на восходящий отдел аорты может развиваться тампонада полости перикарда
Аневризма восходящего отдела аорты - заболевание, характеризующееся сочетанием минимальных клинических проявлений либо их отсутствием, и высокой вероятностью драматически быстро наступающих тяжелых, зачастую, фатальных осложнений. Основными осложнениями данной патологии являются расслоение и/или разрыв аорты. Встречаемость аневризм грудного отдела аорты в популяции составляет 0,16 -1,15%. Частота развития расслоения грудной аорты в мире в среднем составляет 3-8 случаев на 100.000 населения в год. При этом отмечается крайне высокий риск внезапной смерти. Ориентировочно две трети диссекций аорты происходят в восходящем отделе (типа А по Стенфордской классификации) и лишь в одной трети случаев наблюдается изолированное расслоение нисходящего отдела аорты (тип В).
При острой диссекции аорты типа А (по Stanford) летальность достигает 50%в первые двое суток от начала заболевания или 1-2% в час, и в течение первого месяца от момента расслоения составляет 75-90% без хирургического вмешательства. Огромное значение имеет фактор времени, от момента расслоения до операции. Среди оперированных пациентов 30¬дневная госпитальная летальность до 1985 г. была более 30%, а к 2013-2015 гг. составляла уже 11-12,5%, 5-летняя выживаемость в середине 1990-х гг составляла 50-71%, в середине 2000-х гг. -63-94%, 10-летняя выживаемость -37-64% и 65-84%, соответственно. Также стоит отметить, что при хроническом расслоении 5-летняя выживаемость без операции составляет 10-15%. Необходимость в хирургическом лечении при остром расслоении по абсолютным показаниям обусловлена крайне высоким риском летального исхода при естественном течении патологии и бесперспективности консервативных методов лечения. В то же время, стабильное состояние пациентов при хроническом проксимальном расслоении аорты дает возможность провести полную диагностику и подготовку к плановой операции. Операции по протезированию аорты при диссекции грудной аорты и торакоабдоминального отдела являются одними из самых сложных. Количество осложнений и высокая госпитальная летальность при данной патологии существенно снизились за последние 20 лет, так, при острой диссекции госпитальная летальность снизилась с 50% до 17-24% в среднем (от 9 до30%), с приходом новых техник хирургии и технологий, однако и по сей день подобные вмешательства являются настоящим «вызовом» для хирурга.
Общепринятые диагностические алгоритмы и хирургические методики на сегодняшний день недостаточно развиты. Для улучшения как ближайших, так и отдалённых результатов лечения пациентов данной категории необходимо дальнейшее изучение данной проблемы.
Таким образом, тема и научно-практическая значимость обсуждаемой проблемы являются весьма актуальными, поскольку многие вопросы диагностики и лечения расслоения аорты остаются до конца не изученными по настоящее время.
Постановка задачи
В рамках выполнения данной работы автор сотрудничал с врачами из клиники высоких медицинских технологий им. Н. И. Пирогова. Результатом данной кооперации стал обмен знаниями о предметных областях. Сотрудники клиники предоставили необходимую информацию о заболеваниях аорты, а также обозначили ряд проблем в диагностике, предоставив примеры данных для изучения. Данные представляют собой двумерные снимки, полученные с помощью компьютерной томографии. Проблемой анализа снимков является изменение поперечного сечения аорты и обнаружение диссекции.
В результате, были сформированы следующие цели и задачи.
Целью данной работы является разработка нейросетевых методов для проведения анализа изображений аорты. Для достижения вышеупомянутой цели в рамках данной работы рассматриваются следующие задачи:
• подготовка датасета;
• сегментация аорты на изображениях;
• сегментация просветов аорты на изображениях;
• определение диаметра аорты на изображениях.
Решения поставленных задач, обусловило следующую структуру работы. Подготовка датасета, предобработка снимков, разделение на тренировочные и валидационные наборы представлены в главе 1 "Данные". Описание использованных нейросетевых моделей, аугментаций и метрик отображено в главе 2 "Машинное обучение". В третьей главе написано о задаче определения диаметра аорты на изображениях. В заключении сделаны итоговые выводы работы.
Практическая значимость работы
Результаты данной работы имеют значение для диагностики заболеваний аорты с использованием компьютерных технологий для медицинских организаций и, в частности, для клиники высоких медицинских технологий им. Н. И. Пирогова.
Обзор литературы
Проблема изучения аорты исследуется уже не первое десятилетие. До 2015 года работы по анализу аорты и её рассечений опирались на использовании методов обработки изображений. Например, Anderson[2]в своей работе представил полуавтоматический алгоритм сегментации для определения диссекции, основанный на поиске краёв на изображении. Аналогичный подход использовал Krissian[44], создав полуавтоматический алгоритм с изучением контрастных точек, дополнив его размытием мешающих высококонтрастных органов. Помимо анализа краёв, в работе Lee[32]использовался вэйвлет анализ для различия просветов аорты. Полноценные сравнения существующих методов также появились вместе с их развитием[1; 20]. Все вышеописанные методы, представляют собой полуавтоматическую настроенную вручную систему. Подобные системы из-за необходимости в ручной настройке, при работе в новых условиях склонны к ошибкам[20].
Начиная с 2012 года под влиянием работы Hinton начались активные исследования применения нейронных сетей, заинтересовавших людей высокой точностью и автоматичностью[30]. В 2015 году начали появляться первые модели показавшие работоспособность глубоких нейросетей в задачах обработки медицинских снимков[18]. В последнее время, с помощью глубокого обучения выдающиеся результаты были достигнуты почти во всех областях анализа медицинских изображений [3]. В особенности много усилий было приложено к изучению автоматической сегментации при помощи свёрточных нейросетей (Convolutional Neural Networks, CNN) и сетей с глубоким обучением (Deep Neural Networks, DNN)[33]. Среди них в последние годы появляются новые архитектуры, направленные на улучшение качества сегментации. Например, в работе Pereira S[12]изучен потенциал свёрточных нейронных сетей с малым ядром для сегментации MRI снимков вместе с нормализацией интенсивности.
Нейронные сети используются в обработке изображений аорты. Например, в работе Yu[4]авторы использовали 3D U-net[42]для сегментации аорты и её просветов. Однако, появились более современные модели и в рамках данной работы рассматриваются только двумерные снимки. В работе Akinori[17]использовал предобученный Xception[13]для классификации наличия диссекции аорты на двумерных снимках компьютерной томографии, но без выделения просветов. Таким образом, применение предобученнных нейросетей актуально в рамках поставленной проблемы и будет в дальнейшем изучено в работе.
В 2020 году были выпущены две статьи, в которых авторы представили архитектуры, имеющие в себе сразу две объединённые вместе нейро- сети[5; 34]. В своей работе Li F.[34]опробовал двухпоточную архитектуру для борьбы с ошибками сегментации. Одна нейросеть занималась поверхностными признаками, а вторая наоборот глубокими. Такой дизайн из двух параллельных потоков, согласно автору, показал результаты точности сегментации на уровне передовых моделей. В тоже время, Conze[5]в своей работе использовал также две нейросети, но расположенные не параллельно, а последовательно. Во избежание недообучения результаты первой сети объединяются с исходным изображением перед прохождением сквозь вторую сеть. Данная архитектура, по словам автора, заняла первое место в соревновании CHAOS по сегментации в трёх номинациях. Подобная архитектура использовалась в работе Yu[4], где авторы применили аналогичный подход для выявления расслоения аорты с помощью двух последовательных моделей: для сегментации аорты и просветов соответственно. Однако данная модель, по словам авторов, работает достаточно долго и требует множества снимков на разных уровнях. Результаты данных работ заставляют задуматься о возможности объединения рассмотренных архитектур. Тем не менее, как показывают результаты Yu[4], предварительная сегментация аорты улучшает качество диагностирования, что и будет основным акцентом в дальнейшем исследовании.
В рамках данной работы была предпринята попытка автоматического диагностирования расслоения аорты. Для достижения данной цели, автор решил задачу сбора данных и нашёл размеченные снимки компьютерной томографии. В результате их подготовки, был успешно реализован алгоритм для расширения набора данных сегментации аорты. Разработанный алгоритм позволил значительно повысить качество сегментации аорты и избежать переобучения на небольшом датасете. В итоге, были успешно созданы 3 набора готовых к обучению моделей сегментации, которые позволили не только решить поставленные задачи, но и проверить гипотезы, представленные в современных зарубежных работах по этой теме.
Одной из рассмотренных гипотез является использование дополнительной модели машинного обучения для сегментации аорты. По предположению автора, такое ’выделение’ объекта должно было локализовать сегментацию просветов аорты, повысив её точность. Было подтверждено улучшение качества сегментации, с помощью проведённого сравнения с использованием 3 различных архитектур, в том числе передовых трансформеров. Однако, также были выявлены негативные эффекты использования дополнительной модели. Ошибки первой модели, значительно понижают качество конечной сегментации. Таким образом две последовательные нейросети показывают результаты значительно хуже, чем использование одной.
В итоге работы с моделями машинного обучения в рамках поставленных целей и задач исследования, автор обучил суммарно 9 нейросетей. Для 3 различных задач, были проверены классический U-net с Resnet50, DeepLabV3 с Xception71 и передовой TransUnet. Результаты, полученные автором, позволили оценить достижения новых моделей и наметить будущие тенденции для улучшения архитектур сегментации. Непосредственным продуктом работы являются обученные передовые модели для сегментации аорты и её просветов. Была достигнута задача обнаружения диссекции и была подготовлена почва для измерения диаметра аорты.
Измерение расстояний на изображениях сложная задача ввиду неизвестности отношения к реальным размерам. Для её решения автором был предложен алгоритм автоматической оценки размеров. Используя данные настроек томографа и результаты сегментации аорты, алгоритм оценивает минимальный и максимальный диаметр аорты. Данные измерения, в свою очередь, также могут использоваться медиками в работе. Таким образом, последняя поставленная автором задача выполнена.
Данная тема имеет большие перспективы для дальнейшего исследования. Во-первых, результаты данной работы, возможно улучшить, добавив в обучение больше размеченных данных пациентов. Во-вторых, используя дополнительные вычислительные мощности, можно ускорить вычисления и обучить с нуля передовые нейросетевые модели. В-третьих, в будущем возможно использование более сложных моделей сегментации на основе трансформеров. С точки зрения продолжения работы над данной темой, сегментация 3D снимков, выпрямление аорты и классификация типа диссекции только часть возможных путей развития.
Одной из рассмотренных гипотез является использование дополнительной модели машинного обучения для сегментации аорты. По предположению автора, такое ’выделение’ объекта должно было локализовать сегментацию просветов аорты, повысив её точность. Было подтверждено улучшение качества сегментации, с помощью проведённого сравнения с использованием 3 различных архитектур, в том числе передовых трансформеров. Однако, также были выявлены негативные эффекты использования дополнительной модели. Ошибки первой модели, значительно понижают качество конечной сегментации. Таким образом две последовательные нейросети показывают результаты значительно хуже, чем использование одной.
В итоге работы с моделями машинного обучения в рамках поставленных целей и задач исследования, автор обучил суммарно 9 нейросетей. Для 3 различных задач, были проверены классический U-net с Resnet50, DeepLabV3 с Xception71 и передовой TransUnet. Результаты, полученные автором, позволили оценить достижения новых моделей и наметить будущие тенденции для улучшения архитектур сегментации. Непосредственным продуктом работы являются обученные передовые модели для сегментации аорты и её просветов. Была достигнута задача обнаружения диссекции и была подготовлена почва для измерения диаметра аорты.
Измерение расстояний на изображениях сложная задача ввиду неизвестности отношения к реальным размерам. Для её решения автором был предложен алгоритм автоматической оценки размеров. Используя данные настроек томографа и результаты сегментации аорты, алгоритм оценивает минимальный и максимальный диаметр аорты. Данные измерения, в свою очередь, также могут использоваться медиками в работе. Таким образом, последняя поставленная автором задача выполнена.
Данная тема имеет большие перспективы для дальнейшего исследования. Во-первых, результаты данной работы, возможно улучшить, добавив в обучение больше размеченных данных пациентов. Во-вторых, используя дополнительные вычислительные мощности, можно ускорить вычисления и обучить с нуля передовые нейросетевые модели. В-третьих, в будущем возможно использование более сложных моделей сегментации на основе трансформеров. С точки зрения продолжения работы над данной темой, сегментация 3D снимков, выпрямление аорты и классификация типа диссекции только часть возможных путей развития.
Подобные работы
- Нейросетевые методы анализа изображений аорты
Магистерская диссертация, информатика. Язык работы: Русский. Цена: 4945 р. Год сдачи: 2022