Введение 3
Обзор литературы 6
Обзор существующих решений 8
Глава 1. Данные 9
1.1. Наборы данных 9
1.2. Формат исходных данных 10
1.3. Подготовка 10
1.3.1 Обработка 10
1.3.2 Объединение просветов 12
1.3.3 Разделение данных 12
1.4. Программная реализация 15
Глава 2. Машинное обучение 16
2.1. Методология исследования 16
2.2. Аугментации 16
2.3. Рассматриваемые модели и архитектуры 18
2.4. Параметры обучения 20
2.5. Результаты 21
2.6. Выводы 22
Глава 3. Измерение диаметра 24
3.1. Введение 24
3.2. Алгоритм 25
3.3. Выводы 25
Заключение 26
Список литературы
Машинное обучение переживает небывалый рассвет. В виду увеличение вычислительных мощностей и большого объёма информации область машинного обучения получила огромный толчок в развитии. Начиная с 2012 года, когда Джеффри Хинтон представил метод обратного распространения ошибки[36], нейросети начали стремительно набирать популярность. Получив возможность обучать искусственные нейронные сети, компьютеры смогли выполнять задания, бывшие прерогативой людей. В итоге, на сегодняшний день, машинное обучение присутствует во всех аспектах нашей жизни. Человечество разговаривает с умными колонками, передвигается на машинах с автоматическим управлением и много более технологических достижений. Медицина не остаётся в стороне и имеет свои достижения[26] с применением машинного обучения. В данной работе будут рассмотрены последние технологии нейросетевых моделей на примере аорты.
Аорта является примером артерий эластического типа, стенка аорты состоит из трех слоев: внутреннего или интимы (tunica intima), среднего или медии (tunicamedia) и наружного или адвентиции (tunica adventitia). Основной пагенетической особенностью диссекции аорты является разрыв интимы с последующим образованием и распространением субинтимальной гематомы. Гематома, распространяющаяся вдоль слоев аортальной стенки, обычно занимает от 1/2 до 3/4 ее диаметра, в некоторых случаях расслоение распространяется циркулярно по всей окружности аорты. Вследствие чего формируется «ложный» просвет, или двухпросветная аорта, что существенно увеличивает риски мальперфузии внутренних органов за счет нарушения кровотока по магистральным артериям, отходящим от аорты. При распространении диссекции на восходящий отдел аорты может развиваться тампонада полости перикарда
Аневризма восходящего отдела аорты - заболевание, характеризующееся сочетанием минимальных клинических проявлений либо их отсутствием, и высокой вероятностью драматически быстро наступающих тяжелых, зачастую, фатальных осложнений. Основными осложнениями данной патологии являются расслоение и/или разрыв аорты. Встречаемость аневризм грудного отдела аорты в популяции составляет 0,16 -1,15%. Частота развития расслоения грудной аорты в мире в среднем составляет 3-8 случаев на 100.000 населения в год. При этом отмечается крайне высокий риск внезапной смерти. Ориентировочно две трети диссекций аорты происходят в восходящем отделе (типа А по Стенфордской классификации) и лишь в одной трети случаев наблюдается изолированное расслоение нисходящего отдела аорты (тип В).
При острой диссекции аорты типа А (по Stanford) летальность достигает 50%в первые двое суток от начала заболевания или 1-2% в час, и в течение первого месяца от момента расслоения составляет 75-90% без хирургического вмешательства. Огромное значение имеет фактор времени, от момента расслоения до операции. Среди оперированных пациентов 30¬дневная госпитальная летальность до 1985 г. была более 30%, а к 2013-2015 гг. составляла уже 11-12,5%, 5-летняя выживаемость в середине 1990-х гг составляла 50-71%, в середине 2000-х гг. -63-94%, 10-летняя выживаемость -37-64% и 65-84%, соответственно. Также стоит отметить, что при хроническом расслоении 5-летняя выживаемость без операции составляет 10-15%. Необходимость в хирургическом лечении при остром расслоении по абсолютным показаниям обусловлена крайне высоким риском летального исхода при естественном течении патологии и бесперспективности консервативных методов лечения. В то же время, стабильное состояние пациентов при хроническом проксимальном расслоении аорты дает возможность провести полную диагностику и подготовку к плановой операции. Операции по протезированию аорты при диссекции грудной аорты и торакоабдоминального отдела являются одними из самых сложных. Количество осложнений и высокая госпитальная летальность при данной патологии существенно снизились за последние 20 лет, так, при острой диссекции госпитальная летальность снизилась с 50% до 17-24% в среднем (от 9 до30%), с приходом новых техник хирургии и технологий, однако и по сей день подобные вмешательства являются настоящим «вызовом» для хирурга.
Общепринятые диагностические алгоритмы и хирургические методики на сегодняшний день недостаточно развиты. Для улучшения как ближайших, так и отдалённых результатов лечения пациентов данной категории необходимо дальнейшее изучение данной проблемы.
Таким образом, тема и научно-практическая значимость обсуждаемой проблемы являются весьма актуальными, поскольку многие вопросы диагностики и лечения расслоения аорты остаются до конца не изученными по настоящее время.
Постановка задачи
В рамках выполнения данной работы автор сотрудничал с врачами из клиники высоких медицинских технологий им. Н. И. Пирогова. Результатом данной кооперации стал обмен знаниями о предметных областях. Сотрудники клиники предоставили необходимую информацию о заболеваниях аорты, а также обозначили ряд проблем в диагностике, предоставив примеры данных для изучения. Данные представляют собой двумерные снимки, полученные с помощью компьютерной томографии. Проблемой анализа снимков является изменение поперечного сечения аорты и обнаружение диссекции.
В результате, были сформированы следующие цели и задачи.
Целью данной работы является разработка нейросетевых методов для проведения анализа изображений аорты. Для достижения вышеупомянутой цели в рамках данной работы рассматриваются следующие задачи:
• подготовка датасета;
• сегментация аорты на изображениях;
• сегментация просветов аорты на изображениях;
• определение диаметра аорты на изображениях.
Решения поставленных задач, обусловило следующую структуру работы. Подготовка датасета, предобработка снимков, разделение на тренировочные и валидационные наборы представлены в главе 1 "Данные". Описание использованных нейросетевых моделей, аугментаций и метрик отображено в главе 2 "Машинное обучение". В третьей главе написано о задаче определения диаметра аорты на изображениях. В заключении сделаны итоговые выводы работы.
Практическая значимость работы
Результаты данной работы имеют значение для диагностики заболеваний аорты с использованием компьютерных технологий для медицинских организаций и, в частности, для клиники высоких медицинских технологий им. Н. И. Пирогова.
Обзор литературы
В рамках данной работы была предпринята попытка автоматического диагностирования расслоения аорты. Для достижения данной цели, автор решил задачу сбора данных и нашёл размеченные снимки компьютерной томографии. В результате их подготовки, был успешно реализован алгоритм для расширения набора данных сегментации аорты. Разработанный алгоритм позволил значительно повысить качество сегментации аорты и избежать переобучения на небольшом датасете. В итоге, были успешно созданы 3 набора готовых к обучению моделей сегментации, которые позволили не только решить поставленные задачи, но и проверить гипотезы, представленные в современных зарубежных работах по этой теме.
Одной из рассмотренных гипотез является использование дополнительной модели машинного обучения для сегментации аорты. По предположению автора, такое ’выделение’ объекта должно было локализовать сегментацию просветов аорты, повысив её точность. Было подтверждено улучшение качества сегментации, с помощью проведённого сравнения с использованием 3 различных архитектур, в том числе передовых трансформеров. Однако, также были выявлены негативные эффекты использования дополнительной модели. Ошибки первой модели, значительно понижают качество конечной сегментации. Таким образом две последовательные нейросети показывают результаты значительно хуже, чем использование одной.
В итоге работы с моделями машинного обучения в рамках поставленных целей и задач исследования, автор обучил суммарно 9 нейросетей. Для 3 различных задач, были проверены классический U-net с Resnet50, DeepLabV3 с Xception71 и передовой TransUnet. Результаты, полученные автором, позволили оценить достижения новых моделей и наметить будущие тенденции для улучшения архитектур сегментации. Непосредственным продуктом работы являются обученные передовые модели для сегментации аорты и её просветов. Была достигнута задача обнаружения диссекции и была подготовлена почва для измерения диаметра аорты.
Измерение расстояний на изображениях сложная задача ввиду неизвестности отношения к реальным размерам. Для её решения автором был предложен алгоритм автоматической оценки размеров. Используя данные настроек томографа и результаты сегментации аорты, алгоритм оценивает минимальный и максимальный диаметр аорты. Данные измерения, в свою очередь, также могут использоваться медиками в работе. Таким образом, последняя поставленная автором задача выполнена.
Данная тема имеет большие перспективы для дальнейшего исследования. Во-первых, результаты данной работы, возможно улучшить, добавив в обучение больше размеченных данных пациентов. Во-вторых, используя дополнительные вычислительные мощности, можно ускорить вычисления и обучить с нуля передовые нейросетевые модели. В-третьих, в будущем возможно использование более сложных моделей сегментации на основе трансформеров. С точки зрения продолжения работы над данной темой, сегментация 3D снимков, выпрямление аорты и классификация типа диссекции только часть возможных путей развития.
1. A review of 3D vessel lumen segmentation techniques: Models, features and extraction schemes / D. Lesage [и др.] // Medical image analysis. — 2009. — Т 13, № 6. — С. 819—845.
2. A semi-automated image segmentation approach for computational fluid dynamics studies of aortic dissection / J. R. Anderson [и др.] // 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. — IEEE. 2014. — С. 4727—4730.
3. A survey on deep learning in medical image analysis / G. Litjens [и др.]. — дек.2017.
4. A Three-Dimensional Deep Convolutional Neural Network for Automatic Segmentation and Diameter Measurement of Type B Aortic Dissection / Y. Yu [и др.]. — 2021.
5. Abdominal multi-organ segmentation with cascaded convolutional and adversarial deep networks / P.-H. Conze [и др.]. — 2020.
6. Albumentations: Fast and Flexible Image Augmentations / A. Buslaev [и др.] // Information. — 2020. — Т. 11, № 2.
7. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale / A. Dosovitskiy [и др.]. — 2020.
8. Anatomically Constrained Neural Networks (ACNNs): Application to Cardiac Image Enhancement and Segmentation / O. Oktay [и др.]. — фев.2018.
9. Artificial Intelligence to Detect Papilledema from Ocular Fundus Photographs / D. Milea [и др.]. — апр.2020.
10. Attention Is All You Need / A. Vaswani [и др.]. — 2017.
11. Automatic detection of aortic dissection in contrast-enhanced CT. In: Proceedings of the 2017 IEEE 14th International Symposium on Biomedical Imaging (ISBI 2017)./Dehghan E, Wang H, Syeda-Mahmood T./ Piscataway, NJ: Institute of Electrical and Electronics Engineers, 2017; 557-560.
12. Brain Tumor Segmentation Using Convolutional Neural Networks in MRI Images / S. Pereira [и др.]. — май.2016.
13. Chollet F. Xception: Deep Learning with Depthwise Separable Convolutions. — 2016.
14. Combo loss: Handling input and output imbalance in multi-organ segmentation / S. A. Taghanaki [и др.] // Computerized Medical Imaging and Graphics. —
2019. — Т 75. — С. 24—33.
15. Comparison of Deep-Learning-Based Segmentation Models: Using Top View Person Images / I. Ahmed [и др.]. — 2020.
16. Yi-de M., Qing L., Zhi-Bai Q. Automated image segmentation using improved PCNN model based on cross-entropy // Proceedings of 2004 International Symposium on Intelligent Multimedia, Video and Speech Processing, 2004. — IEEE. 2004. — С. 743—746.
17. Deep learning algorithm for detection of aortic dissection on non-contrast- enhanced CT / A. Hata [и др.]. — авг.2020.
18. Deep learning with non-medical training used for chest pathology identification / Y. Bar [и др.] // Medical Imaging 2015: Computer-Aided Diagnosis. Т.
9414. — International Society for Optics, Photonics. 2015. — С. 94140V.
19. Deep Residual Learning for Image Recognition / K. He [и др.]. — 2015.
20. Detection, segmentation, simulation and visualization of aortic dissections: A review / A. Pepe [и др.] // Medical image analysis. — 2020. — Т. 65. — С. 101773.
21. Diagnostic Accuracy of a Machine-Learning Approach to Coronary Computed Tomographic Angiography-Based Fractional Flow Reserve / A. Coenen
[и др.]. — июн.2018.
22. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation / L.-C. Chen [и др.]. — 2018.
23. Full left ventricle quantification via deep multitask relationships learning / W. Xue [и др.]. — янв.2018.
24. Github репозиторий с кодом работы. — 2022. —https://github.com/WhiteSpirt25/NeuralAortaDiagnostics.
25. Google Colaboratory. — 2022. —https : / /colab . research . google .com.
26. How is artificial intelligence used in medicine? — 2020. — URL:https ://www.ibm.com/topics/artificial-intelligence-medicine.
27. Image Segmentation Using Deep Learning: A Survey / S. Minaee [и др.]. —
2020.
28. ImageTBAD: A 3D Computed Tomography Angiography Image Dataset for Automatic Segmentation of Type-B Aortic Dissection / Z. Yao [и др.]. — 2021.
29. JPEG. — 05.2022. — URL:https://en.wikipedia.org/wiki/JPEG.
30. Krizhevsky A., Sutskever I., Hinton G. E. Imagenet classification with deep convolutional neural networks // Advances in neural information processing systems. — 2012. — Т. 25.
31. Language Models are Few-Shot Learners / T. B. Brown [и др.]. — 2020.
32. Lee N., Tek H., Laine A. F. True-false lumen segmentation of aortic dissection using multi-scale wavelet analysis and generative-discriminative model matching // Medical Imaging 2008: Computer-Aided Diagnosis. Т. 6915. — International Society for Optics, Photonics. 2008. — С. 69152V.
33. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE conference on computer vision and pattern recognition. — 2015. — С. 3431—3440.
34. MDFA-Net: Multiscale dual-path feature aggregation network for cardiac segmentation on multi-sequence cardiac MR / F. Li [и др.]. — мар.2021.
35. Multi-stage learning for segmentation of aortic dissections using a prior aortic anatomy simplification / D. Chen [и др.]. — апр.2021.
36. Pal R. Deep Learning: The Fastest Growing Tech. in the World. — 2020. — URL:https : //rajtilakls2510 . medium . com/deep- learning- the -fastest-growing-tech-in-the-world-6cd2636a68bf.
37. Papers with code - the latest in machine learning. — URL:https : //paperswithcode.com/.
38. Pytorch documentation - optimization algorithms and learning rate schedulers. — URL:https://pytorch.org/docs/stable/optim.html.
39. PyTorch learning rate finder. — 2020. —https://github.com/davidtvs/pytorch-lr-finder.
40. PyTorch: An Imperative Style, High-Performance Deep Learning Library / A. Paszke [и др.] // Advances in Neural Information Processing Systems 32. — Curran Associates, Inc., 2019. — С. 8024—8035.
41. Rethinking Atrous Convolution for Semantic Image Segmentation / L.-C. Chen [и др.]. — 2017.
42. Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. — 2015.
43. SegTHOR: Segmentation of Thoracic Organs at Risk in CT images / Z. Lambert [и др.]. — 2019.
44. Semi-automatic segmentation and detection of aorta dissection wall in MDCT angiography / K. Krissian [и др.]. — янв.2014.
45. Smith L. N. Cyclical learning rates for training neural networks // 2017 IEEE winter conference on applications of computer vision (WACV). — IEEE. 2017. — С. 464—472.
46. Sparse matrix. — 03.2022. — URL:https://en.wikipedia.org/wiki/Sparse_matrix.
47. Swin Transformer: Hierarchical Vision Transformer using Shifted Windows / Z. Liu [и др.]. — 2021.
48. TransUNet: Transformers Make Strong Encoders for Medical Image Segmentation J. Chen [и др.] // arXiv preprint arXiv:2102.04306. — 2021.
49. Van Rossum G., Drake F. L. Python 3 Reference Manual. — Scotts Valley, CA : CreateSpace, 2009.
50. Xie Y., Ji Q. A new efficient ellipse detection method // Object recognition supported by user interaction for service robots. — 2002. — Т. 2. — 957— 960 vol.2.
51. Yakubovskiy P. Segmentation Models Pytorch. — 2020. —https : //github.com/qubvel/segmentation_models.pytorch.