Введение 3
Постановка задачи 5
Обзор литературы 6
Исходные данные 11
Глава 1. Применение методов обработки изображений 13
1.1. Матрица смежности уровней серого 13
1.2. Геометрический фильтр Кримминса 15
1.3. Фильтр «Нерезкое маскирование» 16
1.4. Фильтры Габора 17
Глава 2. Архитектуры нейронных сетей для сегментации изображений 19
2.1. U-Net 19
2.2. Residual U-Net 20
2.3. ResUnet++ 22
2.4. UNet++ 23
Глава 3. Разработка и реализация алгоритма автоматической сегментации .. 24
3.1. Предварительная обработка изображений 25
3.2. Сегментация изображений 29
3.2.1. Обучение без дополнительной предварительной обработки 30
3.2.2. Обучение с применением дополнительной предварительной обработки 34
Выводы 36
Заключение 37
Список литературы 38
Обработка медицинских изображений - трудоемкий процесс, требующий предельной внимательности и профессионализма от специалиста, а также определенных временных затрат. Во многих случаях быстрая и своевременная диагностика может в значительной мере облегчить и ускорить процесс выздоровления пациента.
Анализ медицинских изображений используется как основной метод диагностики многих заболеваний позвоночника. Как правило, эти заболевания сопровождаются болью в спине, которая мешает человеку нормально жить. В таком случае от скорости диагностики зависит не только то, как быстро человек получит необходимое лечение, но и то, насколько длительный курс реабилитации будет необходимо пройти.
Для исследования состояния позвоночника используется несколько способов:
1. Традиционная рентгенография позвоночника. Используется в качестве первоначального этапа исследования состояния позвоночного столба и позволяет выявить только явные проблемы - значительные переломы и трещины, а также оценить общее состояние костей и позвонков. Для уточнения картины заболевания или в случае, когда симптомы сохраняются после проведенного лечения, назначаются дополнительные исследования (КТ или МРТ).
2. Компьютерная томография (КТ) - наиболее эффективный метод для исследования состояния костных структур, диагностики сложных травм позвоночника и кровотечений.
3. Магнитно-резонансная томография (МРТ) - позволяет получить полное представление о состоянии и строении мягких тканей. Используется для обнаружения опухолей или воспалительных изменений в суставах, межпозвоночных дисках, спинном мозге, а также для обнаружения деформаций при остеохондрозе, грыже или протрузии.
Актуальность исследования: По данным ВОЗ примерно 1.71 миллиарда человек по всему миру страдают от нарушений и болезней костно-мышечной системы, из них 568 миллионов приходится на люмбаго (острая боль в поясничном отделе позвоночника, независимо от причины возникновения) [1]. Зачастую длительная боль в пояснице оказывает значительное влияние на психоэмоциональное состояние человека, а также на другие сферы его жизни. Кроме того, боль в пояснице считается одной из самых частых причин инвалидности во всем мире [2].
К основным факторам риска развития люмбаго относятся: возраст старше 30 лет, плохая физическая форма, сидячая работа или работа, связанная с поднятием тяжестей, стрессы и нездоровый образ жизни. По прогнозам, количество людей, страдающих от болей в пояснице, будет возрастать, в странах с низким и средним уровнем жизни темпы роста будут наиболее высоки [3].
В последнее время активно идет разработка и создание средств для автоматизации обработки и анализа медицинских изображений, в том числе МРТ изображений позвоночника. Использование данных методов позволит ускорить процесс обработки изображений, кроме того, подобные программы могут обеспечить более раннюю диагностику, обнаружив физические отклонения малых размеров, которые врач еще не может заметить. Подавляющее большинство подобных разработок ведется зарубежными исследователями.
Также существуют коммерческие решения зарубежных компаний. Однако, их использование в России зачастую затруднительно из-за высокой стоимости, сложностей перевода медицинских терминов, отсутствия всех необходимых для специалистов функций и т.д.
Постановка задачи
Целью данной работы является разработка метода автоматической сегментации МРТ изображений, который позволит выделить каждый позвонок и позвоночный отросток.
В рамках поставленной цели были выделены следующие этапы:
1. Предварительная обработка изображений. Выбор методов обработки изображений на основе анализа литературы и их применение. Подготовка изображений к обучению.
2. Сегментация изображений. Исследование существующих архитектур сверточных нейронных сетей, используемых для сегментации изображений. Выбор подходящих для данной задачи.
3. Оценка полученных результатов. Сравнение результатов сегментации изображений для моделей с различными архитектурами и методами предварительной обработки изображений.
В данной работе представлен разработанный алгоритм сегментации МРТ изображений, который включает в себя предобработку, а также применение сверточных нейронных сетей на основе архитектур семейства U- Net.
Предварительная обработка включает в себя: приведение к одному формату и размеру; затемнение областей, не представляющих интереса; для некоторых изображений потребовалась коррекция контрастности и построение маски. Для повышения точности сегментации были предложены несколько методов дополнительной предварительной обработки изображений.
Реализовано несколько моделей сверточных нейронных сетей: U-Net, ResUnet, ResUnet++, UNet++, а также проведено сравнение точности сегментации для различных архитектур и методов предварительной обработки.
1. Cieza, A., K. Causey, K. Kamenov, S.W. Hanson, S. Chatterji et al., 2020. Global estimates of the need for rehabilitation based on the Global Burden of Disease study 2019: a systematic analysis for the Global Burden of Disease Study 2019. The Lancet, 369, pp. 2006-2017.
2. Jafarinia, M., T. Vos, S. Lim, M. Naghavi, C. Murray et al., 2020. Global burden of 369 diseases and injuries in 204 countries and territories, 1990-2019: a systematic analysis for the Global Burden of Disease Study 2019. The Lancet, 369, pp. 1204-1222.
3. Hartvigsen J, M.J. Hancock, A. Kongsted et al., 2018. What low back pain is and why we need to pay attention. The Lancet; 391, pp. 2356-2367.
4. Jusman, Y., L.A. Dewiprabamukti, A.N.N. Chamim, Z. Mohamed, S.N.A.M. Kanafiah and N.H.A. Halim, 2020. Application of Watershed Algorithm and Gray Level Co-Occurrence Matrix in Leukemia Cells Images. 3rd International Conference on Mechanical, Electronics, Computer, and Industrial Technology (MECnIT), Medan, Indonesia, pp. 9-14.
5. Pratap, T. and P. Kokil, 2019. Approximate Optimization of Gabor Filter Parameters in Application to Blood Vessel Segmentation in Retinal Images. WIE Conference on Electrical and Computer Engineering (WIECON-ECE), IEEE International, pp. 1-5.
6. Wen, Z., R. Feng, J. Liu, Y. Li and S. Ying, 2021. GCSBA-Net: Gabor-Based and Cascade Squeeze Bi-Attention Network for Gland Segmentation. IEEE Journal of Biomedical and Health Informatics, 25(4), pp. 1185-1196.
7. Yookwan, W., K. Chinnasarn and B. Jantarakongkul, 2018. Automated Vertebrae Pose Estimation in Low-Radiation Image using Modified Gabor Filter and Ellipse Analysis. 5th International Conference on Advanced Informatics: Concept Theory and Applications (ICAICTA), IEEE, pp. 141-146.
8. Cruz-Aceves, I., F. Oloumi, R.M. Rangayyan, J.G. Avina-Cervantes and A. Hernandez-Aguirre, 2016. Automatic segmentation of coronary arteries using Gabor filters and thresholding based on multiobjective optimization. Biomedical Signal Processing and Control, 25: 76-85.
9. Jaware, T.H., V.R. Patil, R.D. Badgujar, S. Bhattacharyya, R. Dey, and R.S. Dhar, 2021. Performance Investigations of Filtering Methods for T1 and T2 Weighted Infant Brain MR Images. Microsystem Technologies, pp. 1-13.
10. Loizou, C.P., C.S. Pattichis, C.I. Christodoulou, R.S. Istepanian, M. Pantziaris and A. Nicolaides, 2005. Comparative evaluation of despeckle filtering in ultrasound imaging of the carotid artery. IEEE Transactions on Ultrasonics, Ferroelectrics and Frequency Control, 52: pp. 1653-1669.
11. Hille G., S. Saalfeld, S. Serowy, and K. Tonnies, 2018. Vertebral body segmentation in wide range clinical routine spine MRI data. Computer Methods and Programs in Biomedicine, 155: 93-99
12. Mikulka J., D. Chalupa, J. Svoboda, M. Filipovic, M. Repko and M. Maxova, 2020. Multimodal and Multiparametric Spatial Segmentation of Spine. 19th International Conference on Mechatronics-Mechatronika (ME), IEEE, pp. 1¬5.
13. Gawel D., P. Glowka, T, Kotwicki and M. Nowak, 2018. Automatic spine tissue segmentation from MRI data based on cascade of boosted classifiers and active appearance model. BioMed Research International, vol. 2018, pp. 13.
14. Jamaludin, A., 2017. Automated analysis of spinal MRI using deep learning, PhD thesis, St Hilda’s College, Oxford.
15. Lu J-T., S. Pedemonte, B. Bizzo et al., 2018. Deep spine: automated lumbar vertebral segmentation, disc-level designation, and spinal stenosis grading using deep learning. Machine Learning for Healthcare Conference, pp. 403-419.
16. Lessmann N., B. van Ginneken, P.A. de Jong, and I. Isgum, 2019. Iterative Fully Convolutional Neural Networks for Automatic Vertebra Segmentation and Identification. Medical Image Analysis, 53 pp. 142-155.
17. Zukic D., A. Vlasak, J. Egger, D. Hofinek, C. Nimsky and A. Kolb, 2014. Robust detection and segmentation for diagnosis of vertebral diseases using routine MR images. Computer Graphics Forum, 33(6), pp. 190-204.
18. Haralick R. M. Statistical and structural approaches to texture, 1979. Proceedings of the IEEE, 67(5), pp. 786-804.
19. Haralick R. M. K. Shanmugan, I. Dinstein, 1979. Textural Features for Image Classification. IEEE Transactions on systems, man and cybernetics, vol. 6, pp. 610-621.
20. Crimmins, T. R. 1986. Geometric filter for reducing speckle. Optical Engineering, 25(5), pp. 651-654.
21. Unsharp masking [Электронный ресурс]: Википедия. Свободная
энциклопедия. - Режим доступа:
https://en.wikipedia.org/wiki/Unsharp_masking (дата обращения:
10.04.2021).
22. Gabor filter [Электронный ресурс]: Википедия. Свободная
энциклопедия. - Режим доступа: https://en.wikipedia.org/wiki/Gabor_filter(дата обращения: 5.04.2021).
23. Ronneberger O., P. Fischer and T. Brox, 2015. U-Net: convolutional networks for biomedical image segmentation. International Conference on Medical image computing and computer-assisted intervention, Springer, Cham, pp. 234-241.
24. Zhang, Z., Q. Liu, and Y. Wang, 2018. Road extraction by deep residual U- Net. IEEE Geoscience and Remote Sensing Letters, 15(5), pp.749-753.
25. Jha D, P.H. Smedsrud, M.A. Riegler et al., 2019. ResUNet++: An advanced architecture for medical image segmentation. IEEE International Symposium on Multimedia (ISM), pp. 225-2255.
26. Zhao T. et al. UNet++-Based multi-channel speech dereverberation and distant speech recognition, 2021 12th International Symposium on Chinese Spoken Language Processing (ISCSLP), Chinese Spoken Language Processing (ISCSLP), pp. 1-5.