Генерация медицинского заключения для рентгеновских снимков грудной клетки при помощи нейронных сетей
|
Аннотация 2
ВВЕДЕНИЕ 4
1 Рентгенологическая диагностика 6
1.1 Описание рентгеновского снимка 7
1.2 Роль рентгенологического исследования в диагностике патологий 9
1.3 Рентгенологическое обнаружение патологий дыхательной системы и легких 10
1.4 Компьютерное зрение 14
1.5 Обработка естественного языка 15
2 Искусственные нейронные сети 17
2.1 Функция активации 18
2.1.1 Ступенчатая функция 19
2.1.2 Логистическая функция 20
2.1.3 Г иперболисеский тангенс 21
2.1.4 Функция выпрямленного линейного блока 21
2.2 Функция потерь 23
2.2.1 Среднеквадратическая ошибка 24
2.2.2 Средняя абсолютная ошибка 24
2.2.3 Кросс энтропия 25
2.3 Обучение искусственной нейронной сети 26
2.3.1 Адаптивная оценка момента 28
2.4 Проблема переобучения 29
2.5 Сверточные нейронные сети 31
2.5.1 Принцип работы сверточных нейронных сетей 32
2.5.2 Обучение сверточных нейронных сетей 36
2.5.3 Архитектуры сверточных нейронных сетей 37
2.6 Рекурентные нейронные сети 42
2.6.1 Долгая краткосрочная память 43
2.6.2 Управляемый рекуррентный блок 45
2.7 Трансформерная архитектура 47
2.7.1 Визуальные трансформеры 48
2.7.2 Swin Transformer 50
2.7.3 Языковая модель GPT-2 51
2.8 Трансферное обучение 53
3 Сбор, анализ и обработка данных 55
3.1 Используемый набор данных 55
3.2 Предварительная обработка изображений 58
3.3 Предварительная обработка текстовых данных 60
4 Метрики качества 63
5 Построение моделей и результаты 65
ЗАКЛЮЧЕНИЕ 76
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 78
ВВЕДЕНИЕ 4
1 Рентгенологическая диагностика 6
1.1 Описание рентгеновского снимка 7
1.2 Роль рентгенологического исследования в диагностике патологий 9
1.3 Рентгенологическое обнаружение патологий дыхательной системы и легких 10
1.4 Компьютерное зрение 14
1.5 Обработка естественного языка 15
2 Искусственные нейронные сети 17
2.1 Функция активации 18
2.1.1 Ступенчатая функция 19
2.1.2 Логистическая функция 20
2.1.3 Г иперболисеский тангенс 21
2.1.4 Функция выпрямленного линейного блока 21
2.2 Функция потерь 23
2.2.1 Среднеквадратическая ошибка 24
2.2.2 Средняя абсолютная ошибка 24
2.2.3 Кросс энтропия 25
2.3 Обучение искусственной нейронной сети 26
2.3.1 Адаптивная оценка момента 28
2.4 Проблема переобучения 29
2.5 Сверточные нейронные сети 31
2.5.1 Принцип работы сверточных нейронных сетей 32
2.5.2 Обучение сверточных нейронных сетей 36
2.5.3 Архитектуры сверточных нейронных сетей 37
2.6 Рекурентные нейронные сети 42
2.6.1 Долгая краткосрочная память 43
2.6.2 Управляемый рекуррентный блок 45
2.7 Трансформерная архитектура 47
2.7.1 Визуальные трансформеры 48
2.7.2 Swin Transformer 50
2.7.3 Языковая модель GPT-2 51
2.8 Трансферное обучение 53
3 Сбор, анализ и обработка данных 55
3.1 Используемый набор данных 55
3.2 Предварительная обработка изображений 58
3.3 Предварительная обработка текстовых данных 60
4 Метрики качества 63
5 Построение моделей и результаты 65
ЗАКЛЮЧЕНИЕ 76
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 78
В настоящее время, технологии искусственного интеллекта, включая машинное обучение, искусственные нейронные сети и глубокое обучение, приобрели огромную популярность. Они предоставляют возможности для улучшения эффективности и точности выполнения задач. Актуальность развития машинного обучения в целом, и в медицине в частности, состоит в том, что применение данных технологий способствует повышению скорости, качества и надежности выполнения целого спектра задач. С развитием информационных технологий и возросшим доступом к медицинским данным, появилась возможность использовать автоматизированные методы обработки медицинских изображений и текстов для повышения эффективности и точности диагностики.
В частности, процесс чтения и интерпретации радиологических изображений обычно осуществляется квалифицированными специалистами, такими как радиологи и патологоанатомы. Эти специалисты составляют текстовые отчеты в письменном виде, описывающие результаты их анализа каждой анатомической области, представленной на изображении, и указывающие на ее нормальные, аномальные или потенциально аномальные характеристики.
Однако, для менее опытных медицинских специалистов, особенно тех, кто работает в малонаселенных районах с низким уровнем медицинского обслуживания, составление отчетов по медицинским изображениям требует значительных усилий. Например, для правильной интерпретации изображений магнитно-резонансной томографии (МРТ) мозга необходимо обладать глубоким пониманием анатомии и функции мозга, а также способностью распознавать патологические изменения, которые могут быть неочевидными для неподготовленного наблюдателя.
В странах с высокой плотностью населения, таких как Индия или Китай, каждый день врачам приходится заполнять огромное число отчетов, количество которых исчисляется сотнями, что отнимает у них много времени. Процесс написания такого отчета обычно занимает около 5-10 минут. В результате как опытным, так и неопытным медицинским специалистам составление отчетов по визуализации медицинских изображений представляет собой трудоемкий процесс.
Актуальность данной работы обусловлена несколькими факторами. Во-первых, современные технологии и методы обработки медицинских изображений и текстов имеют огромный потенциал для улучшения диагностики и лечения пациентов. С помощью автоматизированных методов можно обнаруживать и анализировать патологии на изображениях с большей точностью и скоростью, что может привести к более раннему выявлению заболеваний и принятию более верного решения дальнейшего лечения. Во-вторых, с появлением больших объемов медицинских данных и электронных медицинских записей становится все сложнее эффективно управлять и анализировать эту информацию. То есть у врачей и исследователей возникает потребность в применении современных технологий для автоматизации процесса анализа и интерпретации данных. В-третьих, использование машинного обучения и глубокого обучения позволяет создавать модели, способные обучаться на больших наборах данных и принимать решения, аналогичные решениям врачей. Это может значительно повысить эффективность диагностики и помочь в принятии взвешенных решений о лечении пациентов.
Целью работы является построение модели глубокого обучения, которая будет автоматически генерировать медицинское заключение по рентгеновским снимкам грудной клетки.
Для достижения поставленной цели необходимо решить задачи
1. Изучить предметную область;
2. Изучить принцип работы искусственных нейронных сетей, а также определить подходящие варианты их архитектур в рамках данной работы;
3. Изучить современные подходы, применяемые для задач, связанных с генерацией текстовой информации;
4. Выполнить обучение подобранных вариантов моделей;
5. Провести их оценку с использованием метрик качества.
В частности, процесс чтения и интерпретации радиологических изображений обычно осуществляется квалифицированными специалистами, такими как радиологи и патологоанатомы. Эти специалисты составляют текстовые отчеты в письменном виде, описывающие результаты их анализа каждой анатомической области, представленной на изображении, и указывающие на ее нормальные, аномальные или потенциально аномальные характеристики.
Однако, для менее опытных медицинских специалистов, особенно тех, кто работает в малонаселенных районах с низким уровнем медицинского обслуживания, составление отчетов по медицинским изображениям требует значительных усилий. Например, для правильной интерпретации изображений магнитно-резонансной томографии (МРТ) мозга необходимо обладать глубоким пониманием анатомии и функции мозга, а также способностью распознавать патологические изменения, которые могут быть неочевидными для неподготовленного наблюдателя.
В странах с высокой плотностью населения, таких как Индия или Китай, каждый день врачам приходится заполнять огромное число отчетов, количество которых исчисляется сотнями, что отнимает у них много времени. Процесс написания такого отчета обычно занимает около 5-10 минут. В результате как опытным, так и неопытным медицинским специалистам составление отчетов по визуализации медицинских изображений представляет собой трудоемкий процесс.
Актуальность данной работы обусловлена несколькими факторами. Во-первых, современные технологии и методы обработки медицинских изображений и текстов имеют огромный потенциал для улучшения диагностики и лечения пациентов. С помощью автоматизированных методов можно обнаруживать и анализировать патологии на изображениях с большей точностью и скоростью, что может привести к более раннему выявлению заболеваний и принятию более верного решения дальнейшего лечения. Во-вторых, с появлением больших объемов медицинских данных и электронных медицинских записей становится все сложнее эффективно управлять и анализировать эту информацию. То есть у врачей и исследователей возникает потребность в применении современных технологий для автоматизации процесса анализа и интерпретации данных. В-третьих, использование машинного обучения и глубокого обучения позволяет создавать модели, способные обучаться на больших наборах данных и принимать решения, аналогичные решениям врачей. Это может значительно повысить эффективность диагностики и помочь в принятии взвешенных решений о лечении пациентов.
Целью работы является построение модели глубокого обучения, которая будет автоматически генерировать медицинское заключение по рентгеновским снимкам грудной клетки.
Для достижения поставленной цели необходимо решить задачи
1. Изучить предметную область;
2. Изучить принцип работы искусственных нейронных сетей, а также определить подходящие варианты их архитектур в рамках данной работы;
3. Изучить современные подходы, применяемые для задач, связанных с генерацией текстовой информации;
4. Выполнить обучение подобранных вариантов моделей;
5. Провести их оценку с использованием метрик качества.
В ходе исследования была разработана и протестирована система генерации медицинских заключений по рентгеновским снимкам грудной клетки с использованием нейронных сетей. Основные этапы включали выбор и настройку моделей, таких как VGG16, Inceptionv3 и CheXNet, а также разработку визуально-языковой модели на основе Swin Transformer и GPT-2.
Результаты показали, что модели, использованные для генерации заключений, обладают различной степенью точности и полноты. Inceptionv3 продемонстрировала лучшую способность к распознаванию основных медицинских элементов рентгеновских снимков, таких как размер сердца и состояние легких, но она имела трудности с интерпретацией более сложных и специфических диагнозах. CheXNet, хотя и обладала высоким уровнем распознавания однословных фраз, также не всегда корректно интерпретировала более сложные медицинские данные. Визуально-языковая модель, включающая Swin Transformer и GPT-2, показала потенциал в генерации текстов, близких к реальным медицинским отчетам, но также имела свои недостатки, такие как пропуск важных клинических деталей.
В целом, результаты подтверждают, что использование нейронных сетей для автоматической генерации медицинских заключений имеет значительный потенциал, но требует дальнейшего улучшения и доработки для достижения клинически приемлемого уровня точности и полноты. Высокие значения BERTScore указывают на значительную семантическую схожесть с исходными текстами, что подтверждает потенциал моделей в генерации осмысленных медицинских отчетов.
Для повышения точности и полноты генерируемых заключений необходимо проводить дальнейшие исследования и оптимизацию моделей, включая
• Расширение обучающего набора данных;
• Доработку архитектуры моделей для лучшего понимания и интерпретации сложных медицинских данных;
• Интеграцию с существующими клиническими информационными системами, что позволит эффективно использовать разработанные модели в медицинской практике.
• Тестирование моделей в реальных клинических условиях для оценки их практической применимости и выявления дополнительных областей для улучшения.
Также хочу отметить, что для визуально-языковой модели, помимо Swin Transformer, можно использовать другие современные и мощные архитектуры трансформеров и моделей компьютерного зрения, включая: DETR (Detection Transformer), ConvNeXt и U-Net [61].
Несмотря на то, что модель GPT-2 показала довольно неплохие результаты после тонкой настройки, можно рассмотреть использование более современных и мощных языковых моделей, особенно если имеются высокопроизводительные вычислительные мощности, к которым, в рамках выполнения данной работы, у меня не было доступа. Вот некоторые из них: GPT-3, T5 (Text-to-Text Transfer Transformer), BART (Bidirectional and Auto-Regressive Transformers), PaLM (Pathways Language Model), а также использование LLaMA2 и недавно представленной LLaMA3.
Внедрение этих моделей и их адаптация для медицинских задач требуют дополнительных исследований и тестирования, однако они могут стать основой для создания высокоэффективных систем автоматической генерации медицинских заключений.
Результаты показали, что модели, использованные для генерации заключений, обладают различной степенью точности и полноты. Inceptionv3 продемонстрировала лучшую способность к распознаванию основных медицинских элементов рентгеновских снимков, таких как размер сердца и состояние легких, но она имела трудности с интерпретацией более сложных и специфических диагнозах. CheXNet, хотя и обладала высоким уровнем распознавания однословных фраз, также не всегда корректно интерпретировала более сложные медицинские данные. Визуально-языковая модель, включающая Swin Transformer и GPT-2, показала потенциал в генерации текстов, близких к реальным медицинским отчетам, но также имела свои недостатки, такие как пропуск важных клинических деталей.
В целом, результаты подтверждают, что использование нейронных сетей для автоматической генерации медицинских заключений имеет значительный потенциал, но требует дальнейшего улучшения и доработки для достижения клинически приемлемого уровня точности и полноты. Высокие значения BERTScore указывают на значительную семантическую схожесть с исходными текстами, что подтверждает потенциал моделей в генерации осмысленных медицинских отчетов.
Для повышения точности и полноты генерируемых заключений необходимо проводить дальнейшие исследования и оптимизацию моделей, включая
• Расширение обучающего набора данных;
• Доработку архитектуры моделей для лучшего понимания и интерпретации сложных медицинских данных;
• Интеграцию с существующими клиническими информационными системами, что позволит эффективно использовать разработанные модели в медицинской практике.
• Тестирование моделей в реальных клинических условиях для оценки их практической применимости и выявления дополнительных областей для улучшения.
Также хочу отметить, что для визуально-языковой модели, помимо Swin Transformer, можно использовать другие современные и мощные архитектуры трансформеров и моделей компьютерного зрения, включая: DETR (Detection Transformer), ConvNeXt и U-Net [61].
Несмотря на то, что модель GPT-2 показала довольно неплохие результаты после тонкой настройки, можно рассмотреть использование более современных и мощных языковых моделей, особенно если имеются высокопроизводительные вычислительные мощности, к которым, в рамках выполнения данной работы, у меня не было доступа. Вот некоторые из них: GPT-3, T5 (Text-to-Text Transfer Transformer), BART (Bidirectional and Auto-Regressive Transformers), PaLM (Pathways Language Model), а также использование LLaMA2 и недавно представленной LLaMA3.
Внедрение этих моделей и их адаптация для медицинских задач требуют дополнительных исследований и тестирования, однако они могут стать основой для создания высокоэффективных систем автоматической генерации медицинских заключений.
