РАЗРАБОТКА И РЕАЛИЗАЦИЯ АЛГОРИТМА ИДЕНТИФИКАЦИИ ГОЛОГРАФИЧЕСКИХ ИЗОБРАЖЕНИЙ НА БАЗЕ СВЁРТОЧНОЙ НЕЙРОННОЙ СЕТИ
|
Аннотация
ВВЕДЕНИЕ 5
1 МЕТОДЫ И АЛГОРИТМЫ ЛОКАЛИЗАЦИИ ОБЪЕКТА НА
ИЗОБРАЖЕНИИ 10
1.1 Принципы построения обучающей выборки и биологическая
систематика планктона 10
1.2 Методы оптической детекции планктона 12
1.3 Нейронные сети 14
1.4 Нейронные сети в цифровой голографии частиц 17
2 МЕТОДЫ ИССЛЕДОВАНИЯ 20
2.1 Метод Виолы-Джонса 20
2.1.1 Прямоугольные признаки Хаара 20
2.1.2 Интегральное представление изображения 21
2.1.3 Сканирующее окно 22
2.2 Обучение нейронной сети 23
3. ВЫБОР СРЕДЫ РАЗРАБОТКИ ПРОГРАММНОЙ СИСТЕМЫ 27
3.1 Структура системы 27
4. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ 29
4.1 Алгоритм разработки 29
4.2 Разработка 29
4.3 Область применимости алгоритма 31
4.4 Оценка вероятностей правильной локализации объектов 32
4.5 Рекомендации по модификации системы 34
4.6 Благодарности 35
ЗАКЛЮЧЕНИЕ 36
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 37
ВВЕДЕНИЕ 5
1 МЕТОДЫ И АЛГОРИТМЫ ЛОКАЛИЗАЦИИ ОБЪЕКТА НА
ИЗОБРАЖЕНИИ 10
1.1 Принципы построения обучающей выборки и биологическая
систематика планктона 10
1.2 Методы оптической детекции планктона 12
1.3 Нейронные сети 14
1.4 Нейронные сети в цифровой голографии частиц 17
2 МЕТОДЫ ИССЛЕДОВАНИЯ 20
2.1 Метод Виолы-Джонса 20
2.1.1 Прямоугольные признаки Хаара 20
2.1.2 Интегральное представление изображения 21
2.1.3 Сканирующее окно 22
2.2 Обучение нейронной сети 23
3. ВЫБОР СРЕДЫ РАЗРАБОТКИ ПРОГРАММНОЙ СИСТЕМЫ 27
3.1 Структура системы 27
4. РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ИХ ОБСУЖДЕНИЕ 29
4.1 Алгоритм разработки 29
4.2 Разработка 29
4.3 Область применимости алгоритма 31
4.4 Оценка вероятностей правильной локализации объектов 32
4.5 Рекомендации по модификации системы 34
4.6 Благодарности 35
ЗАКЛЮЧЕНИЕ 36
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 37
Актуальность. Многие области науки, техники и производства активно развивают системы, где информация представлена в виде изображений. Обработка такой информации вызывает множество проблем, одной из которых является реализация обработки и распознавания изображений. Актуальность этой проблемы подтверждается тем, что исследования в данной области включены в приоритетные направления развития науки и техники, на федеральном уровне [1].
Распознавание изображений находит широкое применение в различных областях, таких как контроль топологии печатных плат, анализ текстуры ткани, робототехника и системы экологического мониторинга. В настоящий момент наиболее распространённым решением таких задач является применение нейронных сетей - это компьютерные модели, вдохновленные работой нервной системы живых организмов. Они состоят из множества искусственных нейронов, которые соединены между собой и обрабатывают информацию. Нейронные сети способны обучаться на основе набора данных, а затем использовать полученные данные для решения различных задач.
Свёрточные нейронные сети являются одним из типов нейронных сетей, которые широко применяются в обработке и анализе изображений. Они специально разработаны для эффективной работы с двухмерными структурами данных, такими как изображения. Свёрточные нейронные сети обладают способностью автоматически извлекать иерархические признаки из изображений, начиная с простых форм и текстур и заканчивая более сложными объектами и концепциями.
Свёрточные нейронные сети широко применяются в областях компьютерного зрения, распознавания образов, системах экологического мониторинга и различных других областях, где приходится работать с изображениями. Некоторые из них включают:
• Мониторинг лесных пожаров: анализ спутниковых изображений для обнаружения области возгорания [2].
• Мониторинг водных ресурсов: для анализа снимков спутников и дронов, чтобы определить качество воды, обнаружить водные водоросли и водные растения, а также оценить экологическое состояние водных систем [3].
• Мониторинг биоразнообразия: анализ изображений животных и растений для определения их видового состава и оценки биоразнообразия в различных экосистемах.
• Мониторинг загрязнения окружающей среды: анализ изображений, полученных с датчиков и камер наблюдения, с целью обнаружения и классификации различных источников загрязнения окружающей среды, таких как выбросы промышленных предприятий или отходы [4].
Планктон является важной частью всех водоемов и океанов, он играет ключевую роль в биосфере Земли, обеспечивая циркуляцию элементов в экосистеме, участвует в накоплении и разложении органического вещества, а также служит источником питания для множества других организмов. Изменения в составе и размерах планктона могут сигнализировать о нарушениях в экосистеме и помогать предсказать будущие изменения в ней. Поэтому исследование планктона не только позволяет лучше понимать функционирование экосистем, но также может иметь практическое значение для принятия решений по управлению и сохранению биоразнообразия.
Планктон делиться на три основных царства - это зоопланктон, фитопланктон и бактериопланктон. В данной работе рассматривается зоопланктон, а именно автохтонный зоопланктон. Это группа организмов, которые возникли в процессе эволюции в данной местности и живут в ней в настоящее время, они обитают в морях и океанах и питаются органическими остатками и микроорганизмами. Зоопланктон играет большую роль в очистке водоёмов от загрязнений. Организмы зоопланктона питаются фитопланктоном, бактериопланктоном, детритом или более мелкими представителями зоопланктона. Изменение в его популяции или видового разнообразия напрямую может сказать об изменении экологического состояния водоёма. Поэтому важно контролировать уровень популяции каждого из видов планктона для каждого конкретно взятого водоёма, чтобы можно было отследить динамику изменения этих параметров и принять соответствующие меры для улучшения экологии водоёмов. Также контроль популяции планктона очень важен в рыбопромысловой отрасли, потому что для обеспечения стабильного роста рыбы, ей требуется постоянное и стабильное питание, а около 80% общего вылова рыбы приходиться на планктонофагов [5].
Оценка численности планктона является важным аспектом изучения водоемов и морей, так как позволяет определить разнообразие и состав водных организмов, а также оценить состояние экосистемы в целом. Оценка качества воды с помощью изучения популяций планктона является широко используемым методом для определения состояния экосистемы. Поскольку популяции планктона являются очень чувствительными к изменениям условия обитания, то изменения в их численности и составе могут указывать на изменения в качестве воды. Существует ряд различных методов для оценки численности планктона, некоторые из них описаны ниже:
• Метод сетевого отлова - этот метод основан на сборе образцов зоопланктона в сеть с известной площадью и длиной мешков, после чего происходит подсчет числа особей в сети с помощью микроскопа [6]. Наиболее часто используется сеть “джеди” - это уловистая планктонная сетка для сплошного отвесного вылова фитопланктона и зоопланктона в морской воде и пресных средних и крупных водоёмах, произведена из легкого гибкого прочнейшего полиамидного мельничного газа с высокой степенью устойчивости к износу, истиранию и воздействию химических компонентов.
• Методы оптической детекции - методы, которые используются для обнаружения и измерения организмов планктона с помощью, флуоресценции или цифровой голографии [7].
Методы оптической детекции уникальны среди остальных, их главная особенность заключается в том, что они являются не возмущающими методами регистрации планктона, за счёт чего возможно исследовать планктон непосредственно в среде обитания в отличие от традиционных методов, которые дают усреднённый результат.
В данной работе применяется цифровая голограмма, построенная по осевой схеме Габора для регистрации толщи воды с планктоном, сложность работы с данным методом регистрации заключается в том, как представлены данные регистрации [8].
Проблемная ситуация. При восстановлении голограммы, мы получаем набор изображений дискретно восстановленных, с некоторым шагом плоскостей вдоль объема. Для одной голограммы количество таких плоскостей может доходить до сотен, а для получения динамики изменения концентрации в течении дня производиться регистрация нескольких голограмм. В результате возникает большой набор данных, для обработки которого требуется много времени.
Для автоматизации процесса обработки восстановленных голограмм в настоящее время широко используются свёрточные нейросети. Они используются в задачах компьютерного зрения, таких как распознавание образов, классификация изображений и детекция объектов. Свёрточные нейросети обладают рядом преимуществ по сравнению с обычными нейросетями. Одним из главных преимуществ свёрточных нейросетей является их способность эффективно обрабатывать данные с высокой размерностью, такие как изображения. Они также хорошо справляются с задачами, требующими выявления локальных связей в данных. В то же время, свёрточные нейросети обычно требуют меньшего количества параметров и потребляют меньше вычислительных ресурсов, чем полносвязные нейросети.
Исходя из вышесказанного целью работы является - разработка алгоритма идентификации голографических изображений на основе свёрточной нейронной сети.
Задачи:
1. Аналитический обзор литературы по теме исследований.
2. Выбор и обоснование методов и алгоритмов решения сформулированной задачи.
3. Выбор и обоснование топологии нейронной сети.
4. Выбор и обоснование метода обучения нейронной сети.
5. Разработка структуры системы решения задачи, выбор и обоснование среды и языка реализации системы.
Объект исследования - методы и средства анализа и обработки изображений планктона.
Предмет исследования - метод и алгоритм сравнения (идентификации) изображений.
Распознавание изображений находит широкое применение в различных областях, таких как контроль топологии печатных плат, анализ текстуры ткани, робототехника и системы экологического мониторинга. В настоящий момент наиболее распространённым решением таких задач является применение нейронных сетей - это компьютерные модели, вдохновленные работой нервной системы живых организмов. Они состоят из множества искусственных нейронов, которые соединены между собой и обрабатывают информацию. Нейронные сети способны обучаться на основе набора данных, а затем использовать полученные данные для решения различных задач.
Свёрточные нейронные сети являются одним из типов нейронных сетей, которые широко применяются в обработке и анализе изображений. Они специально разработаны для эффективной работы с двухмерными структурами данных, такими как изображения. Свёрточные нейронные сети обладают способностью автоматически извлекать иерархические признаки из изображений, начиная с простых форм и текстур и заканчивая более сложными объектами и концепциями.
Свёрточные нейронные сети широко применяются в областях компьютерного зрения, распознавания образов, системах экологического мониторинга и различных других областях, где приходится работать с изображениями. Некоторые из них включают:
• Мониторинг лесных пожаров: анализ спутниковых изображений для обнаружения области возгорания [2].
• Мониторинг водных ресурсов: для анализа снимков спутников и дронов, чтобы определить качество воды, обнаружить водные водоросли и водные растения, а также оценить экологическое состояние водных систем [3].
• Мониторинг биоразнообразия: анализ изображений животных и растений для определения их видового состава и оценки биоразнообразия в различных экосистемах.
• Мониторинг загрязнения окружающей среды: анализ изображений, полученных с датчиков и камер наблюдения, с целью обнаружения и классификации различных источников загрязнения окружающей среды, таких как выбросы промышленных предприятий или отходы [4].
Планктон является важной частью всех водоемов и океанов, он играет ключевую роль в биосфере Земли, обеспечивая циркуляцию элементов в экосистеме, участвует в накоплении и разложении органического вещества, а также служит источником питания для множества других организмов. Изменения в составе и размерах планктона могут сигнализировать о нарушениях в экосистеме и помогать предсказать будущие изменения в ней. Поэтому исследование планктона не только позволяет лучше понимать функционирование экосистем, но также может иметь практическое значение для принятия решений по управлению и сохранению биоразнообразия.
Планктон делиться на три основных царства - это зоопланктон, фитопланктон и бактериопланктон. В данной работе рассматривается зоопланктон, а именно автохтонный зоопланктон. Это группа организмов, которые возникли в процессе эволюции в данной местности и живут в ней в настоящее время, они обитают в морях и океанах и питаются органическими остатками и микроорганизмами. Зоопланктон играет большую роль в очистке водоёмов от загрязнений. Организмы зоопланктона питаются фитопланктоном, бактериопланктоном, детритом или более мелкими представителями зоопланктона. Изменение в его популяции или видового разнообразия напрямую может сказать об изменении экологического состояния водоёма. Поэтому важно контролировать уровень популяции каждого из видов планктона для каждого конкретно взятого водоёма, чтобы можно было отследить динамику изменения этих параметров и принять соответствующие меры для улучшения экологии водоёмов. Также контроль популяции планктона очень важен в рыбопромысловой отрасли, потому что для обеспечения стабильного роста рыбы, ей требуется постоянное и стабильное питание, а около 80% общего вылова рыбы приходиться на планктонофагов [5].
Оценка численности планктона является важным аспектом изучения водоемов и морей, так как позволяет определить разнообразие и состав водных организмов, а также оценить состояние экосистемы в целом. Оценка качества воды с помощью изучения популяций планктона является широко используемым методом для определения состояния экосистемы. Поскольку популяции планктона являются очень чувствительными к изменениям условия обитания, то изменения в их численности и составе могут указывать на изменения в качестве воды. Существует ряд различных методов для оценки численности планктона, некоторые из них описаны ниже:
• Метод сетевого отлова - этот метод основан на сборе образцов зоопланктона в сеть с известной площадью и длиной мешков, после чего происходит подсчет числа особей в сети с помощью микроскопа [6]. Наиболее часто используется сеть “джеди” - это уловистая планктонная сетка для сплошного отвесного вылова фитопланктона и зоопланктона в морской воде и пресных средних и крупных водоёмах, произведена из легкого гибкого прочнейшего полиамидного мельничного газа с высокой степенью устойчивости к износу, истиранию и воздействию химических компонентов.
• Методы оптической детекции - методы, которые используются для обнаружения и измерения организмов планктона с помощью, флуоресценции или цифровой голографии [7].
Методы оптической детекции уникальны среди остальных, их главная особенность заключается в том, что они являются не возмущающими методами регистрации планктона, за счёт чего возможно исследовать планктон непосредственно в среде обитания в отличие от традиционных методов, которые дают усреднённый результат.
В данной работе применяется цифровая голограмма, построенная по осевой схеме Габора для регистрации толщи воды с планктоном, сложность работы с данным методом регистрации заключается в том, как представлены данные регистрации [8].
Проблемная ситуация. При восстановлении голограммы, мы получаем набор изображений дискретно восстановленных, с некоторым шагом плоскостей вдоль объема. Для одной голограммы количество таких плоскостей может доходить до сотен, а для получения динамики изменения концентрации в течении дня производиться регистрация нескольких голограмм. В результате возникает большой набор данных, для обработки которого требуется много времени.
Для автоматизации процесса обработки восстановленных голограмм в настоящее время широко используются свёрточные нейросети. Они используются в задачах компьютерного зрения, таких как распознавание образов, классификация изображений и детекция объектов. Свёрточные нейросети обладают рядом преимуществ по сравнению с обычными нейросетями. Одним из главных преимуществ свёрточных нейросетей является их способность эффективно обрабатывать данные с высокой размерностью, такие как изображения. Они также хорошо справляются с задачами, требующими выявления локальных связей в данных. В то же время, свёрточные нейросети обычно требуют меньшего количества параметров и потребляют меньше вычислительных ресурсов, чем полносвязные нейросети.
Исходя из вышесказанного целью работы является - разработка алгоритма идентификации голографических изображений на основе свёрточной нейронной сети.
Задачи:
1. Аналитический обзор литературы по теме исследований.
2. Выбор и обоснование методов и алгоритмов решения сформулированной задачи.
3. Выбор и обоснование топологии нейронной сети.
4. Выбор и обоснование метода обучения нейронной сети.
5. Разработка структуры системы решения задачи, выбор и обоснование среды и языка реализации системы.
Объект исследования - методы и средства анализа и обработки изображений планктона.
Предмет исследования - метод и алгоритм сравнения (идентификации) изображений.
По итогу работы были достигнутые следующие задачи:
1. Проведён подробный анализ литературы по теме исследования.
2. Разработан метод и средство анализа и обработки изображений планктона.
3. Обучен алгоритм для распознавания Daphnia Magna.
4. Разработана программа, для распознавания зоопланктона Daphnia Magna.
5. Проведена статистическая оценка точности работы алгоритма.
6. Исследованы особенности алгоритма Виолы-Джонса в применении к задаче распознавания зоопланктона. Обнаруженная способность алгоритма Виолы-Джонса обнаруживать расфокусированные объекты является очень важной для цифровой голографии. Это свойство может стать основой для создания алгоритмов распознавания, работающих непосредственно с цифровой голограммой объекта, что предполагает другие принципы формирования обучающей выборки.
Полученные результаты были представлены в докладе на ХХ всероссийской конференции студенческих научно исследовательских инкубаторов (Томск, 2023 г.), удостоенном диплома II степени, и направлены для участия в 10-ой международной конференции «Актуальные проблемы радиофизики» (Томск, 2023 г.). По результатам работы этих конференций будут опубликованы сборники трудов. Полученные результаты также были представлены на всероссийском конкурсе студенческих и школьных проектов «Радиофизика, измерения, автоматизация» (Томск, 2023 г.), где были отмечены дипломом III степени.
1. Проведён подробный анализ литературы по теме исследования.
2. Разработан метод и средство анализа и обработки изображений планктона.
3. Обучен алгоритм для распознавания Daphnia Magna.
4. Разработана программа, для распознавания зоопланктона Daphnia Magna.
5. Проведена статистическая оценка точности работы алгоритма.
6. Исследованы особенности алгоритма Виолы-Джонса в применении к задаче распознавания зоопланктона. Обнаруженная способность алгоритма Виолы-Джонса обнаруживать расфокусированные объекты является очень важной для цифровой голографии. Это свойство может стать основой для создания алгоритмов распознавания, работающих непосредственно с цифровой голограммой объекта, что предполагает другие принципы формирования обучающей выборки.
Полученные результаты были представлены в докладе на ХХ всероссийской конференции студенческих научно исследовательских инкубаторов (Томск, 2023 г.), удостоенном диплома II степени, и направлены для участия в 10-ой международной конференции «Актуальные проблемы радиофизики» (Томск, 2023 г.). По результатам работы этих конференций будут опубликованы сборники трудов. Полученные результаты также были представлены на всероссийском конкурсе студенческих и школьных проектов «Радиофизика, измерения, автоматизация» (Томск, 2023 г.), где были отмечены дипломом III степени.
