Введение 3
Постановка задачи 5
Обзор литературы 7
Глава 1. Процесс обработки 8
1.1. Обзор 8
1.1.1 Компоненты решения 8
1.1.2 Подготовка данных 11
1.2. Реализация 12
1.3. Визуализация 14
1.4. Полученные результаты 14
1.5. Сформированная модель 19
Глава 2. Система 20
2.1. Архитектура 20
2.2. Алгоритм взаимодействия 21
2.3. Обработка ошибок 23
2.4. Полученные результаты 24
Глава 3. Тестирование 25
3.1. Компоненты решения 27
3.2. Отличия возможностей моделирования с помощью библиотеки L3NS и комплекса программ MADT 27
3.3. Архитектура 28
3.4. Алгоритм моделирования 29
3.5. Моделирование приложения с клиент-серверной архитектурой 29
3.6. Полученные результаты 30
Выводы 32
Заключение 33
Список литературы
На сегодняшний день актуальны морские исследования с целью мониторинга донных сообществ [37] и автоматического картографирования подводных ландшафтов [17]. Задачи сегментации и распознавания под водой могут быть решены с помощью методов машинного обучения [24]. Подсчет подводных популяций необходим для проведения анализа экологического состояния среды
Для анализа данных по фото и видео- наблюдениям необходимо иметь размеченные наборы различных данных. Существующие базы данных, описывающие биологическое разнообразие глубоководного морского дна разрозненны и содержат мало структурированной информации. Также проблема создания обширных баз данных заключается в редкости многих донных обитателей, вследствие чего количество изображений определенного вида животных может быть очень мало. Именно поэтому решение задачи сегментации подводных сообществ целесообразно решать с помощью нейронных сетей решающих класс задач Few Shot Learning [19]. Особенность задач FSL заключается в том, что с их помощью возможно сегментировать объект имея всего несколько изображений каждого вида животных и растений. В ходе ис-следования нами были подготовлены небольшие наборы данных содержащих в себе 60 видов морских обитателей, а также проанализированы имеющиеся в свободном доступе датасеты.
Исследование донных сообществ также может заключатся в определении ареала обитания на карте и подсчетах объемов исследуемых объектов. 3D моделирование покрытия растениями и животными поверхностей по видео может помочь локализовать основные биотопы на картах [41]. Локализация подсчет покрытия могут быть использованы для дальнейших экологических исследований.
Была создана система, включающая в себя нейросетевые модели, необходимые для обработки видео, приложения для визуализации полученных данных и базу данных. Однако использование системы на компьютерах конечных пользователей, может быть затруднительно, так как требуется большое количество ресурсов. Также с ростом количества исследований, объемы ин-формации, которую необходимо хранить и обрабатывать, могут существенно вырасти. Данные обстоятельства делают масштабируемость и распределенность необходимыми свойствами, которыми должна обладать система. Микросервисная архитектура подразумевает быструю портируемость и расширяемость, именно поэтому был рассмотрен именно этот вариант сервис- ориентированной архитектуры.
Большие системы перед вводом в эксплуатацию требуют тщательного тестирования. Если система является распределенной, то кроме корректности работы каждой из его компонент, необходимо учитывать их сетевые взаимодействия.
Существует ряд систем моделирования [16] (например, GNS3 [2], eve- ng [1]), в которых можно развернуть сеть из виртуальных машин и тестировать приложение на ней. Но эти системы тестирования требуют от разработчика наличия знаний в области системного администрирования.
Приложения можно тестировать на реальных пользователях с помощью таких инструментов как Pumba [6] или Gremlin [3], но такое решение несет в себе риски потери интереса пользователей к приложению.
Рассмотрены способы моделирования масштабируемой сети. Такие технологии как MADT и L3NS предлагают рассматривать модель сети, состоящей исключительно из Docker образов-узлов и роутеров. Такой подход позволяет эмулировать распределенную сеть локально не вдаваясь в детали сетевых взаимодействий. Модель позволяет воспроизводить реально наблюдаемые разработчиками эффекты такие как дублирование, потеря, задержка или искажение пакетов данных.
В данной работе будет представлено решение задачи подсчета глубоко-водных малоподвижных обитателей с помощью нейросетевых технологий и его тестирование.
Постановка задачи
Целью работы является создание фреймворка решающего задачу разметки, сегментирования и определения на карте малоподвижных подводных обитателей. Для достижения поставленной цели необходимо решить ряд задач, которые в свою очередь можно разбить на 3 подмножества представленных на рис. 1.
Задачи первого этапа заключаются в формировании датасета. После нескольких итераций нахождения объектов, их обработки и выделения типов объектов, будет сформирована основная база данных. Она будет служить основой, содержащей по несколько фотографии целевых объектов, с помощью которых будет производиться сегментация на втором этапе работы.
На этапе предобработки и сегментации видеоряд проходит предобработку, которая заключается разбиение на кадры и улучшении качества изображения [27]. Нахождение и пред обучение few shot learning нейронных сетей на подводных объектах является одной из важных задач второго этапа. Эта задача имеет наибольшее влияние на качество результата работы всей системы.
После сегментации объектов начинается третий этап картографирования дна и локализации сегментированных объектов на построенной по видео 3D модели [35]. Построенная 3D модель позволяет оценить объемы объекта и его координаты относительно камеры и исследуемой точки дна [30]
С помощью представленной архитектуры можно успешно решать задачу разметки и сегментации малоподвижных подводных обитателей. Новые алгоритмы улучшения изображений и сегментации подводных объектов могут быть использованы для автоматизации мониторинга и подсчета популяций. По сравнению с традиционными методами изучения морской флоры и фауны автоматизированный подход может значительно улучшить качество данных и сократить количество затрачиваемых ресурсов. Полученное решение может быть использовано как основа для создания обширных баз данных для последующего обучения статичных сегментационных моделей.
