Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Сбор и предобработка тренировочной выборки 6
1.1. Начальный набор данных 6
1.2. Предобработка набора данных 8
1.3. Влияние различных подмножеств частот на обучение модели 10
Глава 2. Обзор архитектур использованных моделей 12
2.1. UNet 12
2.2. UNet3+ 14
2.3. Архитектуры ViT 14
2.3.1 SwinUNet 15
2.3.2 TransUNet 17
Глава 3. Детали реализации 19
3.1. Оценка качества сегментации 19
3.2. Аугментация данных во время обучения 20
3.2.1 Пространственные аугментации 20
3.2.2 Сглаживание целевых значений 20
3.2.3 Стохастическая глубина 21
3.3. Анализ экспериментов 23
3.4. Индекс вегетации 24
3.5. Итоговая программа 26
Заключение 28
Список литературы 29
Приложение 1A. Подробные метрики моделей SwinUNet и TransUNet 31
Приложение 1Б. Подробные метрики модели UNet3+ 32
Точная классификация культур представляет собой сложную задачу, связанную, во-первых, с высокой внутриклассовой спектральной изменчивостью отдельных культур в течение вегетационного периода (фенологическое развитие), во-вторых, с высоким межклассовым спектральным сходством типов культур, и, в-третьих, в неизбежном наличии облаков на изображениях.
При использовании спутниковых снимков, снятых с помощью оптического прибора, в этой работе проводится исследование попиксельной классификации (сегментации) сельскохозяйственных культур, растущих на участках ферм. В частности, в исследовании рассматриваются результаты классификации культур за счет использования разных сочетаний диапазонов длинн волн.
Наработки из данного исследования пригодятся в реализации системы, задача которой - сегментировать поля, определять тип растущей на них культуры и подсчитывать степень вегетации. Клиенты такой системы смогут удалённо отслеживать состояние своих участков и принимать решения на основе этой информации.
В результате работы был собран и предобработан набор оптических спутниковых снимков. Было получены результаты об обучении простой модели на нескольких наборах частот (в том числе и полном). Рассмотрено несколько архитектур моделей для сегментации, проведено их обучение на собранной выборке. К тому же было проведено сравнение двух индексов вегетации, из которых выбран наиболее подходящий. Метод сегментации и вычисление индекса вегетации были обёрнуты в программу, на вход которой подаётся оптический спутниковый снимок.
[1] Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. // Medical Image Computing and Computer- Assisted Intervention. MICCAI. 2015. P. 234—241
[2] Deep learning for satellite imagery via image segmentation. [Электронный ресурс] URL: https://deepsense.ai/deep-learning-for-satellite-imagery-via-image-segmentation/
[3] Landsat 8 Bands and Band Combinations [Электронный ресурс] URL: https://gisgeography.com/landsat-8-bands-combinations/ (дата обращения: 15.04.22).
[4] Hu Cao, Yueyue Wang et al. «Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation», 2021 (дата обращения: 01.05.2023).
[5] Ze Liu, Yutong Lin et al. «Swin Transformer: Hierarchical Vision Transformer using Shifted Windows»
[6] European Space Agency «MultiSpectral Instrument Overview» [Электронный ресурс] URL: https://web.archive.org/web/20201017053209/ https://earth.esa.int/web/sentinel/technical-guides/ sentinel-2-msi/msi-instrument (дата обращения: 01.05.2023).
[7] Copernicus Open Access Hub [Электронный ресурс] URL: https:// scihub.copernicus.eu/dhus/ (дата обращения: 01.05.2023).
[8] A Fusion Dataset for Crop Type Classification in Germany [Электронный ресурс] URL: https://mlhub.earth/data/dlr_fusion_competition_ germany (дата обращения: 01.05.2023).
[9] H. Butler and M. Daly et al. «The GeoJSON Format», RFC 7946, 2016 (дата обращения: 01.05.2023).
[10] Sentinel-2 mission guide [Электронный ресурс] URL: https:// sentinels.copernicus.eu/web/sentinel/missions/sentinel-2 (дата обращения: 15.12.22).
[11] Alexey Dosovitskiy, Lucas Beyer et al. An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale // ArXiv, 2010.11929. 2020 (дата обращения: 01.05.2023).
[12] Huimin Huang, Lanfen Lin et al. UNet 3+: A Full-Scale Connected UNetfor Medical Image Segmentation // ArXiv, 2004.08790. 2020 (дата обращения: 01.05.2023).
[13] Jieneng Chen, Yongyi Lu et al. TransUNet: Transformers Make StrongEncoders for Medical Image Segmentation // ArXiv, abs/2102.04306. 2021 (дата обращения: 01.05.2023).
[14] H. Touvron, M. Cord and H. Jegou «DeiT III: Revenge of the ViT», 2022 (дата обращения: 01.05.2023).
[15] R. Muller, S. Kornblith and G. Hinton «When Does Label Smoothing Help?», 2019 (дата обращения: 01.05.2023).
...