Тип работы:
 Предмет:
 Язык работы:


Повышение пространственного разрешения данных дистанционного зондирования с применением методов машинного обучения

Работа №128497

Тип работы

Магистерская диссертация

Предмет

картография

Объем работы61
Год сдачи2021
Стоимость4915 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
100
Не подходит работа?

Узнай цену на написание


Введение 3
Глава 1. Анализ существующих алгоритмов увеличения пространственного разрешения космических снимков 6
1.1 Роль космических снимков в дистанционном изучении земной поверхности 6
1.2 Проблемы использования космических снимков в изучении земной поверхности 8
1.3 Методы увеличения пространственного и временного разрешения космических снимков 11
1.4 Краткая характеристика съемочных систем Landsat, MODIS 17
Глава 2. Алгоритм повышения пространственного разрешения космических снимков 19
2.1 Исходные данные и изучаемая территория 19
2.2 Программное и аппаратное обеспечение, необходимое для работы 25
2.3 Общая концепция алгоритма 27
2.4 Предварительная обработка данных 29
2.4.1 Атмосферная коррекция 30
2.4.2 Топографическая коррекция 32
2.4.3 Выявление облаков и теней 34
2.5 Пересчет значений сенсора ETM+ в значения OLI 36
2.6 Построение гармонической модели 39
2.7 Переход к высокому разрешению 43
Глава 3. Выбор и обучение моделей машинного обучения для задачи повышения пространственного разрешения 49
3.1 Выбор алгоритма машинного обучения 49
3.2 Результаты обучения 52
Заключение 56
Литература 57

Данные дистанционного зондирования Земли сегодня широко используются специалистами различных областей для решения научно-исследовательских и прикладных задач в области управления транспортом, в сфере территориального планирования, для мониторинга и предупреждения чрезвычайных ситуаций, оценки состояния сельскохозяйственных земель, составления прогнозов, при гидрологических и геологических работах и т.д. Особенно широкое распространение получили космические снимки. Они регулярно предоставляют огромный набор информации о земной поверхности на десятки и сотни тысяч квадратных километров с большой степенью детализации. Космические снимки привлекают для составления общегеографических карт, построения цифровых моделей рельефа и местности, моделирования гидрологических процессов, мониторинга состояния растительного покрова, оперативного реагирования на чрезвычайные ситуации, изучения атмосферы и вод Мирового океана.
По ряду причин на сегодняшний день нет съемочных систем, которые бы предоставляли данные одновременно с высоким пространственным и временным разрешением. Эти две величины имеют, как правило, обратную зависимость. Одни сенсоры, такие как Landsat-7 ETM+, Landsat-8 OLI, Sentinel-2 MSI, ведут съемку с высоким пространственным разрешением и используются для изучения отдельных локальных территорий. При этом данные об одной и той же местности поступают не чаще 5-16 дней. Этого может быть недостаточно для задач, которые требуют оперативного обновления информации. В этом случае привлекают снимки с космических аппаратов, ведущих съемку с периодом 1-3 дня. Однако пространственное разрешение последних может быть хуже в разы, а иногда в десятки раз.
Большинство съемочных систем ведет съемку в различных диапазонах электромагнитного спектра с разным пространственным разрешением. Существует целый ряд методов, которые позволяют восстанавливать часть информации в каналах низкой пространственной детализации или во временной серии, или в пространстве. Одни подходы ориентированы на извлечение информации из каналов с высоким разрешением той же съемочной системы (pan-sharpening), а другие - используют каналы других сенсоров (image fusion). Задача увеличения пространственного разрешения (downscaling) достаточно сложная и не может быть решена точно и однозначно.
Алгоритмы машинного обучения, основы которых были заложены еще в середине XX столетия, но активное распространение получили только в начале 2000-х годов, предоставляют множество инструментов для построения вероятностных моделей. В отличие от традиционных подходов, они не требуют установления всех зависимостей между изучаемыми явлениями вручную. Алгоритм шаг за шагом в процессе обучается сам устанавливать связи по исходным данным. Отдельная область машинного обучения - глубокое обучение, испытывающее очередной подъем с 2009-х годов использует концепцию распределенного представления, согласно которой все сложные объекты и явления могут быть описаны в терминах более простых сущностей. С помощью нее удалось добиться высоких результатов во многих областях человеческой деятельности, и обработка космических снимков не является исключением.
Однако все рассмотренные алгоритмы, использующиеся для задачи увеличения пространственного разрешения, имеют недостатки. Не всегда учитывается тот факт, что различные съемочные системы - это разные технические средства, каждый из которых получает данные в своем спектральном диапазоне. Часть методов не использует информацию о местности за прошедший период, а опирается только на данные, полученные здесь и сейчас. Другие подходы оперируют временными сериями, но при этом не всегда удается получить адекватную временную модель из -за нехватки имеющейся информации. Наконец, все известные алгоритмы разрабатываются с учетом особенностей той территории, для которой будут использоваться в дальнейшем. При этом часть параметров устанавливается вручную. Это связано, главным образом, с тем, что для каждой территории строится одна или несколько вероятностных моделей, которые могут корректно давать предсказания лишь для ограниченного пространства и только в той области, на которой производилось обучение.
Целью данной работы является разработка альтернативного алгоритма повышения пространственного разрешения космических снимков, который мог бы использоваться исследователями в своих научных целях и практиками в производственной сфере. Предложенный здесь подход является не конечным продуктом, а важнейшим инструментом на пути решения других задач. При разработке алгоритма ставилась задача сделать его универсальным в том смысле, что его применение не должно затруднять его использование, а настройка параметров производилась бы автоматически на основании доступного массива данных. Особенностью новой методики является локальное моделирование, при котором каждая модель строится только для небольшого участка земной поверхности, позволяя тем самым подчеркнуть индивидуальные особенности местности. Для достижения поставленной цели было необходимо решить следующие задачи:
- изучить современные алгоритмы и подходы, которые широко используются в задачах повышения пространственного разрешения космических снимков; выявить проблемы, с которыми они сталкиваются, и найти возможные пути их решения;
- изучить программные средства, которые могут быть использованы при разработке алгоритма, а также на отдельных его этапах;
- исследовать основные алгоритмы машинного обучения, область их применимости, особенности отдельных моделей и изучить возможность их использования для достижения поставленной цели;
- разработать алгоритм для решения задачи повышения пространственного разрешения;
- произвести оценку предложенного подхода, его применимость на различных территориях.

Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!
ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ
КУРСОВЫЕ СТАТЬИ ВКР

В этой работе были рассмотрены современные подходы для решения задач, связанных с улучшением пространственного разрешения космических снимков. В ходе изучения были выявлены их преимущества и недостатки. На основании этого анализа предложен новый алгоритм, в котором используются алгоритмы машинного обучения для построения вероятностных моделей. Для возможности его применения на любую территорию построение и настройка моделей осуществлялась локально, что позволило учитывать все особенности местности. Для получения более точных результатов проводилась предварительная обработка космических снимков, устанавливалась зависимость между различными съемочными системами и использовалась временная гармоническая модель. Разработка алгоритма и его тестирование осуществлялось при помощи облачной платформы Google Earth Engine и библиотеки машинного обучения TenzorFlow языка программирования Python.
В результате сделанной работы были решены следующие задачи:
- проанализированы современные алгоритмы для решения задачи увеличения пространственного разрешения космических снимков;
- изучена облачная платформа Google Earth Engine;
- исследованы модели машинного обучения и их применимость при решении задачи;
- разработан и апробирован новый алгоритм, который можно использовать на любой территории;
- написан программный код реализации отдельных частей алгоритма.



1. Abowarda A.S., Bai L., Zhang C., Long D., Li X., Huang Q., Sun Z. Generating surface soil moisture at 30 m spatial resolution using both data fusion and machine learning toward better water resources management at the field scale // Remote Sensing of Environment, 2021. Vol. 255. 19 p. DOI 10.1016/j.rse.2021.112301.
2. Asner G.P. Cloud cover in Landsat observations of the Brazilian Amazon // International journal of Remote Sensing, 2001. Vol. 22. № 18. P. 3855-3862. DOI
10.1080/01431160010006926.
3. Bai B. Tan Y., Donchyts G., Haag A., Weerts A. A simple spatio-temporal data fusion method based on linear regression coefficient compensation // Remote Sensing, 2020. Vol.
12. № 23. 16 p. DOI 10.3390/rs12233900.
4. Bartkowiak P., Castelli M., Notarnicola C. Downscaling land surface temperature from MODIS dataset with random forest approach over alpine vegetated areas // Remote Sensing, 2019. Vol. 11. № 11. 19 p. DOI 10.3390/rs11111319.
5. Bishop C.M. Pattern recognition and machine learning / editors: M. Jordan, J. Kleinberg, B. Scholkopf. Singapore: publisher Springer, 2006. 758 p. ISBN-13: 978-0387-31073-2.
6. Bodhaine B.A., Wood N.B., Dutton E.G., Slusser J.R. On Rayleigh optical depth calculations // Journal of Atmospheric and Oceanic Technology, 1999. Vol. 16. № 11. P. 1854-1861. DOI 10.1175/1520-0426.
7. Canty M.J. Image analysis, classification and change detection in remote sensing: with algorithms for Python / Fourth edition. New York: publisher CRC Press, 2019. 508 p. ISBN 13: 978-1-138-61322-5.
8. Chang Y., Luo B. Bidirectional convolutional LSTM neural network for Remote Sensing
image super-resolution // Remote Sensing, 2019. Vol. 11. № 11. 18 p. DOI
10.3390/rs11202333.
9. Choe Y.J., Yom J.H. Downscaling of MODIS land surface temperature to Landsat scale
using multi-layer perceptron // Journal of the Korean Society of Surveying, Geodesy, Photogrammetry and Cartography, 2017. Vol. 35. № 4. P. 313-318. DOI
10.7848/ksgpc.2017.35.4.313.
10. Ebrahimy H., Azadbakht M. Downscaling MODIS land surface temperature over a heterogeneous area: An investigation of machine learning techniques, feature selection, and impacts of mixed pixels // Computers and Geosciences, 2019. Vol. 124. P. 93-102. DOI 10.1016/j.cageo.2019.01.004.
11. Filgueiras R., Mantovani E.C., Fernandes-Filho E.I., da Cunha F.F., Althof D., Brant Dias S.H. Fusion of MODIS and Landsat-like images for daily high spatial resolution NDVI // Remote Sensing, 2020. Vol. 12. № 8. 18 p. DOI 10.3390/rs12081297.
12. Fonseca L., Namikawa L., Castejon E., Carvalho L., Pinho C., Pagamisse A. Image fusion for remote sensing applications. Image fusion and its applications. IntechOpen, 2011.
29 p. DOI 10.5772/22899.
13. Fraser R.S., Kaufman Y.J. The relative importance of aerosol scattering and absorption in remote sensing // IEEE transactions on geoscience and remote sensing, 1985. Vol. GE-23. № 5. P. 625-633. DOI 10.1109/TGRS.1985.289380.
14. Holben B.N., Justice C.O. The topographic effect on spectral response from nadir-pointing sensors // Photogrammetric Engineering and Remote Sensing, 1980. Vol. 46. № 9. P. 1191-1200. ISSN 0099-1112.
15. Kaufman Y.J. et al. Passive remote sensing of tropospheric aerosol and atmospheric correction for the aerosol effect // Journal of Geophysical Research: Atmospheres, 1997. Vol. 102. № D14. P. 16815-16830. DOI 10.1029/97JD01496.
16. Kowalik W.S., Marsh S.E., Lyon R.J.P. A relation between Landsat digital numbers, surface reflectance, and the cosine of the solar zenith angle // Remote Sensing of Environment, 1982. Vol. 12. № 1. P. 39-55. DOI 10.1016/0034-4257(82)90006-2.
17. Kumar S.S., Picotte J.J., Peterson B. Prototype downscaling algorithm for MODIS satellite 1 km daytime active fire detections // Fire, 2019. Vol. 2. № 2. 15 p. DOI 10.3390/fire2020029.
18. Liang S., Fang H., Chen M. Atmospheric correction of Landsat ETM+ land surface imagery. I. Methods // IEEE Transactions on Geoscience and Remote Sensing, 2001. Vol. 39. № 11. P. 2490-2498. DOI 10.1109/36.964986.
19. Liang S., Fang H., Morisette J.T., Chen M., Shuey C.J., Walthall C.L., Daughtry C.S.T. Atmospheric correction of Landsat ETM+ land surface imagery. II. Validation and applications // IEEE Transactions on Geoscience and Remote Sensing, 2002. Vol. 40. № 12. P. 2736-2746. DOI 10.1109/TGRS.2002.807579.
20. Maxwell S. Filling Landsat ETM+ SLC-off gaps using a segmentation model approach // Photogrammetric Engineering and Remote Sensing, 2004. Vol. 70. № 10. P. 1109-1112.
21. Meyer P., Itten K.I., Kellenberger T., Sandmeier S., Sandmeier R. Radiometric corrections of topographically induced effects on Landsat TM data in an alpine environment // ISPRS Journal of Photogrammetry and Remote Sensing, 1993. Vol. 48. № 4. P. 17-28. DOI 10.1016/0924-2716(93)90028-L.
22. Moreno-Martinez A. et al. Down-Scaling Modis vegetation products with Landsat GAP filled surface reflectance in Google Earth Engine // IGARSS 2020-2020 IEEE International Geoscience and Remote Sensing Symposium. Waikoloa: publisher IEEE, 2020. P. 2320¬2323. DOI 10.1109/IGARSS39084.2020.9324007.
23. Nomura R., Oki K. Downscaling of MODIS NDVI by using a Convolutional Neural Network-Based model with higher resolution SAR data // Remote Sensing, 2021. Vol. 13. № 4. 20 p. DOI 10.3390/rs13040732.
24. Pouliot D., Latifovic R., Pasher J., Duffe J. Landsat super-resolution enhancement using Convolution Neural Networks and Sentinel-2 for training // Remote Sensing, 2018. Vol. 10. № 3. 18 p. DOI 10.3390/rs10030394.
25. Rashid T. Make Your Own Neural Network / T. Rashid. Scotts Valley: CreateSpace, 2016. 222 p.
26. Richter R., Kellenberger T., Kaufmann H. Comparison of topographic correction methods // Remote Sensing, 2009. Vol. 1. № 3. P. 184-196. DOI 10.3390/rs1030184.
27. Roudier P., Malone B.P., Hedley C.B., Minasny B., McBratney A.B. Comparison of regression methods for spatial downscaling of soil organic carbon stocks maps // Computers and Electronics in Agriculture, 2017. Vol. 142. Part A. P. 91-100. DOI 10.1016/j.compag.2017.08.021.
28. Schowengerdt R.A. Remote sensing: models and methods for image processing / Third Edition. Amsterdam: publisher Elsevier, 2007. 558 p. ISBN 13: 978-0-12-369407-2.
29. USGS. SLC-off Gap-Filled Products Gap-fill Algorithm Methodology: Phase 2 Gap-fill Algorithm / Version 2.0, 2004. 12 p.
30. Vanonckelen S., Lhermitte S., Van Rompaey A. The effect of atmospheric and topographic correction methods on land cover classification accuracy // International Journal of Applied Earth Observation and Geoinformation, 2013. Vol. 24. P. 9-21. DOI 10.1016/j.jag.2013.02.003.
31. Vermote E.F., Tanre D., Deuze J.L., Herman M., Morcrette J.J. Second simulation of the satellite signal in the solar spectrum, 6S: An overview // IEEE Transactions on Geoscience and Remote Sensing, 1997. Vol. 35. № 3. P. 675-686. DOI 10.1109/36.581987.
32. Wang Q., Atkinson P.M. The effect of the point spread function on sub-pixel mapping // Remote Sensing of Environment, 2017. Vol. 193. P. 127-137. DOI 10.1016/j.rse.2017.03.002.
33. Wang Q., Blackburn G.A., Onojeghuo A.O., Dash J., Zhou L., Zhang Y. Atkinson P.M. Fusion of Landsat 8 OLI and Sentinel-2 MSI data // IEEE Transactions on Geoscience and Remote Sensing, 2017. Vol. 55. № 7. P. 3885-3899. DOI 10.1109/TGRS.2017.2683444.
34. You Y., Cao J., Zhou W. A Survey of Change Detection Methods Based on Remote Sensing Images for Multi-Source and Multi-Objective Scenarios // Remote Sensing, 2020. Vol. 12. № 15. 40 p. DOI 10.3390/rs12152460.
35. Zhang C., Li W., Travis D. Gaps-fill of SLC-off Landsat ETM+ satellite image using a geostatistical approach // International Journal of Remote Sensing, 2007. Vol. 28. № 22. 21 p. DOI 10.1080/01431160701250416.
36. Zhu X.X. Tuia D., Mou L., Xia G., Zhang L., Xu F., Fraundorfer F. Deep learning in remote sensing: A comprehensive review and list of resources // IEEE Geoscience and Remote Sensing Magazine, 2017. Vol. 5. № 4. P. 8-36. DOI 10.1109/MGRS.2017.2762307.
37. Zhu Z., Woodcock C.E. Object-based cloud and cloud shadow detection in Landsat imagery // Remote sensing of environment, 2012. Vol. 118. P. 83-94. DOI 10.1016/j.rse.2011.10.028.
38. Гудфеллоу Я., Иошуа Б., Курвилль А. Глубокое обучение / пер. с англ. А.А. Слинкина. 2-е изд., испр. М.: изд-во ДМК Пресс, 2018. 652 с.: цв. ил. ISBN 978-5-97060-618-6.
39. Игнатьев В.Ю., Матвеев И.А., Мурынин А.Б., Усманова А.А., Цурков В.И.
Повышение пространственного разрешения панхроматических спутниковых изображений на основе генеративных нейросетей // Известия Российской Академии Наук. Теория и системы управления, 2021. № 2. С. 62-70. DOI
10.31857/S0002338821020074.
40. Катаев М.Ю., Бутин С.М. Сравнительный анализ методов повышения пространственного разрешения спутниковых данных Landsat-8 // Доклады Томского государственного университета систем управления и радиоэлектроники, 2019. Т. 22. № 2. С. 67-71. DOI 10.21293/1818-0442-2019-22-2-67-71.
41. Кравцов С.Л., Орешкина Л.В. Оценка концентрации органических веществ в почве методами дистанционного зондирования Земли // Информатика, 2009. № 4 (24). С. 124-133. ISSN 2617-6963.
42. Мещанинова Е.Г., Степкин Ю.А. Применение данных дистанционного зондирования Земли в сельском хозяйстве // Экономика и экология территориальных образований, 2020. Т. 4. № 4. С. 72-77. DOI 10.23947/2413-1474-2020-4-4-72-77.
43. Прилуцкий В.С. Метод повышения разрешения мультиспектральных снимков
дистанционного зондирования Земли // Сборник научных трудов 9-й Международной научно-практической конференции. В 2-х томах. «Техника и технологии: пути инновационного развития». Курск: изд-во Юго-Западный государственный
университет, 2020. Т. 1. С. 103-107. ISBN 978-5-9906896-6-5.
44. Самокраяйняя Ю.В., Павлова А.И., Павлов А.В. Атмосферная коррекция космических снимков // Сборник научных трудов XIII Международной научно-практической конференции. «Современные инструментальные системы, информационные технологии и инновации». Курск: изд-во Закрытое акционерное общество "Университетская книга", 2018. С. 171-174. ISBN 978-5-905556-88-3.
45. Флах П. Машинное обучение: Наука и искусство построения алгоритмов, которые извлекают знания из данных / пер. с англ. А.А. Слинкина. М.: ДМК Пресс, 2015. 400 с.: цв. ил. ISBN 978-5-97060-273-7.
46. Хабаров Д.А., Адиев Т.С., Попова О.О., Чугунов В.А., Кожевников В.А. Анализ современных технологий дистанционного зондирования Земли // Московский экономический журнал, 2019. № 1. С. 181-190. DOI 10.24411/2413-046Х-2019-11068.
Ресурсы сети Интернет:
47. http://atlaspacket.vsegei.ru/#a608d21967cd59ff0- актуализированные ГИС-пакеты оперативной геологической информации (ГИС-Атлас «Недра России» по состоянию на 01.09.2020).
48. http://earthengine.google.com/- облачная платформа Google Earth Engine.
49. http://landsat.gsfc.nasa.gov/landsat-7- Landsat-7 information.
50. http://landsat.gsfc.nasa.gov/landsat-8 - Landsat-8 information.
51. http://lenobl.ru/en/about-region/ - о регионе (Ленинградская область).
52. http://modis.gsfc.nasa.gov/- MODIS (Moderate Resolution Imaging Spectroradiometer).
53. http://orenburg-gov.ru/activity/583/ - природа Оренбургской области (официальный портал Правительства Оренбургской области).
54. http://primorsky.ru/primorye/obshchaya-informatsiya/ - общая информация
(официальный сайт Правительства Приморского края).
55. http://science.nasa.gov/earth-science/earth-science-data/data-processing-levels-for-eosdis- data-products- the Earth Observing System Data and Information System (EOSDIS) data processing levels.
56. http://uregina.ca/piwowarj/Think/ProcessingLevels.html - getting your imagery at the right level (by Joseph M. Piwowar - published in Cartouche, No. 41, Winter 2001).
57. http://viewfinderpanoramas.org/dem3.html - Digital Elevation Model (DEM).

Работу высылаем на протяжении 30 минут после оплаты.



Подобные работы


©2025 Cервис помощи студентам в выполнении работ
.