Intellectual Technologies on Transport Intellectual Technologies on Transport Интеллектуальные технологии на транспорте 2413-2527 93106 10.20295/2413-2527-2024-440-67-77 Интеллектуальные транспортные системы Intelligent transport systems Интеллектуальные транспортные системы Cleaning of Semi-Structured and Unstructured Earth Remote Sensing Data Очистка полуструктурированных и неструктурированных данных дистанционного зондирования Земли Хомоненко Анатолий Дмитриевич Khomonenko Anatoly Dmitrievich khomon@mail.ru

доктор технических наук;

doctor of technical sciences;

 Кириенко Андрей Борисович Kirienko Andrey Borisovich anbokir@mail.ru Злобин Сергей Евгеньевич Zlobin Sergey Evgen'evich zlobincergey15@gmail.com Давыдова Даяна Davydova Dayana dayana-0820@bk.ru Петербургский государственный университет путей сообщения Императора Александра I Санкт-Петербург Россия Emperor Alexander I St. Petersburg State Transport University St. Petersburg Russian Federation Военно-космическая академия имени А. Ф. Можайского Санкт-Петербург Россия Mozhaisky Military Aerospace Academy Saint Petersburg Russian Federation Военно-космическая академия имени А. Ф. Можайского Санкт-Петербург Россия Mozhaisky Military Aerospace Academy Saint-Petersburg Russian Federation Военно-космическая академия имени А. Ф. Можайского Россия Mozhaisky Military Aerospace Academy Russian Federation Петербургский государственный университет путей сообщения Императора Александра I Санкт-Петербург Россия Emperor Alexander I St. Petersburg State Transport University St. Petersburg Russian Federation 24 03 2025 24 03 2025 4 67 77 30 12 2024 https://itt-pgups.ru/en/nauka/article/93106/view

Аннотация. Затрагивается проблема обработки полуструктурированных и неструктурированных данных дистанционного зондирования Земли, полученных различными способами, включая спутники и беспилотные летательные аппараты. Целью статьи является исследование и реализация алгоритмов для эффективной очистки и предобработки полуструктурированных и неструктурированных данных дистанционного зондирования Земли. Подчеркивается важность очистки этих данных от шума, артефактов и ошибок для повышения их точности и значимости в прикладных научных исследованиях и практическом применении. Рассматриваются ключевые методики предобработки данных, включая удаление шума, коррекцию искажений, классификацию, сегментацию и стандартизацию данных, теоретические положения подкрепляются практическими примерами на Python с использованием таких библиотек, как GDAL, OpenCV и scikit-image. Приводятся примеры обнаружения воздушно-космических и транспортных объектов при помощи машинного обучения и глубокого обучения, подчеркивается значимость метрик точности, полноты и F1-Score при оценке качества очистки данных. Практическая значимость исследования заключается в оценке эффективности методов очистки данных, используемых для восстановления изображений при дистанционном зондировании Земли.

Abstract. The problem of processing semi-structured and unstructured Earth remote sensing (ERS) data obtained by various methods, including satellites and unmanned aerial vehicles, is touched upon. The purpose of the article is to study and implement algorithms for effective purification and preprocessing of semi-structured and unstructured Earth remote sensing data. The importance of cleaning these data from noise, artifacts and errors is emphasized in order to increase their accuracy and significance in applied scientific research and practical application. Key data preprocessing techniques are considered, including noise removal, distortion correction, classification, segmentation and standardization of data, reinforcing theoretical positions with practical examples in Python using libraries such as GDAL, OpenCV and scikit-image. Examples of detection of aerospace and transport objects using machine learning and deep learning are given, emphasizing the importance of accuracy, completeness and F1-Score metrics in assessing the quality of data purification. The practical significance of the study lies in evaluating the effectiveness of data purification methods used to restore images during remote sensing of the Earth.

 дистанционное зондирование Земли предобработка данных очистка данных машинное обучение глубокое обучение фильтрация шума коррекция искажений классификация данных сегментация изображений воздушно-космические объекты GDAL OpenCV scikit-image remote sensing of the Earth data preprocessing data purification machine learning deep learning noise filtering distortion correction data classification image segmentation aerospace objects GDAL OpenCV scikit-image

Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising / K. Zhang [et al.] // IEEE Transactions on Image Processing. 2017. P. 3142–3155. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising / K. Zhang [et al.] // IEEE Transactions on Image Processing. 2017. P. 3142–3155. Компьютерное зрение. Современные методы и перспективы развития / ред. Р. Дэвис, М. Терк; пер. с англ. В. С. Яценкова. М.: ДМК Пресс, 2022. 690 с. Komp'yuternoe zrenie. Sovremennye metody i perspektivy razvitiya / red. R. Devis, M. Terk; per. s angl. V. S. Yacenkova. M.: DMK Press, 2022. 690 s. Никитин Г. Ю. Повышение качества изображения на базе алгоритмов нейронных сетей // Компьютерные системы и сети: материалы 54-й научной конференции аспирантов, магистрантов и студентов (Минск, Беларусь, 23–27 апреля 2018 г.). Минск: Белорусский гос. ун-т информатики и радиоэлектроники, 2018. С. 242–244. Nikitin G. Yu. Povyshenie kachestva izobrazheniya na baze algoritmov neyronnyh setey // Komp'yuternye sistemy i seti: materialy 54-y nauchnoy konferencii aspirantov, magistrantov i studentov (Minsk, Belarus', 23–27 aprelya 2018 g.). Minsk: Belorusskiy gos. un-t informatiki i radioelektroniki, 2018. S. 242–244. Булыга Ф. С., Курейчик В. М. Метод понижения шума на цифровых изображениях // Мировые научные исследования и разработки в эпоху цифровизации: материалы XV Международной научно-практической конференции (Ростов-на-Дону, Россия, 25 ноября 2021 г.): в 2 ч. Ч. 1. Ростов н/Д.: Изд-во Южного университета (ИУБиП), 2021. С. 143–147. Bulyga F. S., Kureychik V. M. Metod ponizheniya shuma na cifrovyh izobrazheniyah // Mirovye nauchnye issledovaniya i razrabotki v epohu cifrovizacii: materialy XV Mezhdunarodnoy nauchno-prakticheskoy konferencii (Rostov-na-Donu, Rossiya, 25 noyabrya 2021 g.): v 2 ch. Ch. 1. Rostov n/D.: Izd-vo Yuzhnogo universiteta (IUBiP), 2021. S. 143–147. Кислянский Г. Н., Нестругина Е. С. Восстановление расфокусированных и смазанных изображений // Вестник Донецкого национального университета. Серия Г: Технические науки. 2020. № 4. С. 41–53. Kislyanskiy G. N., Nestrugina E. S. Vosstanovlenie rasfokusirovannyh i smazannyh izobrazheniy // Vestnik Doneckogo nacional'nogo universiteta. Seriya G: Tehnicheskie nauki. 2020. № 4. S. 41–53. Learning to Estimate and Remove Non-uniform Image Blur / F. Couzinié-Devy [et al.] // Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2013) (Portland, OR, USA, 23–28 June 2013). Institute of Electrical and Electronics Engineers, 2013. P. 1075–1082. DOI: 10.1109/CVPR.2013.143 Learning to Estimate and Remove Non-uniform Image Blur / F. Couzinié-Devy [et al.] // Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2013) (Portland, OR, USA, 23–28 June 2013). Institute of Electrical and Electronics Engineers, 2013. P. 1075–1082. DOI: 10.1109/CVPR.2013.143 Вершовский Е. А. Роевой алгоритм оптимизации в задаче кластеризации мультиспектрального снимка // Известия Южного федерального университета. Технические науки. 2010. № 5(106). С. 102–107. Vershovskiy E. A. Roevoy algoritm optimizacii v zadache klasterizacii mul'tispektral'nogo snimka // Izvestiya Yuzhnogo federal'nogo universiteta. Tehnicheskie nauki. 2010. № 5(106). S. 102–107. Вершовский Е. А. Метод контроля качества кластеризации мультиспектрального изображения // Известия Южного федерального университета. Серия «Технические науки». 2010. № 7(108). С. 191–198. Vershovskiy E. A. Metod kontrolya kachestva klasterizacii mul'tispektral'nogo izobrazheniya // Izvestiya Yuzhnogo federal'nogo universiteta. Seriya «Tehnicheskie nauki». 2010. № 7(108). S. 191–198. Кузнецов А. А., Опарин А. Н., Шишкин В. А. Поиск и распознавание объектов на базисе нейросетевых алгоритмов и нейропроцессорных технологий // Прикладная физика. 2006. № 5. С. 97–100. Kuznecov A. A., Oparin A. N., Shishkin V. A. Poisk i raspoznavanie ob'ektov na bazise neyrosetevyh algoritmov i neyroprocessornyh tehnologiy // Prikladnaya fizika. 2006. № 5. S. 97–100. Сорокин С. В. Возможности и преимущества взвешенных медианных фильтров для удаления импульсного шума на изображении // Труды XIX Международного симпозиума «Надежность и качество» (Пенза, Россия, 26 мая — 01 июня 2014 г.). Т. 2. Пенза: Пензенский гос. ун-т, 2014. С. 203–204. Sorokin S. V. Vozmozhnosti i preimuschestva vzveshennyh mediannyh fil'trov dlya udaleniya impul'snogo shuma na izobrazhenii // Trudy XIX Mezhdunarodnogo simpoziuma «Nadezhnost' i kachestvo» (Penza, Rossiya, 26 maya — 01 iyunya 2014 g.). T. 2. Penza: Penzenskiy gos. un-t, 2014. S. 203–204.