Как малое обучение улучшает анализ изображений на основе БПК

Таблица ссылок

1. Аннотация и введение
2. Фон
3. Тип данных датчика дистанционного зондирования
4. Clarkmark Demote Sensing Dataets для оценки моделей обучения
5. Метрики оценки для нескольких ударов дистанционного зондирования
6. Недавние методы обучения в дистанционном зондировании
7. Обнаружение и сегментация объекта на основе нескольких выстрелов в дистанционном зондировании
8. Обсуждения
9. Численные эксперименты нескольких выстрелов в наборе данных на основе БПЛА
10. Объяснимый ИИ (XAI) в дистанционном зондировании
11. Выводы и будущие направления
12. Благодарности, декларации и ссылки

Абстрактный

Последние достижения значительно повысили эффективность и эффективность методов глубокого обучения для задач дистанционного зондирования на основе изображений. Тем не менее, требование к большим объемам помеченных данных может ограничить применимость глубоких нейронных сетей к существующим наборам данных дистанционного зондирования. Чтобы преодолеть эту проблему, несколько выстрелов стало ценным подходом для обеспечения обучения с ограниченными данными. В то время как в предыдущих исследованиях была оценена эффективность методов нескольких выстрелов на наборе данных на основе спутников, было уделено мало внимания изучения применений этих методов для наборов данных, полученных из беспилотных воздушных транспортных средств (БПЛА), которые все чаще используются в исследованиях дистанционного зондирования. В этом обзоре мы предоставляем актуальный обзор существующих и недавно предложенных методов классификации нескольких выстрелов, а также соответствующие наборы данных, которые используются как для данных на основе спутников, так и на основе БПК. Наш систематический подход демонстрирует, что несколько выстрелов может эффективно адаптироваться к более широким и более разнообразным перспективам, которые могут предоставить платформы на основе БПК. Мы также оцениваем некоторые современные подходы к нескольким выстрелам в наборе данных классификации сцены БПЛА, что дает многообещающие результаты. Мы подчеркиваем важность интеграции объяснимых методов ИИ (XAI), таких как карты внимания и анализ прототипа, для повышения прозрачности, подотчетности и достоверности моделей нескольких выстрелов для дистанционного зондирования. Выявлены ключевые проблемы и будущие направления исследований, в том числе адаптированные методы для БПЛА для БПЛА, распространяющиеся до невидимых задач, таких как сегментация, и разработка оптимизированных методов XAI, подходящих для нескольких выстрелов. Этот обзор направлен на то, чтобы предоставить исследователям и практикующим лицам улучшенное понимание возможностей и ограничений обучения в дистанционном зондировании, выделяя при этом открытые проблемы, направляющие будущий прогресс в эффективных, надежных и интерпретируемых методах с небольшим выстрелом.

1 Введение

В последних нескольких десятилетиях значительные достижения в области технологии визуализации дистанционного зондирования. Технологии дистанционного зондирования в настоящее время охватывают не только традиционные спутниковые платформы, но также включают данные, собранные из удаленных беспилотных летательных аппаратов (БПЛА). Рисунок 1 иллюстрирует типичную высоту, на которой такие платформы набирают и их зону покрытия [1] для городских условий. Современные датчики, направленные на воздух, прикрепленные к таким платформам, могут покрывать и отображать значительную часть поверхности Земли лучшими пространственными и временными разрешениями, что делает их необходимыми для наблюдений на основе земли или на основе окружающей среды, таких как геодезия и облегчение бедствий. Автоматический анализ изображений дистанционного зондирования обычно является мультимодальным, что означает, что могут использоваться оптические, радиолокационные или инфракрасные датчики, и такие данные могут быть все более и более эффективно распределяться. Благодаря достижениям в области искусственного интеллекта подходы глубокого обучения нашли свой путь в сообщество дистанционного зондирования, которое вместе с увеличением доступности данных дистанционного зондирования позволило более эффективному пониманию сцены, идентификации объектов и отслеживанию.

Свещательные нейронные сети (CNN) стали популярными по распознаванию объектов, обнаружению и сегментации семантического или экземпляра изображений дистанционного зондирования, обычно используя изображения RGB в качестве входных данных, которые подвергаются свертке, нормализации и операциям объединения. Работа в свертке эффективна для учета локального взаимодействия между функциями пикселя. В то время как сообщество дистанционного зондирования добилось больших успехов в многоспектральной классификации изображений на основе спутников, отслеживания и сегментации семантического и экземпляра, ограниченное восприимчивое поле CNN затрудняет моделирование зависимостей дальнего действия на изображении. Vision Transformers (VIT) было предложено для решения этой проблемы, используя механизм самосознания для захвата глобальных взаимодействий между различными частями последовательности. VIT продемонстрировали высокую производительность на наборах данных контрольных данных, конкурируя с лучшими методами CNN. Следовательно, сообщество дистанционного зондирования быстро предложило

Методы на основе VIT для классификации изображений с высоким разрешением. Благодаря предварительному обучению и методам обучения передачи, CNNS и VIT могут сохранить свою эффективность классификации при более низких вычислительных затратах, что важно для ограниченных вычислительных ресурсов, таких как БПЛА.

Тем не менее, как CNN, так и VIT требовали больших образцов обучения данных для точной классификации, и некоторые из этих методов могут быть невозможны для критических задач, таких как поиск беспилотников. Например, было бы полезно, если бы платформы смогли быстро идентифицировать и обобщать сцену стихийных бедствий исключительно из -за анализа небольшого подмножества захваченных рам. Несколько подходов классификации учитывали вышеупомянутые потребности, и в таких подходах цель состоит в том, чтобы позволить сети быстро обобщать до невидимых тестовых классов более разнообразным образом, учитывая небольшие наборы обучающих изображений. Такая структура, как эта, очень напоминает то, как человеческий мозг учится в реальной жизни. Как и VIT, обучение с несколькими выстрелами также зажгло новые исследования в области дистанционного зондирования, и их применение к классификации земного покрова в домене RGB ([2], [3]) и гиперспектральной классификации ([4], [5]) была обнаружена. Подходы также были распространены на обнаружение объекта [6] и сегментацию [7]. Эти новые работы также столь же недавние, как и это использование Vit. Поскольку сообщалось об обзоре подходов к VIT для различных доменов в дистанционном зондировании [8], обзор на основе нескольких выстрелов в дистанционном зондировании заслуживает внимания, чтобы сохранить нынешних заинтересованных исследователей в соответствии с недавними прогрессами в этой области.

Мы приняли к сведению, что связанный с этим обзор уже проводился в [9]. Примечательным упущением в предыдущем обзоре является неспособность подтвердить значение интерпретируемых моделей машинного обучения в этой области. Интеграция интерпретируемого машинного обучения в классификацию изображений дистанционного зондирования может дополнительно повысить производительность CNN и VITS. Предоставляя понимание процесса принятия решений в этих моделях, интерпретируемое машинное обучение может повысить их прозрачность и подотчетность, что особенно актуально в приложениях, где решения с высокими ставками принимаются на основе их результатов, таких как реакция на стихийные бедствия и мониторинг окружающей среды. Например, карты значимости могут быть сгенерированы для выделения областей изображений, которые наиболее актуальны для решения модели, предоставляя визуальные объяснения для его прогнозов. Кроме того, интерпретируемое машинное обучение может помочь в определении потенциальных смещений и ошибок в учебных данных, а также повысить надежность и обобщение модели. В дистанционном зондировании интерпретируемое машинное обучение также может способствовать интеграции экспертных знаний в модель, что позволяет включить физические и экологические ограничения в процесс классификации. Это может повысить точность и интерпретируемость модели, что позволит получить более информированное принятие решений. Короче говоря, интеграция интерпретируемого машинного обучения в классификацию изображений дистанционного зондирования может обеспечить ценный инструмент для повышения прозрачности, подотчетности и точности CNN и VIT. Предоставляя понимание процесса принятия решений этих моделей, интерпретируемое машинное обучение может помочь укрепить доверие к их результатам и облегчить их использование в критических приложениях.

Цель этого дополнительного обзора в этой области состоит в том, чтобы рассмотреть еще несколько пробелов, которые не были включены в предыдущий обзор [9]. Эти пробелы следующие:

• Их сосредоточение внимания на изучении наборов данных дистанционного зондирования было уделено спутниковым образам и методам обучения с несколькими выстрелами, связанными с такими наборами данных. Тем не менее, с появлением наборов данных дистанционного зондирования на основе БПК, мы обнаружили отсутствие рассмотрения для предлагаемых работ, которые были применены и оценены в таких наборах данных. Кроме того, наборы данных и методы, основанные на обучении, связанные с БПЛА, также могут извлечь выгоду из меньшего количества подходов к обучению из-за их ограниченных вычислительных ресурсов. Это подразумевает, что данные, собранные через БПЛА, будут ограничены ограниченным количеством, что подчеркивает необходимость эффективных методов обучения.

• Количественно говоря, спутниковые наборы данных дистанционного зондирования предлагают значительно более широкое поле зрения и больший охват, что позволяет одновременно захватить несколько классов объектов или метки в одной сцене, подход, который называется классификацией нескольких маркел. С другой стороны, меньшая область покрытия наборов данных дистанционного зондирования на основе БПЛА часто предоставляет данные, которые подходят только для классификации изображений с одной маркой. Следовательно, предлагаемые методы, которые обращаются к таким параметрам в контексте дистанционного зондирования на основе БПК, можно легко отличить от тех, которые предназначены для многоуровневой классификации, в отличие от работ, использующих спутниковые наборы данных дистанционного зондирования. Поэтому важно учитывать характеристики набора данных дистанционного зондирования при разработке и оценке методов классификации изображений в этом поле.

• Как было подчеркнуто и проиллюстрировано [9], использование нескольких выстрелов, основанных на обучении для дистанционного зондирования, растет с 2012 года. Поскольку вышеупомянутая работа была опубликована в 2021 году, мы можем предположить, что будет еще больше пролиферации таких подходов для отдаленного зондирования. В свете динамического характера этой исследовательской области, наш обзор направлен на распространение наиболее актуальной и современной информации, доступной на эту тему. Благодаря такому подходу мы стремимся обеспечить улучшенное понимание недавних достижений в нескольких выстрелах, основанных на обучении методов для дистанционного зондирования, что позволяет провести всестороннюю оценку их потенциальных приложений и ограничений.

Таким образом, наши основные вклад в эту обзорную статью следующие:

• В этой работе мы представляем и целесообразно суммируем приложения нескольких выстрелов, основанных на обучении, как на спутниковых, так и на основе беспилотников, сосредоточив внимание только на классификации изображений, но расширяя обзорную работу, проведенную [9] с точки зрения исследуемых наборов данных удаленного зондирования. Наш анализ служит для оказания помощи читателям и исследователям, что позволяет им преодолеть разрывы между текущими современными методами классификации на основе изображений в дистанционном зондировании, что может помочь в продвижении дальнейшего прогресса в этой области.

• В рамках нашего обсуждения недавнего прогресса в области дистанционного зондирования в отношении нескольких выстрелов мы рассмотрели, как CNN и трансформаторные подходы могут быть адаптированы к наборам данных, расширяя потенциал этих методов в этом домене.

• Наша работа углубилась в тщательное обсуждение проблем и направлений исследований, касающихся нескольких выстрелов в дистанционном зондировании. Мы стремились определить осуществимость и эффективность различных подходов к обучению в этой области, сосредоточив внимание на их потенциальных приложениях в наборах данных на основе БПК. Благодаря такому подходу мы стремились пролить свет на потенциальные ограничения и дальнейшие исследования, необходимые для повышения эффективности нескольких выстрелов, основанных на обучении в области дистанционного зондирования, проложив путь для более продвинутых и сложных методов классификации, которые будут разработаны в будущем.

• Мы также подчеркнули значение интеграции XAI для повышения прозрачности и надежности нескольких выстрелов, основанных на обучении, в дистанционном зондировании. Наша цель состояла в том, чтобы предложить исследователям и практикам лучшее понимание возможных приложений и ограничений этих методов. Мы также стремились определить новые направления исследования, чтобы разработать более эффективные и интерпретируемые методы, основанные на обучении, для классификации изображений при дистанционном зондировании.

Остальная часть этой статьи структурирована следующим образом: В разделе 2 мы предоставляем краткий опыт работы с несколькими выстрелами и настоящими примерами. В разделе 3 обсуждаются связанные обзоры работ в области дистанционного зондирования, а в разделе 4, 5 и 6 представлены краткие основные моменты типа данных дистанционного зондирования, общих показателей оценки, используемых, и обычно используемых наборов данных соответственно.

Раздел 7 углубляется в некоторые современные существующие работы по нескольким выстрелам в области гиперспектральной, очень высокого разрешения (VHR) и синтетической апертурной радиолокационной (SAR). В разделе 8 мы описываем некоторые последствия и ограничения текущих подходов, а в разделе 9 мы количественно оцениваем некоторые существующие методы на наборе данных на основе БПК, демонстрируя осуществимость таких подходов для применений БПЛА. Наконец, в разделе 10 мы завершаем этот обзорный документ. Обзор объема, описанного в нашем обзоре объяснимого обучения в нескольких выстрелах для дистанционного зондирования, показан на рисунке 2.