Passant en revue plus de 60 études Transformer, un article résume les derniers progrès dans le domaine de la télédétection

La technologie d’imagerie par télédétection a fait des progrès significatifs au cours des dernières décennies. L'amélioration continue des capteurs aéroportés modernes dans l'espace, le spectre et la résolution peuvent désormais couvrir la majeure partie de la surface terrestre. Par conséquent, la technologie de télédétection a de nombreuses applications dans les domaines de l'écologie, des sciences de l'environnement, des sciences du sol, de la pollution de l'eau, de la glaciologie, de la mesure et de l'analyse des terres, etc. Le domaine de la recherche joue un rôle essentiel. Étant donné que les données de télédétection sont souvent multimodales, situées dans l’espace géographique (géolocalisation), souvent à l’échelle mondiale, et que la taille des données augmente, ces caractéristiques posent des défis uniques à l’analyse automatique des images de télédétection.

Dans de nombreux domaines de la vision par ordinateur, tels que la reconnaissance, la détection et la segmentation d'objets, etc., l'apprentissage profond, notamment les réseaux de neurones convolutifs (CNN), est devenu courant. Les réseaux de neurones convolutifs prennent généralement des images RVB en entrée et effectuent une série d'opérations de convolution, de normalisation locale et de regroupement. Les CNN s'appuient généralement sur de grandes quantités de données de formation, puis utilisent le modèle pré-entraîné résultant comme extracteur de fonctionnalités universel pour diverses applications en aval. Le succès de la technologie de vision par ordinateur basée sur l’apprentissage profond a également inspiré la communauté de la télédétection et a permis des progrès significatifs dans de nombreuses tâches de télédétection, telles que la classification d’images hyperspectrales et la détection de changements.

L'un des principaux fondements de CNN est l'opération de convolution, qui capture les interactions locales entre les éléments de l'image d'entrée, telles que les informations de contour et de bord. Les CNN codent des biais tels que la connectivité spatiale et l’équivalence translationnelle, des fonctionnalités qui aident à construire des architectures polyvalentes et efficaces. Le champ récepteur local de CNN limite la modélisation des dépendances à longue portée dans les images (telles que les relations entre parties distantes). La convolution est indépendante du contenu car les poids du filtre convolutif sont fixes, appliquant le même poids à toutes les entrées quelle que soit leur nature. Les transformateurs visuels (ViT) ont démontré des performances impressionnantes dans diverses tâches de vision par ordinateur. Basé sur le mécanisme d'auto-attention, ViT capture efficacement les interactions globales en apprenant les relations entre les éléments de la séquence. Des études récentes ont montré que ViT possède des capacités de modélisation d'interactions à longue portée dépendantes du contenu et peut ajuster de manière flexible ses champs de réception pour lutter contre les interférences dans les données et apprendre des représentations de fonctionnalités efficaces. En conséquence, ViT et ses variantes ont été utilisées avec succès dans de nombreuses tâches de vision par ordinateur, notamment la classification, la détection et la segmentation.

Avec le succès de ViT dans le domaine de la vision par ordinateur, le nombre de tâches utilisant le cadre de transformation basé sur l'analyse de télédétection a considérablement augmenté (voir Figure 1), comme la classification d'images à ultra haute résolution, la détection de changements , la netteté des couleurs et la détection des bâtiments sont utilisés dans les sous-titres de texte et d'image. Cela ouvre une nouvelle ère d’analyse par télédétection, avec des chercheurs utilisant diverses méthodes telles que l’exploitation de la pré-formation ImageNet ou l’utilisation de transformateurs visuels pour effectuer une pré-formation en télédétection.

De même, il existe également des méthodes dans la littérature connexe basées sur des conceptions de transformateurs purs ou utilisant des méthodes hybrides basées sur des transformateurs et CNN. En raison de l’émergence rapide de méthodes basées sur des transformateurs pour différents problèmes de télédétection, il devient de plus en plus difficile de suivre les dernières avancées.

Dans l'article, l'auteur passe en revue les progrès réalisés dans le domaine de l'analyse de télédétection et présente les méthodes populaires basées sur les transformateurs dans le domaine de la télédétection. Les principales contributions de l'article sont les suivantes :

. Application de modèles basés sur des transformateurs dans l'imagerie de télédétection Fournit un aperçu holistique et est le premier à étudier l'utilisation de transformateurs dans l'analyse de télédétection, comblant ainsi le fossé entre les progrès récents de la vision par ordinateur et de la télédétection dans ce domaine populaire et en croissance rapide.

• Donnez un aperçu de CNN et Transformer et discutez de leurs avantages et inconvénients respectifs.
• Passez en revue plus de 60 travaux de recherche basés sur les transformateurs dans la littérature et discutez des derniers progrès dans le domaine de la télédétection.
• Discutez des différents défis et orientations de recherche sur les transformateurs dans l'analyse par télédétection.

Le reste de l'article est organisé : la section 2 traite d'autres recherches connexes sur l'imagerie de télédétection ; la section 3 donne un aperçu des différents modes d'imagerie en télédétection ; la section 4 donne un bref aperçu de la section CNN et des transformateurs visuels ; La section 5 examine l'imagerie à très haute résolution (VHR) ; la section 6 présente l'analyse d'images hyperspectrales ; la section 7 présente les progrès des méthodes basées sur les transformateurs dans le domaine des radars à synthèse d'ouverture (SAR) ;

Veuillez vous référer au document original pour plus de détails.

• Lien papier : https://arxiv.org/pdf/2209.01206.pdf
• Adresse GitHub : https://github.com/VIROBO-15/Transformer-in-Remote- Détection

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!