In einem Artikel werden mehr als 60 Transformer-Studien überprüft und die neuesten Fortschritte auf dem Gebiet der Fernerkundung zusammengefasst

Die Fernerkundungs-Bildgebungstechnologie hat in den letzten Jahrzehnten erhebliche Fortschritte gemacht. Die kontinuierliche Verbesserung moderner luftgestützter Sensoren in Bezug auf Raum, Spektrum und Auflösung kann mittlerweile den größten Teil der Erdoberfläche abdecken. Daher hat die Fernerkundungstechnologie viele Anwendungen in der Ökologie, Umweltwissenschaft, Bodenkunde, Wasserverschmutzung, Glaziologie, Landmessung und -analyse usw . Der Forschungsbereich spielt eine entscheidende Rolle. Da Fernerkundungsdaten häufig multimodal sind, sich im geografischen Raum (Geolokalisierung) befinden, häufig auf globaler Ebene, und die Datengröße ständig zunimmt, stellen diese Merkmale einzigartige Herausforderungen für die automatische Analyse von Fernerkundungsbildern dar.

In vielen Bereichen der Computer Vision, wie der Objekterkennung, -erkennung und -segmentierung, ist Deep Learning, insbesondere Convolutional Neural Networks (CNN), zum Mainstream geworden. Faltungs-Neuronale Netze nehmen typischerweise RGB-Bilder als Eingabe und führen eine Reihe von Faltungs-, lokalen Normalisierungs- und Pooling-Operationen durch. CNNs stützen sich typischerweise auf große Mengen an Trainingsdaten und nutzen das resultierende vorab trainierte Modell dann als universellen Merkmalsextraktor für verschiedene nachgelagerte Anwendungen. Der Erfolg der auf Deep Learning basierenden Computer-Vision-Technologie hat auch die Fernerkundungsgemeinschaft inspiriert und zu erheblichen Fortschritten bei vielen Fernerkundungsaufgaben geführt, beispielsweise bei der Klassifizierung hyperspektraler Bilder und der Erkennung von Veränderungen.

Eine der Hauptgrundlagen von CNN ist die Faltungsoperation, die die lokalen Interaktionen zwischen Elementen im Eingabebild erfasst, wie z. B. Kontur- und Kanteninformationen. CNNs kodieren Vorurteile wie räumliche Konnektivität und translatorische Äquivalenz, Merkmale, die beim Aufbau vielseitiger und effizienter Architekturen helfen. Das lokale Empfangsfeld in CNN schränkt die Modellierung weitreichender Abhängigkeiten in Bildern ein (z. B. Beziehungen zwischen entfernten Teilen). Die Faltung ist inhaltsunabhängig, da die Gewichte des Faltungsfilters fest sind und allen Eingaben unabhängig von ihrer Art das gleiche Gewicht zuweisen. Visuelle Transformatoren (ViTs) haben bei einer Vielzahl von Aufgaben im Bereich Computer Vision beeindruckende Leistungen gezeigt. Basierend auf dem Selbstaufmerksamkeitsmechanismus erfasst ViT globale Interaktionen effektiv, indem es die Beziehungen zwischen Sequenzelementen lernt. Jüngste Studien haben gezeigt, dass ViT über inhaltsabhängige Fähigkeiten zur Modellierung von Interaktionen mit großer Reichweite verfügt und seine Empfangsfelder flexibel anpassen kann, um Interferenzen in Daten zu bekämpfen und effektive Merkmalsdarstellungen zu erlernen. Infolgedessen wurden ViT und seine Varianten erfolgreich in vielen Computer-Vision-Aufgaben eingesetzt, einschließlich Klassifizierung, Erkennung und Segmentierung.

Durch den Erfolg von ViT im Bereich Computer Vision hat die Verwendung von Aufgaben, die auf dem Transformer-Framework in der Fernerkundungsanalyse basieren, erheblich zugenommen (siehe Abbildung 1), wie beispielsweise Ultra - Hochauflösende Bildklassifizierung, Änderungserkennung, Pan-Sharpening, Gebäudeerkennung und Bilduntertitel verfügen alle über Transformatoren. Dies eröffnet eine neue Ära der Fernerkundungsanalyse, in der Forscher verschiedene Methoden nutzen, wie z. B. die Nutzung des ImageNet-Vortrainings oder die Verwendung visueller Transformatoren zur Durchführung des Fernerkundungs-Vortrainings. #?? verwandte Literatur. Aufgrund der raschen Entwicklung transformatorbasierter Methoden für verschiedene Fernerkundungsprobleme wird es immer schwieriger, mit den neuesten Fortschritten Schritt zu halten.

In dem Artikel geht der Autor auf die Fortschritte im Bereich der Fernerkundungsanalyse ein und stellt beliebte transformatorbasierte Methoden im Bereich der Fernerkundung vor. Die wichtigsten Beiträge des Artikels lauten wie folgt: #🎜🎜 #

Bietet einen Gesamtüberblick über die Anwendung transformatorbasierter Modelle in der Fernerkundungsbildgebung, und der Autor ist der erste, der die Verwendung untersucht von Transformatoren in der Fernerkundungsanalyse, um die Lücke zwischen Computer Vision und Fernerkundung zwischen den jüngsten Fortschritten in diesem schnell wachsenden und beliebten Bereich zu schließen.

Geben Sie einen Überblick über CNN und Transformer und diskutieren Sie deren jeweilige Vor- und Nachteile.

Bespricht mehr als 60 transformatorbasierte Forschungsarbeiten in der Literatur und diskutiert die neuesten Fortschritte auf dem Gebiet der Fernerkundung.

• Diskutieren Sie die verschiedenen Herausforderungen und Forschungsrichtungen von Transformatoren in der Fernerkundungsanalyse.
• Der Rest des Artikels ist wie folgt gegliedert: Abschnitt 2 bespricht andere verwandte Untersuchungen zur Fernerkundungsbildgebung. Abschnitt 3 bietet einen Überblick über verschiedene Bildgebungsmodi in der Ferne Abschnitt 3 Abschnitt 4 bietet einen kurzen Überblick über CNNs und visuelle Transformatoren. Abschnitt 6 stellt die Fortschritte der transformatorbasierten Bildanalyse (SAR) vor ); Abschnitt 8 erörtert zukünftige Forschungsrichtungen.
• Weitere Einzelheiten finden Sie im Originalpapier.

• Papierlink: https://arxiv.org/pdf/2209.01206.pdf
• GitHub-Adresse: https://github.com/VIROBO-15/Transformer-in-Remote- Spüren

Das obige ist der detaillierte Inhalt vonIn einem Artikel werden mehr als 60 Transformer-Studien überprüft und die neuesten Fortschritte auf dem Gebiet der Fernerkundung zusammengefasst. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!