Ohne die Notwendigkeit, riesige Datenmengen zu kennzeichnen, bringt das neue Paradigma der Zielerkennung OVD die multimodale AGI einen Schritt weiter

Die Zielerkennung ist eine sehr wichtige Grundaufgabe in der Computer-Vision. Bei der Zielerkennung muss das Modell zusätzlich zur gegebenen Zielkategorie auch die Positions- und Größeninformationen angeben Aufgrund der Hauptaufgaben des Lebenslaufs (Identifizierung, Erkennung und Segmentierung) kommt ihm eine Schlüsselposition als Bindeglied zwischen der Vergangenheit und der Zukunft zu.

Der derzeit beliebte multimodale GPT-4 verfügt nur über die Fähigkeit zur Zielerkennung in Bezug auf die visuellen Fähigkeiten und ist nicht in der Lage, schwierigere Zielerkennungsaufgaben zu lösen. Das Erkennen der Kategorie-, Standort- und Größeninformationen von Objekten in Bildern oder Videos ist der Schlüssel zu vielen Anwendungen der künstlichen Intelligenz in der realen Produktion, wie z. B. der Fußgänger- und Fahrzeugerkennung beim autonomen Fahren, der Gesichtserkennung bei Sicherheitsüberwachungsanwendungen und der medizinischen Bildanalyse von Tumoren , usw.

Bestehende Zielerkennungsmethoden wie die YOLO-Serie, die R-CNN-Serie und andere Zielerkennungsalgorithmen haben aufgrund der kontinuierlichen Bemühungen wissenschaftlicher Forscher jedoch eine hohe Zielerkennungsgenauigkeit und -effizienz erreicht Modelltraining Definieren Sie einfach den Satz (geschlossener Satz) der zu erkennenden Ziele, sodass sie keine Ziele außerhalb des Trainingssatzes erkennen können. Darüber hinaus können vorhandene Methoden nicht zum Erkennen von Fahrzeugen verwendet werden Wenn bei gekennzeichneten Daten die zu erkennenden Zielkategorien hinzugefügt oder geändert werden müssen, müssen einerseits die Trainingsdaten neu gekennzeichnet werden und andererseits muss das Modell neu gekennzeichnet werden -geschult, was zeit- und arbeitsintensiv ist.

Eine mögliche Lösung besteht darin, umfangreiche Bilder zu sammeln und Box-Informationen und semantische Informationen manuell zu kennzeichnen. Dies erfordert jedoch extrem hohe Kennzeichnungskosten, und die Verwendung umfangreicher Daten zum Trainieren des Erkennungsmodells stellt auch wissenschaftliche Forscher vor Herausforderungen Die Long-Tail-Verteilung der Daten und die instabile Qualität der manuellen Annotation wirken sich auf die Leistung des Erkennungsmodells aus.

Der in CVPR 2021 veröffentlichte Artikel OVR-CNN [1] schlägt ein neues Zielerkennungsparadigma vor: Open-Vocabulary Detection (OVD, auch bekannt als Open-World-Zielerkennung) zur Bewältigung des oben genannten Problems ist das Erkennungsszenario von unbekannte Objekte in der offenen Welt.

OVD hat seit seiner Einführung kontinuierliche Aufmerksamkeit in Wissenschaft und Industrie auf sich gezogen, da es in der Lage ist, eine beliebige Anzahl und Kategorie von Zielen zu identifizieren und zu lokalisieren, ohne die Menge der annotierten Daten manuell zu erweitern, und hat auch großen Erfolg bei der klassischen Zielerkennung gebracht Es bringt neue Vitalität und neue Herausforderungen mit sich und wird voraussichtlich zu einem neuen Paradigma für die Zielerkennung werden.

Insbesondere erfordert die OVD-Technologie keine manuelle Annotation von Massenbildern, um die Erkennungsfähigkeit des Erkennungsmodells für unbekannte Kategorien zu verbessern. Stattdessen wird ein klassenunabhängiger Bereichsdetektor mit einer guten Verallgemeinerung kombiniert Das auf unbeschrifteten Daten trainierte Modell wird kombiniert, um die Fähigkeit des Zielerkennungsmodells zu erweitern, Open-World-Ziele durch modalübergreifende Ausrichtung von Bildbereichsmerkmalen und beschreibendem Text des zu erkennenden Ziels zu verstehen.

Die kreuz- und multimodale Arbeit an großen Modellen wie CLIP [2], ALIGN [3] und R2D2 [4] usw. hat sich in letzter Zeit sehr schnell entwickelt, und ihre Entwicklung hat auch die Entstehung von OVD gefördert und das Gebiet der OVD. Schnelle Iteration und Weiterentwicklung verwandter Arbeiten.

Die OVD-Technologie beinhaltet die Lösung von zwei Schlüsselproblemen: 1) Wie kann die Anpassung zwischen Regionsinformationen und modalübergreifenden großen Modellen verbessert werden? 2) Wie kann die Verallgemeinerungsfähigkeit von kategorienübergreifenden Zieldetektoren verbessert werden? Aus diesen beiden Perspektiven werden im Folgenden einige verwandte Arbeiten im Bereich OVD ausführlich vorgestellt.

OVD-Grundprozessdiagramm [1]

Grundlegende Konzepte von OVD: Die Verwendung von OVD umfasst hauptsächlich zwei Hauptszenarien: wenige Schüsse und Null-Schüsse, wenige Schüsse Es bezieht sich auf die Zielkategorie mit einer kleinen Anzahl manuell beschrifteter Trainingsbeispiele, während sich Zero-Shot auf die Zielkategorie ohne manuell beschriftete Trainingsbeispiele bezieht. In den häufig verwendeten akademischen Bewertungsdatensätzen COCO und LVIS ist der Datensatz in Basisklasse und Romanklasse unterteilt, wobei die Basisklasse dem Wenig-Schuss-Szenario und die Roman-Klasse dem Null-Schuss-Szenario entspricht. Beispielsweise enthält der COCO-Datensatz 65 Kategorien, und eine übliche Bewertungseinstellung besteht darin, dass der Basissatz 48 Kategorien enthält und nur diese 48 Kategorien im Training mit wenigen Schüssen verwendet werden. Das Novel-Set enthält 17 Kategorien, die während des Trainings völlig unsichtbar sind. Die Testindikatoren beziehen sich zum Vergleich hauptsächlich auf den AP50-Wert der Novel-Klasse.

Nr.

Papieradresse: https://arxiv.org/pdf/2011.10678.pdf

#🎜 🎜#

Code-Adresse: https://github.com/alirezazareian/ovr-cnn

• OVR-CNN ist der mündliche Vortrag des CVPR 2021 und eine Pionierarbeit im OVD-Bereich. Sein zweistufiges Trainingsparadigma hat viele nachfolgende OVD-Arbeiten beeinflusst. Wie in der folgenden Abbildung dargestellt, verwendet die erste Stufe hauptsächlich Bildunterschriftenpaare, um den visuellen Encoder vorab zu trainieren. Dabei wird BERT (feste Parameter) zum Generieren von Wortmasken verwendet und ein schwach überwachter Grounding-Matching wird mit ResNet50 durchgeführt, das mit ImageNet geladen ist Aufgrund der vorab trainierten Gewichte geht der Autor davon aus, dass eine schwache Überwachung dazu führen wird, dass die Übereinstimmung in die lokale Optimalität fällt. Daher wird ein multimodaler Transformator zur Wortmaskenvorhersage hinzugefügt, um die Robustheit zu erhöhen.

Der Trainingsprozess der zweiten Stufe ähnelt Faster-RCNN. mit einigen Unterschieden Das Feature-Extraktion-Backbone stammt aus den 1-3 Schichten von ResNet50, die in der ersten Phase des Vortrainings erhalten wurden. Nach RPN wird die vierte Schicht von ResNet50 weiterhin für die Feature-Verarbeitung verwendet, und dann werden die Features für die Box-Regression verwendet bzw. Klassifizierungsvorhersage. Die Klassifizierungsvorhersage ist das Schlüsselzeichen dafür, dass sich die OVD-Aufgabe von der herkömmlichen Erkennung unterscheidet. In OVR-CNN werden die Merkmale in das V2L-Modul (Graph-Vektor-zu-Wort-Vektor-Modul mit festen Parametern) eingegeben, um ein Bild zu erhalten und Textvektor, der dann mit dem Beschriftungswortvektor „Übereinstimmen und Vorhersagen“ kombiniert wird. Im zweiten Trainingsstadium wird die Basisklasse hauptsächlich verwendet, um ein Box-Regressionstraining und ein Kategorie-Matching-Training für das Detektormodell durchzuführen. Da das V2L-Modul immer fest ist, arbeitet es mit den Positionierungsfunktionen des Zielerkennungsmodells zusammen, um zu neuen Kategorien zu migrieren, sodass das Erkennungsmodell Ziele einer neuen Kategorie identifizieren und lokalisieren kann.

Wie in der Abbildung unten gezeigt, OVR-CNN im COCO-Datensatz Die Leistung übertrifft den bisherigen Zero-Shot-Zielerkennungsalgorithmus bei weitem.

Papier 2: RegionCLIP: Regionsbasierte Sprache- Bild Pretraining

#🎜🎜 # Papieradresse: https ://arxiv.org/abs/2112.09106

Codeadresse: https://github.com/microsoft /RegionCLIP#🎜 ??? Im Rahmen der modalen Großmodellforschung haben wissenschaftliche Forscher damit begonnen, leistungsfähigere modalübergreifende Großmodelle wie CLIP und ALIGN zum Trainieren von OVD-Aufgaben zu verwenden. Das Detektormodell selbst zielt hauptsächlich auf die Klassifizierung und Identifizierung von Vorschlägen ab. RegionCLIP [5] hat im CVPR 2022 herausgefunden, dass die Klassifizierungsfähigkeit derzeit vorhandener großer Modelle wie CLIP für beschnittene Gebiete viel geringer ist Um die Klassifizierung des Originalbildes selbst zu verbessern, schlägt RegionCLIP ein neues zweistufiges OVD-Schema vor.

• In der ersten Phase verwendet der Datensatz hauptsächlich CC3M, COCO- Bildunterschrift usw. Der Bild-Text-Matching-Datensatz ist für die Destillation auf Regionsebene vorab trainiert. Konkret:
• 1. Extrahieren Sie die Wörter, die ursprünglich im Langtext vorhanden waren, um einen Konzeptpool zu bilden, und bilden Sie anschließend eine Reihe einfacher Beschreibungen über die Region für das Training.

  2. Verwenden Sie RPN basierend auf dem LVIS-Vortraining, um Vorschlagsregionen zu extrahieren, und verwenden Sie Original-CLIP, um die extrahierten verschiedenen Regionen mit den vorbereiteten Beschreibungen abzugleichen und zu klassifizieren und sie weiter zu gefälschten semantischen Etiketten zusammenzusetzen.

  3. Führen Sie ein Region-Text-Vergleichslernen mit dem neuen CLIP-Modell mit den vorbereiteten Vorschlagsregionen und semantischen Bezeichnungen durch und erhalten Sie dann ein CLIP-Modell, das auf Regionsinformationen spezialisiert ist.

  4. Im Vorfeld des Trainings lernt das neue CLIP-Modell auch die Klassifizierungsfähigkeit des ursprünglichen CLIP durch die Destillationsstrategie und führt ein Bild-Text-Vergleichslernen auf der Vollbildebene durch, um den Ausdruck des neuen CLIP-Modells beizubehalten die vollständige Bildfähigkeit.

  In der zweiten Stufe wird das erhaltene vorab trainierte Modell zum Transferlernen auf das Erkennungsmodell übertragen.

  

  RegionCLIP erweitert die Darstellungsmöglichkeiten vorhandener modalübergreifender großer Modelle gegenüber herkömmlichen Erkennungsmodellen und erzielt eine bessere Leistung. Wie in der Abbildung unten gezeigt, ist RegionCLIP bei Verbesserungen in der Kategorie „Novel“ besser als OVR-CNN wurden gemacht. RegionCLIP verbessert effektiv die Anpassungsfähigkeit zwischen Regionsinformationen und multimodalen großen Modellen durch einstufiges Vortraining. CORA geht jedoch davon aus, dass die Trainingskosten steigen, wenn ein größeres modalübergreifendes großes Modell mit einer größeren Parameterskala für einstufiges Training verwendet wird sehr hoch sein. ?? Papieradresse: https://arxiv .org/abs/2303.13076

  

  Codeadresse: https://github.com/tgxs002/CORA

  CORA [6] wurde in CVPR 2023 aufgenommen, um die aktuelle OVD zu überwinden Von ihm vorgeschlagen Um die beiden Hindernisse zu überwinden, mit denen diese Aufgabe konfrontiert ist, wurde ein DETR-ähnliches OVD-Modell entworfen. Wie im Titel des Artikels gezeigt, umfasst das Modell hauptsächlich zwei Strategien: Region Prompting und Anchor Pre-Matching. Ersteres nutzt die Prompt-Technologie, um die vom CLIP-basierten Regionalklassifikator extrahierten regionalen Merkmale zu optimieren und so die Verteilungslücke zwischen dem Ganzen und der Region zu verringern. Letzteres nutzt die Ankerpunkt-Pre-Matching-Strategie in der DETR-Erkennungsmethode, um die OVD zu verbessern Die Fähigkeit des Modells, neue Objekttypen zu positionieren.

  

  • CLIP Es besteht eine Verteilungslücke zwischen den Gesamtbildmerkmalen und den regionalen Merkmalen des ursprünglichen visuellen Encoders, was wiederum zu einer geringeren Klassifizierungsgenauigkeit des Detektors führt (dies ähnelt dem Ausgangspunkt von RegionCLIP). ). Daher schlägt CORA Region Prompting vor, um sich an den CLIP-Bildcodierer anzupassen und die Klassifizierungsleistung regionaler Informationen zu verbessern. Konkret wird das gesamte Bild zunächst über die ersten drei Schichten des CLIP-Encoders in eine Feature-Map codiert. Anschließend werden durch RoI Align Ankerboxen oder Vorhersageboxen generiert und mit regionalen Features zusammengeführt. Dies wird dann von der vierten Schicht des CLIP-Bildkodierers kodiert. Um die Verteilungslücke zwischen der Vollbild-Feature-Map und den regionalen Features des CLIP-Bildencoders zu schließen, werden lernbare Regions-Prompts eingerichtet und mit den von der vierten Ebene ausgegebenen Features kombiniert, um die endgültigen regionalen Features zur Verwendung mit Text-Features zu generieren Für das Matching verwendet der Matching-Verlust einen naiven Kreuzentropieverlust, und alle mit CLIP verbundenen Parametermodelle werden während des Trainingsprozesses eingefroren.

  • CORA ist ein DETR-ähnliches Detektormodell, ähnlich wie DETR, das ebenfalls die Anker-Pre-Matching-Strategie verwendet, um im Voraus Kandidatenboxen für das Box-Regressionstraining zu generieren. Insbesondere ordnet der Anker-Vorabgleich jedes Label-Feld dem nächstgelegenen Satz von Anker-Feldern zu, um zu bestimmen, welche Anker-Felder als positive Proben und welche als negative Proben betrachtet werden sollten. Dieser Matching-Prozess basiert normalerweise auf der IoU (Intersection-over-Union-Ratio). Wenn die IoU zwischen der Ankerbox und der Labelbox einen vordefinierten Schwellenwert überschreitet, wird sie als positive Stichprobe betrachtet, andernfalls wird sie als negative Stichprobe betrachtet. CORA zeigt, dass diese Strategie die Verallgemeinerung von Lokalisierungsfähigkeiten auf neue Kategorien effektiv verbessern kann.

    Die Verwendung des Anker-Pre-Matching-Mechanismus bringt jedoch auch einige Probleme mit sich. Beispielsweise kann er nur dann normal funktionieren, wenn mindestens ein Ankerfeld mit dem Etikettenfeld übereinstimmt. Zug. Andernfalls wird das Beschriftungsfeld ignoriert, wodurch eine Modellkonvergenz verhindert wird. Selbst wenn das Beschriftungsfeld ein genaueres Ankerpunktfeld erhält, wird das Beschriftungsfeld aufgrund der begrenzten Erkennungsgenauigkeit des Regionsklassifikators möglicherweise immer noch ignoriert, dh die dem Beschriftungsfeld entsprechenden Kategorieinformationen stimmen nicht mit dem überein Regionsklassifikator basierend auf CLIP-Training. Daher nutzt CORA die CLIP-Aligned-Technologie, um die semantischen Erkennungsfähigkeiten von CLIP und die Positionierungsfähigkeiten des vorab trainierten ROI zu nutzen, um die Bilder im Trainingsdatensatz mit weniger Personalaufwand neu zu kennzeichnen. Mit dieser Technologie kann das Modell währenddessen trainiert werden Training Ordnen Sie mehr Tag-Boxen zu.

    

    Verglichen mit RegionCLIP hat CORA den COCO-Datensatz AP50 weiter verbessert Wert von 2,4.

    Zusammenfassung und Ausblick

    Die OVD-Technologie ist nicht nur eng mit der Entwicklung der derzeit beliebten Cross-/Multimodal-Großmodelle verbunden, sondern auch unternimmt In der Vergangenheit haben wissenschaftliche Forscher Technologien im Bereich der Zielerkennung angehäuft, die eine erfolgreiche Verbindung zwischen traditioneller KI-Technologie und der Erforschung allgemeiner KI-Fähigkeiten darstellen. OVD ist eine neue Zielerkennungstechnologie mit Zukunft. Es ist zu erwarten, dass die Fähigkeit von OVD, jedes Ziel zu erkennen und zu lokalisieren, wiederum die Weiterentwicklung multimodaler Großmodelle vorantreiben wird und voraussichtlich zu einem wichtigen Eckpfeiler der multimodalen AGI werden wird in der Entwicklung. Derzeit ist die Trainingsdatenquelle großer multimodaler Modelle eine große Anzahl grober Informationspaare im Internet, also Text-Bild-Paare oder Text-Sprach-Paare. Wenn die OVD-Technologie verwendet wird, um die ursprünglichen groben Bildinformationen genau zu lokalisieren und bei der Vorhersage der semantischen Informationen des Bildes zur Filterung des Korpus zu helfen, wird die Qualität der vorab trainierten Daten des großen Modells weiter verbessert, wodurch die Darstellungs- und Verständnisfähigkeiten optimiert werden des großen Modells.

    Ein gutes Beispiel ist SAM (Segment Anything)[7]. SAM ermöglicht es wissenschaftlichen Forschern nicht nur, die zukünftige Richtung allgemeiner visueller Großmodelle zu erkennen, sondern löst auch A aus viel nachdenken. Es ist erwähnenswert, dass die OVD-Technologie gut mit SAM verbunden werden kann, um das semantische Verständnis von SAM zu verbessern und automatisch die von SAM benötigten Boxinformationen zu generieren, wodurch Arbeitskräfte weiter freigesetzt werden. In ähnlicher Weise kann die OVD-Technologie auch für AIGC (durch künstliche Intelligenz generierte Inhalte) die Fähigkeit verbessern, mit Benutzern zu interagieren. Wenn der Benutzer beispielsweise ein bestimmtes Ziel in einem Bild angeben muss, um es zu ändern, oder eine Beschreibung des Ziels erstellen muss, kann er dies tun Nutzen Sie das Sprachverständnis von OVD und die Fähigkeit von OVD, unbekannte Ziele zu erkennen, um die vom Benutzer beschriebenen Objekte genau zu lokalisieren und so eine qualitativ hochwertigere Inhaltsgenerierung zu erreichen. Die relevante Forschung im Bereich OVD boomt derzeit und die Veränderungen, die die OVD-Technologie für künftige allgemeine KI-Großmodelle mit sich bringen kann, sind es wert, gespannt zu sein.

Das obige ist der detaillierte Inhalt vonOhne die Notwendigkeit, riesige Datenmengen zu kennzeichnen, bringt das neue Paradigma der Zielerkennung OVD die multimodale AGI einen Schritt weiter. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!