mPLUG-Owl der DAMO Academy stellt sein Debüt vor: ein modulares multimodales großes Modell, das mit den multimodalen Fähigkeiten von GPT-4 gleichzieht

Reine Text-Großmodelle sind auf dem Vormarsch, und im multimodalen Bereich hat GPT-4 begonnen, das stärkste an der Oberfläche zu sein, es verfügt über die multimodale Fähigkeit, Bilder zu lesen, war aber noch nicht offen dafür Die Öffentlichkeit sucht nach Erfahrung, daher gibt es keine Forschung. Die Community begann, in dieser Richtung zu recherchieren und Open Source zu veröffentlichen. Kurz nach der Einführung von MiniGPT-4 und LLaVA brachte die Alibaba DAMO Academy mPLUG-Owl auf den Markt, ein großes multimodales Modell, das auf einer modularen Implementierung basiert.

mPLUG-Owl ist das neueste Werk der mPLUG-Reihe der Alibaba Damo Academy. Es führt die modulare Ausbildungsidee der mPLUG-Reihe fort und erweitert das LLM zu einem großen multimodalen Modell. In der mPLUG-Arbeitsreihe wurden die vorherigen E2E-VLP-, mPLUG- und mPLUG-2-Arbeiten von ACL2021, EMNLP2022 bzw. ICML2023 akzeptiert. Unter ihnen stand die mPLUG-Arbeit mit übermenschlichen Ergebnissen an der Spitze der VQA-Liste.

Heute stellen wir mPLUG-Owl vor. Diese Arbeit demonstriert nicht nur hervorragende multimodale Fähigkeiten anhand einer großen Anzahl von Fällen, sondern schlägt auch erstmals einen umfassenden Testsatz OwlEval für das visuelle Unterrichtsverständnis vor, der verglichen wird Durch die Integration bestehender Modelle, einschließlich LLaVA, MiniGPT-4, BLIP-2 und systembasiertem MM-REACT, zeigen experimentelle Ergebnisse, dass mPLUG-Owl bessere multimodale Fähigkeiten aufweist, insbesondere in Bezug auf multimodale Befehlsverständnisfähigkeiten Multimodale Befehlsverständnisfähigkeiten. Hervorragende Leistung in der Fähigkeit, abwechselnd Gespräche zu führen und Wissen zu argumentieren Code-Link: https://github.com/

HuggingFace-Erlebnisadresse:

https://huggingface.co/spaces/MAGAer13/mPLUG-Owl

Multimodale Fähigkeitsdemonstration

Wir vergleichen mPLUG-Owl mit bestehender Arbeit Um die multimodale Wirkung von mPLUG-Owl zu spüren, ist es erwähnenswert, dass die in dieser Arbeit bewerteten Testproben im Wesentlichen aus bestehenden Arbeiten stammen, wodurch das Rosinenpick-Problem vermieden wird.

Abbildung 6 unten zeigt die starken Mehrrunden-Dialogfunktionen von mPLUG-Owl.

Aus Abbildung 7 geht hervor, dass mPLUG-Owl über starke Denkfähigkeiten verfügt.

Abbildung 9 zeigt einige Beispiele für Witzerklärungen.

In dieser Arbeit stellte das Forschungsteam neben der Bewertung und dem Vergleich auch fest, dass mPLUG-Owl zunächst einige unerwartete Fähigkeiten gezeigt hat, wie z. B. die Assoziation mehrerer Bilder, die Mehrsprachigkeit, die Texterkennung usw Dokumentenverständnis und andere Fähigkeiten.

Wie in Abbildung 10 gezeigt, hat mPLUG-Owl bestimmte Multi-Graph-Korrelationsfunktionen demonstriert, obwohl Multi-Graph-Korrelationsdaten während der Trainingsphase nicht trainiert werden.

Wie in Abbildung 11 dargestellt, weist mPLUG-Owl zwar in der Trainingsphase nur englische Daten auf, weist jedoch interessante mehrsprachige Funktionen auf. Dies kann daran liegen, dass das Sprachmodell in mPLUG-Owl LLaMA verwendet, was zu diesem Phänomen führt.

Obwohl mPLUG-Owl nicht auf annotierte Dokumentdaten trainiert wurde, zeigte es dennoch bestimmte Texterkennungs- und Dokumentverständnisfunktionen Die Testergebnisse sind in Abbildung 12 dargestellt.

Methodeneinführung

Von dieser Arbeit vorgeschlagen Die Gesamtarchitektur von mPLUG-Owl ist in Abbildung 2 dargestellt.

Modellstruktur: Es besteht aus dem visuellen Basismodul #🎜 🎜#

(Open Source ViT-L), visuelles Abstraktionsmodul #🎜🎜 ## 🎜🎜#

und vorab trainiertes Sprachmodell

#🎜🎜 #( LLaMA-7B) Zusammensetzung. Das visuelle Abstraktionsmodul fasst längere, feinkörnigere Bildmerkmale in einer kleinen Anzahl lernbarer Tokens zusammen und erreicht so eine effiziente Modellierung visueller Informationen. Die generierten visuellen Token werden zusammen mit der Textabfrage in das Sprachmodell eingegeben, um entsprechende Antworten zu generieren.

Modelltraining: mit einer zweistufigen Trainingsmethode

# 🎜🎜#Die erste Stufe: Der Hauptzweck besteht auch darin, zunächst den Kontrast zwischen visuellen und sprachlichen Modalitäten zu lernen. Im Gegensatz zu früheren Arbeiten schlägt mPLUG-Owl vor, dass das Einfrieren des visuellen Basismoduls die Fähigkeit des Modells, visuelles Wissen und Textwissen zu verknüpfen, einschränkt. Daher friert mPLUG-Owl in der ersten Stufe nur die Parameter von LLM ein und verwendet LAION-400M, COYO-700M, CC und MSCOCO, um das visuelle Basismodul und das visuelle Zusammenfassungsmodul zu trainieren.

Phase 2: Owl setzt die Entdeckung fort, dass gemischtes Training verschiedener Modalitäten in mPLUG und mPLUG-2 einander zugute kommt, und verwendet in der zweiten Phase auch Anweisungen zur Feinabstimmung Es werden sowohl Klartext-Anweisungsdaten (52.000 von Alpaca + 90.000 von Vicuna + 50.000 von Baize) als auch multimodale Anweisungendaten (150.000 von LLaVA) verwendet. Durch detaillierte Ablationsexperimente verifizierte der Autor die Vorteile, die sich aus der Einführung reiner Textanweisungen und der Feinabstimmung von Aspekten wie dem Verständnis der Anweisungen ergeben. In der zweiten Stufe werden die Parameter des visuellen Basismoduls, des visuellen Zusammenfassungsmoduls und des ursprünglichen LLM eingefroren. In Bezug auf LoRA wird nur eine Adapterstruktur mit einer kleinen Anzahl von Parametern zur Feinabstimmung der Anweisungen in das LLM eingeführt.

Experimentelle Ergebnisse

SOTA-Vergleich

# 🎜 🎜#Um die multimodalen Fähigkeiten verschiedener Modelle zu vergleichen, erstellt diese Arbeit einen multimodalen Befehlsbewertungssatz OwlEval. Da es derzeit keine geeigneten automatisierten Indikatoren gibt, wenden Sie sich an Self-Intruct für die manuelle Bewertung der Antworten des Modells. Die Bewertungsregeln lauten: A = „Richtig und zufriedenstellend“; C = „Verstanden“. Anweisungen, aber die Antworten enthielten offensichtliche Fehler"; D="Völlig irrelevante oder falsche Antworten".

Die Vergleichsergebnisse sind in Abbildung 3 unten dargestellt. Das Experiment beweist, dass Owl besser ist als die vorhandenen OpenFlamingo, BLIP-2, LLaVA, MiniGPT-4.

Mehrdimensionaler Fähigkeitsvergleich# 🎜 🎜#

Multimodale Befehlsantwortaufgaben erfordern mehrere Fähigkeiten, wie z. B. Befehlsverständnis, visuelles Verständnis, Textverständnis auf Bildern und Argumentation. Um das Niveau der verschiedenen Fähigkeiten des Modells feinkörnig zu untersuchen, werden in diesem Artikel sechs Hauptfähigkeiten in multimodalen Szenarien weiter definiert und jede Testanweisung von OwlEval manuell mit den relevanten Fähigkeitsanforderungen und den darin reflektierten Antworten versehen das Modell. Welche Fähigkeiten wurden erworben?

Die Ergebnisse sind in Tabelle 6 unten aufgeführt. In diesem Teil des Experiments führte der Autor nicht nur Eulenablationsexperimente durch, sondern überprüfte auch die Wirksamkeit der Trainingsstrategie und multimodale Befehlsfeinabstimmungsdaten werden auch mit der leistungsstärksten Basislinie im vorherigen Experiment verglichen – MiniGPT4. Die Ergebnisse zeigen, dass Owl in allen Leistungsaspekten besser ist als MiniGPT4.

Das obige ist der detaillierte Inhalt vonmPLUG-Owl der DAMO Academy stellt sein Debüt vor: ein modulares multimodales großes Modell, das mit den multimodalen Fähigkeiten von GPT-4 gleichzieht. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!