MiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.

Großformatige Modelle schaffen den Sprung zwischen Sprache und Vision und versprechen, Text- und Bildinhalte nahtlos zu verstehen und zu generieren. Einer Reihe aktueller Studien zufolge ist die Integration multimodaler Funktionen nicht nur ein wachsender Trend, sondern hat bereits zu wichtigen Fortschritten geführt, die von multimodalen Gesprächen bis hin zu Tools zur Inhaltserstellung reichen. Große Sprachmodelle haben beispiellose Fähigkeiten beim Verstehen und Generieren von Texten gezeigt. Die gleichzeitige Generierung von Bildern mit kohärenten Texterzählungen ist jedoch noch ein Bereich, der noch entwickelt werden muss

Kürzlich hat ein Forschungsteam der University of California, Santa Cruz, MiniGPT-5 vorgeschlagen, das auf dem innovativen Konzept der „generativen Abstimmung“ basiert Technologie zur Erzeugung verschachtelter visueller Sprache.

• Papieradresse: https://browse.arxiv.org/pdf/2310.02239v1.pdf
• Projektadresse: https://github.com/eric- ai-lab/MiniGPT-5

Durch die Kombination eines stabilen Diffusionsmechanismus mit LLM durch ein spezielles visuelles Token „generative Abstimmung“ läutet MiniGPT-5 einen neuen Weg für ein kompetentes multimodales Generationsmodell ein. Gleichzeitig betont die in diesem Artikel vorgeschlagene zweistufige Trainingsmethode die Bedeutung der beschreibungsfreien Grundphase, damit das Modell auch bei knappen Daten erfolgreich sein kann. Die allgemeine Phase der Methode erfordert keine domänenspezifischen Anmerkungen, wodurch sich unsere Lösung von bestehenden Methoden unterscheidet. Um sicherzustellen, dass der generierte Text und die Bilder harmonisch sind, kommt die Doppelverluststrategie dieses Artikels ins Spiel, die durch die generative Abstimmungsmethode und die Klassifizierungsmethode weiter verbessert wird

Basierend auf diesen Techniken markiert diese Arbeit a Transformativer Ansatz. Mithilfe von ViT (Vision Transformer) und Qformer sowie einem großen Sprachmodell wandelt das Forschungsteam multimodale Eingaben in generative Abstimmungen um und kombiniert sie nahtlos mit der hochauflösenden Stable Diffusion2.1, um eine kontextbewusste Bildgenerierung zu erreichen. Dieses Papier kombiniert Bilder als Hilfseingabe mit Methoden zur Befehlsanpassung und leistet Pionierarbeit bei der Verwendung von Text- und Bildgenerierungsverlusten, wodurch die Synergie zwischen Text und Vision erweitert wird. MiniGPT-5 passt Modelle wie CLIP-Einschränkungen an und kombiniert das Diffusionsmodell geschickt mit MiniGPT-4 erzielt bessere multimodale Ergebnisse, ohne auf domänenspezifische Annotationen angewiesen zu sein. Am wichtigsten ist, dass unsere Strategie Fortschritte in den zugrunde liegenden Modellen multimodaler visueller Sprache nutzen kann, um einen neuen Entwurf für die Verbesserung multimodaler generativer Fähigkeiten bereitzustellen.

Wie in der folgenden Abbildung gezeigt, kann MiniGPT5 zusätzlich zu den ursprünglichen multimodalen Verständnis- und Textgenerierungsfunktionen auch eine vernünftige und kohärente multimodale Ausgabe bereitstellen:

Der Beitrag dieses Artikels ist spiegelt sich in drei Aspekten wider:

Es wird vorgeschlagen, einen multimodalen Encoder zu verwenden, der eine neuartige allgemeine Technik darstellt und sich als effektiver als LLM und inverse generative Vokens erwiesen hat, und ihn mit stabiler Diffusion zu kombinieren, um Interleaved zu erzeugen visuelle und sprachliche Ausgabe (ein multimodales Sprachmodell, das multimodal generiert werden kann).

• hebt eine neue zweistufige Trainingsstrategie für die beschreibungsfreie multimodale Generierung hervor. Die Single-Modal-Alignment-Stufe erhält qualitativ hochwertige textausgerichtete visuelle Merkmale aus einer großen Anzahl von Text-Bild-Paaren. Die multimodale Lernphase umfasst eine neuartige Trainingsaufgabe und die Generierung von Aufforderungskontexten, um sicherzustellen, dass visuelle und textliche Aufforderungen gut koordiniert und generiert werden. Durch das Hinzufügen einer klassifikatorfreien Anleitung während der Trainingsphase wird die Generierungsqualität weiter verbessert.
• Im Vergleich zu anderen multimodalen generativen Modellen erreicht MiniGPT-5 beim CC3M-Datensatz eine Spitzenleistung. MiniGPT-5 setzt auch neue Maßstäbe für bekannte Datensätze wie VIST und MMDialog.
• Lassen Sie uns nun den Inhalt dieser Forschung im Detail verstehen.

Übersicht über die Methode Vorab trainierte multimodale groß angelegte Sprachmodelle und Text-zu-Bild-Generierungsmodelle sind integriert. Um die Unterschiede zwischen verschiedenen Modellfeldern zu lösen, führten sie spezielle visuelle Symbole „generative Stimmen“ ein, die direkt auf den Originalbildern trainiert werden können. Darüber hinaus wird eine zweistufige Trainingsmethode in Kombination mit einer klassifikatorfreien Bootstrapping-Strategie weiterentwickelt, um die Generierungsqualität weiter zu verbessern.

Multimodale Eingabephase

Jüngste Fortschritte bei großen multimodalen Modellen (wie MiniGPT-4) konzentrieren sich hauptsächlich auf das multimodale Verständnis und die Fähigkeit, Bilder als kontinuierliche Eingaben zu verarbeiten. Um seine Fähigkeiten auf die multimodale Generierung zu erweitern, führten die Forscher generative Vokens ein, die speziell für die Ausgabe visueller Merkmale entwickelt wurden. Darüber hinaus haben sie auch eine Parameter-effiziente Feinabstimmungstechnologie im Rahmen des Large Language Model (LLM) für multimodales Output-Lernen übernommen Token ist Um eine präzise Ausrichtung der Modelle zu erzeugen, entwickelten die Forscher ein kompaktes Zuordnungsmodul für den Dimensionsabgleich und führten mehrere überwachte Verluste ein, darunter Textraumverlust und latente Diffusionsmodellverluste. Der Textraumverlust hilft dem Modell, die Position von Token genau zu lernen, während der latente Diffusionsverlust Token direkt an geeigneten visuellen Merkmalen ausrichtet. Da die Merkmale generativer Symbole direkt durch Bilder gesteuert werden, erfordert diese Methode keine vollständige Bildbeschreibung und ermöglicht ein beschreibungsfreies Lernen Durch die Verschiebung der Textdomäne und der Bilddomäne fanden Forscher heraus, dass das Training direkt an einem begrenzten verschachtelten Text- und Bilddatensatz zu einer Fehlausrichtung und einer Verschlechterung der Bildqualität führen kann.

Also nutzten sie zwei unterschiedliche Trainingsstrategien, um dieses Problem zu mildern. Die erste Strategie beinhaltet den Einsatz klassifikatorfreier Bootstrapping-Techniken, um die Wirksamkeit der generierten Token während des gesamten Diffusionsprozesses zu verbessern. Die zweite Strategie gliedert sich in zwei Phasen: eine anfängliche Vortrainingsphase, die sich auf die grobe Merkmalsausrichtung konzentriert, gefolgt von einer Feinabstimmungsphase zum Thema komplexes Feature-Learning.

MiniGPT-5 glaubwürdige Bilder und vernünftigen Text erzeugen?

Wie schneidet MiniGPT-5 im Vergleich zu anderen SOTA-Modellen bei ein- und mehrrundigen verschachtelten visuellen Sprachgenerierungsaufgaben ab?

Welche Auswirkungen hat das Design jedes Moduls auf die Gesamtleistung?

Um die Leistung des MiniGPT-5-Modells in verschiedenen Trainingsphasen zu bewerten, haben wir eine quantitative Analyse durchgeführt. Die Ergebnisse sind in Abbildung 3 dargestellt:

Um die Vielseitigkeit und Robustheit zu demonstrieren Wir haben das vorgeschlagene Modell evaluiert und dabei sowohl visuelle (bildbezogene Metriken) als auch sprachliche (Textmetriken) Domänen abgedeckt. SchrittauswertungDas heißt, im letzten Schritt wird das entsprechende Bild gemäß dem Eingabeaufforderungsmodell generiert und die Ergebnisse sind in Tabelle 1 aufgeführt.
MiniGPT-5 übertrifft den fein abgestimmten SD 2 in allen drei Einstellungen. Bemerkenswert ist, dass der CLIP-Score des MiniGPT-5 (LoRA)-Modells andere Varianten bei mehreren Eingabeaufforderungstypen durchweg übertrifft, insbesondere bei der Kombination von Bild- und Texteingabeaufforderungen. Andererseits unterstreicht der FID-Score die Wettbewerbsfähigkeit des MiniGPT-5-Modells (Präfix), was darauf hindeutet, dass es möglicherweise einen Kompromiss zwischen der Bildeinbettungsqualität (dargestellt durch den CLIP-Score) und der Bildvielfalt und -authentizität (dargestellt durch) gibt FID-Score). Im Vergleich zu einem Modell, das direkt auf VIST trainiert wurde, ohne eine Einzelmodalitätsregistrierungsphase einzuschließen (MiniGPT-5 ohne UAS), sind die Bildqualität und -konsistenz erheblich verringert, obwohl das Modell die Fähigkeit behält, aussagekräftige Bilder zu erzeugen. Diese Beobachtung unterstreicht die Bedeutung der zweistufigen Trainingsstrategie Kontext, und die resultierenden Bilder und Erzählungen werden anschließend bei jedem Schritt bewertet.

• Tabelle 2 und Tabelle 3 fassen die Ergebnisse dieser Experimente zusammen und bieten einen Überblick über die Leistung bei Bild- bzw. Sprachmetriken. Experimentelle Ergebnisse zeigen, dass MiniGPT-5 in der Lage ist, multimodale Eingabehinweise auf langer Ebene zu nutzen, um kohärente, qualitativ hochwertige Bilder über alle Daten hinweg zu erzeugen, ohne die multimodalen Verständnisfähigkeiten des Originalmodells zu beeinträchtigen. Dies unterstreicht die Wirksamkeit von MiniGPT-5 in verschiedenen Umgebungen 0,18 % generierten mehr Relevanz Texterzählungen in 52,06 % der Fälle, eine bessere Bildqualität in 52,06 % der Fälle und eine kohärentere multimodale Ausgabe in 57,62 % der Szenen. Verglichen mit einer zweistufigen Basislinie, die eine Text-zu-Bild-Erzählung ohne Konjunktivstimmung anwendet, zeigen diese Daten deutlich die stärkeren Fähigkeiten zur multimodalen Generierung.

  

  MMDialog Mehrere Bewertungsrunden

  Gemäß den Ergebnissen in Tabelle 5 ist MiniGPT-5 bei der Generierung von Textantworten genauer als das Basismodell Divter. Obwohl die generierten Bilder von ähnlicher Qualität sind, übertrifft MiniGPT-5 das Basismodell in Bezug auf MM-Korrelationen, was darauf hindeutet, dass es besser lernen kann, die Bilderzeugung angemessen zu positionieren und hochkonsistente multimodale Antworten zu generieren

  Werfen wir einen Blick auf die Ausgabe von MiniGPT-5 und sehen, wie effektiv es ist. Abbildung 7 unten zeigt den Vergleich zwischen MiniGPT-5 und dem Basismodell auf dem CC3M-Verifizierungssatz.

  

  Abbildung 8 unten zeigt den Vergleich zwischen MiniGPT-5 und dem Basismodell auf dem VIST-Verifizierungssatz

  Abbildung 9 unten zeigt den Vergleich zwischen MiniGPT-5 und dem Basismodell im MMDialog-Testsatz.

  

  Weitere Forschungsdetails finden Sie im Originalpapier.

Das obige ist der detaillierte Inhalt vonMiniGPT-5, das Bild- und Textgenerierung vereinheitlicht, ist da: Aus Token wird Voken, und das Modell kann nicht nur weiterschreiben, sondern auch automatisch Bilder hinzufügen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!