La dernière introduction au 'Multimodal LLM' ! Les données et les actes sont regroupés et retirés directement

Lien de suivi des progrès (Awesome-MLLM, mises à jour en temps réel) : https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

Dans les récents Au cours des dernières années, la recherche à grande échelle sur les grands modèles de langage (LLM) a fait des progrès significatifs (tels que GPT-3, LLaMa, ChatGPT, GPT-4), et ces modèles ont démontré d'excellentes performances sur diverses tâches de traitement du langage naturel (NLP).

En se pré-formant sur les données massives, LLM a acquis de riches connaissances et de puissantes capacités de raisonnement. Saisissez simplement quelques instructions utilisateur, ces modèles peuvent analyser les instructions, effectuer un raisonnement et donner des réponses qui répondent aux attentes de l'utilisateur.

Certaines capacités typiques du LLM comprennent :

• · Effectuer de nouvelles tâches non vues pendant la formation
• · Effectuer de nouvelles tâches avec un petit nombre d'exemples ; · Effectuer des tâches de raisonnement complexes à travers des chaînes de raisonnement
• · Coordonner divers modèles et outils pour accomplir des tâches composites ;
• Il existe de nombreuses idées et technologies clés derrière ces capacités, notamment le réglage des instructions, l'apprentissage en contexte et la chaîne de pensée, etc.

Modèles linguistiques multimodaux à grande échelle

Bien que les grands modèles linguistiques aient fait de grands progrès dans le domaine de la PNL, les modèles et technologies correspondants sont moins explorés dans le domaine multimodal, et il existe encore des limitations généralisées dans le langage visuel traditionnel. modèles.

À cette fin, de nombreux chercheurs ont récemment tourné leur attention vers une direction émergente : les modèles multimodaux de langage étendu (MLLM).

L'idée principale est d'utiliser LLM comme "cerveau" pour intégrer, raisonner, analyser et prendre des décisions sur les informations multimodales saisies, accomplissant ainsi les tâches assignées par les humains.

Du point de vue du développement de l'intelligence artificielle générale, par rapport au LLM, le MLLM a fait un pas de plus en avant et présente les avantages suivants :

· Il correspond davantage aux habitudes des êtres humains de comprendre le monde. Les humains ont de multiples sens et reçoivent des informations provenant de multiples modalités, souvent complémentaires et synergiques. Par conséquent, l'utilisation d'informations multimodales permet généralement de mieux comprendre et d'effectuer des tâches complexes.

· Une interface plus puissante et conviviale.

En prenant en charge la saisie multimodale, les utilisateurs peuvent transmettre des informations de manière plus flexible ;

· Prise en charge des tâches plus large ;

LLM ne peut généralement effectuer que des tâches liées à la PNL, tandis que MLLM peut effectuer davantage de tâches en accédant à la multimodalité.

Du point de vue de la conception du système, le MLLM peut être divisé en deux catégories :

· Le LLM en tant que système de raisonnement cognitif qui prend en charge la saisie multimodale

· Le LLM en tant que raisonneur multi- ; système de collaboration d'outils pour planificateur/ordonnanceur/décideur.

Le premier convertit généralement les informations multimodales en une forme que LLM peut directement recevoir et traiter via une interface de conversion multimodale entraînable, afin que LLM puisse effectuer une cognition basée sur ces informations multimodales et l'utilisateur. instructions et raisonnement.

Ce dernier utilise généralement LLM comme planificateur/ordonnanceur/décideur [1] pour décomposer les tâches complexes livrées par les utilisateurs en sous-tâches plus simples, les répartir vers les modèles/outils appropriés, et enfin intégrer les résultats et les produire.

Nous avons adopté une autre perspective, en nous concentrant sur les technologies clés et les méthodes de mise en œuvre derrière MLLM, avons étudié et résumé les travaux connexes, et divisé MLLM dans les catégories suivantes :

· Ajustement précis de l'instruction multimodale Ajustement de l'instruction multimodale

· Raisonnement visuel assisté par LLM

Ci-dessous, nous donnerons une brève introduction à ces types de travaux.

Réglage des instructions multimodalesLa méthode de base de réglage fin des instructions multimodales consiste à utiliser un modèle unifié pour unifier tous les types de données et à décrire les exigences des tâches sous forme d'instructions pour former des données d'instructions multimodales, puis à l'utiliser. données pour affiner MLLM.

En raison de la cohérence du formulaire d'instructions pendant la formation et les tests, LLM peut s'appuyer sur ses puissantes capacités de compréhension sémantique et de raisonnement pour généraliser de manière plus flexible à d'autres tâches et obtenir de puissantes capacités d'apprentissage sans tir. La forme de base des données d'instruction multimodale peut être résumée comme un triplet (instruction, entrée multimodale, réponse).

Une manière intuitive d'obtenir ce type de données consiste à transformer l'ensemble de données de référence. Nous prenons le sous-titrage d'images comme exemple, comme le montre la figure 1 ci-dessous :

Figure 1 . Exemple de données de commande

L'échantillon de données de légende original comprend une image et une description textuelle (Ground Truth). Ces données appariées données-GT constituent naturellement l'entrée multimodale et la réponse de la partie données de commande.

La partie commande est la description de la tâche correspondante, qui est généralement écrite manuellement ou générée en appelant GPT.

Lors du réglage fin des instructions multimodales, MLLM convertit les entrées multimodales et les envoie à LLM et prédit les réponses en fonction des informations multimodales et du texte d'instruction.

Apprentissage multimodal en contexteL'idée centrale de l'apprentissage en contexte multimodal est d'apprendre à partir d'analogies. Par exemple, les formes avec lesquelles nous entrons généralement en contact lors de l'étude sont les suivantes :

En étudiant des exemples de problèmes, lorsque nous rencontrons de nouveaux problèmes, nous pouvons apprendre des idées et des méthodes de base à travers des problèmes de type proportionnel pour résoudre de nouveaux problèmes. problèmes.

De plus, les exemples de questions peuvent également normaliser notre format de réponse, ce qui est plus propice à l'obtention de réponses correctes répondant aux exigences attendues.

Comme le montre la figure 2 ci-dessous, laissez le modèle prédire le résultat du calcul de 3x7 à travers un exemple.

Figure 2. Exemple de données contextuelles multimodales, utilisant l'exemple pour laisser le modèle prédire les résultats du calcul de 3x7

Chaîne de pensée multimodale

La chaîne de pensée est une série d'étapes de raisonnement intermédiaires [2]. L'idée de base de la chaîne de pensée multimodale est de faire apprendre au modèle à produire des étapes intermédiaires étape par étape, et enfin à déduire la réponse finale, comme le montre la figure 3 ci-dessous :

Figure 3. Multimodal Exemple de données de chaîne de réflexion

Par rapport à la sortie directe des réponses, la chaîne de réflexion :

· est plus conforme aux habitudes de raisonnement humain : sur la base des étapes de raisonnement et des résultats précédents, elle mène progressivement à la réponse finale

· Convient aux tâches de raisonnement complexes, résolvez des problèmes complexes étape par étape pour améliorer la précision de vos réponses.

Raisonnement visuel assisté par LLM (raisonnement visuel assisté par LLM)

Utilisez LLM comme mécanisme de prise de décision et de raisonnement, appelez divers modèles et outils multimodaux et intégrez le résultat pour obtenir la réponse finale. Selon la manière d'accomplir la tâche, elle peut généralement être divisée en modèle à une seule roue et en modèle à plusieurs roues.

L'idée de base du modèle à tour unique est que LLM agit en tant que planificateur, planificateur et décideur pour coordonner divers modèles/outils pour accomplir les tâches. Il doit généralement remplir les fonctions suivantes [1] :.

·Planificateur : Décomposez les tâches complexes en sous-tâches résolubles

· Planificateur :  Décisionnaire ; :

Gérer les sous-tâches Ordre d'exécution, intégrant les résultats des sous-tâches pour obtenir la réponse finale. Le modèle multi-tours est basé sur l'idée d'itération et continue d'accumuler la cognition visuelle jusqu'à ce qu'il soit suffisamment confiant pour obtenir la réponse finale. Dans ce processus, LLM doit intégrer les étapes précédentes (les questions posées et les informations cognitives visuelles obtenues) pour déterminer si la réponse finale peut être obtenue [3].

Pour les articles connexes, veuillez consulter : https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!