Convertissez automatiquement les images en texte et les descriptions des images sont de meilleure qualité et plus précises.

La rubrique AIxiv est une rubrique où des contenus académiques et techniques sont publiés sur ce site. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Pi Renjie : doctorant en troisième année à l'Université des sciences et technologies de Hong Kong, étudiant sous la direction du professeur Zhang Tong et du professeur Zhou Xiaofang. A reçu une bourse Apple en 2024. Les principales orientations de recherche actuelles sont les grands modèles de langage multimodaux et l’IA centrée sur les données.

Zhang Jianshu : Étudiant de troisième année à l'Université de Wuhan, il travaille actuellement comme stagiaire de recherche sous la direction du professeur Zhang Tong. Ses principaux domaines de recherche sont les grands modèles de langage, les grands modèles de langage multimodaux et l'apprentissage continu. Actuellement à la recherche d'opportunités d'admission au doctorat pour l'automne 2025.

Dans le développement des grands modèles multimodaux d'aujourd'hui, les performances du modèle sont étroitement liées à la qualité des données d'entraînement. On peut dire que « les données donnent au modèle la plupart de ses capacités ».

En cela, les ensembles de données image-texte jouent un rôle essentiel dans de nombreux domaines tels que la compréhension des images, la génération de texte et la récupération d'images.

Cependant, les ensembles de données de description d'image existants sont principalement dérivés de l'exploration du réseau et de l'annotation manuelle, et il existe des problèmes tels qu'une qualité inégale, un manque de détails et un bruit de description élevé. Bien que les humains puissent fournir des descriptions détaillées des images, le coût élevé de l’annotation limite son échelle et sa faisabilité. Il existe donc un besoin urgent d’une méthode efficace et évolutive pour générer des descriptions d’images précises et détaillées.

Afin de relever les défis ci-dessus, des chercheurs de l'Université des sciences et technologies de Hong Kong, de l'Université de Wuhan, de l'Université du Zhejiang et de l'UIUC ont proposé conjointement un cadre d'automatisation innovant - Image-Textualisation (IT), qui intègre de grands modèles de langage multimodaux. (MLLM) et une variété de modèles experts visuels collaborent pour textualiser les informations d'image, et enfin utilisent un grand modèle de langage de texte pur doté de puissantes capacités de raisonnement pour transformer ces informations textualisées en descriptions d'images de haute qualité.

• Papier : Textualisation d'images : Un cadre automatique pour créer des descriptions d'images précises et détaillées

• Adresse du papier : https://arxiv.org/pdf/2406.07502v1

• Adresse du projet : https : //github.com/sterzhang/image-textualization/

• utilise une image créée par des modèles multimodaux pour décrire plutôt que d'utiliser des images informatiques pour décrire de manière générale. , la contribution de cet article comprend :

• Cadre innovant : nous proposons un cadre de textualisation d'images, qui utilise les capacités de compréhension d'images à gros grain des grands modèles multimodaux, les capacités de perception à grain fin des modèles experts visuels, et les capacités de raisonnement des grands modèles de langage en texte brut pour générer automatiquement des descriptions d'images riches en détails et clairement articulées.

• Repères d'évaluation et expériences : plusieurs critères d'évaluation pour évaluer les descriptions détaillées d'images sont proposés, et l'efficacité du cadre est vérifiée par des expériences approfondies.

Publication de l'ensemble de données et du code : en tirant parti de notre cadre de textualisation d'images, nous avons généré un ensemble de données de description d'image à grande échelle et de haute qualité (IT-170K). Pour faciliter les recherches futures, nous avons rendu public tous les codes sources et les ensembles de données générés.

1. Textualisation d'images à gros grains (textualisation holistique) : Tout d'abord, utilisez un grand modèle de langage multimodal pour générer des descriptions de référence pour les images. Bien que ces descriptions puissent manquer de détails et d'illusions, elles représentent les informations visuelles et l'expression du langage. de l’image. La structure de base est fournie. La structure visuelle ici se reflète principalement dans le fait que les descriptions de référence contiennent souvent des objets de base volumineux, qui peuvent fournir un effet « d'ancrage » pour les détails ultérieurs, améliorant ainsi la récapitulation textuelle finale des détails ajoutés. De plus, la structure de l'expression du langage se reflète principalement dans le grand modèle de langage en texte brut inclus dans le grand modèle multimodal, ce qui lui confère de fortes capacités linguistiques. Cela permet à la description de référence générée ici d'être bien organisée en langage. Par exemple, il s'agira d'abord de dire ce que l'image décrit grossièrement, puis de développer les détails et enfin de résumer. Ce style de description est plus orienté vers les préférences humaines. Cela permet également de traiter la récapitulation textuelle finale sur un modèle doté de meilleures capacités linguistiques.

2. Textualisation des détails visuels : À ce stade, nous extrayons les détails du côté image et du côté texte en même temps.

Le premier est le côté texte. Puisque la description de référence que nous avons générée à l'aide du grand modèle multimodal à l'étape précédente peut contenir des hallucinations, la première chose que nous faisons ici est la « détection des hallucinations ». Nous utilisons d'abord LLM pour capturer l'entité contenue dans la description de référence, puis utilisons un détecteur d'ensemble ouvert pour faire correspondre l'entité dans l'image. Si elle n'est pas détectée, l'entité est jugée comme une illusion. Ici, nous textualisons également les hallucinations détectées et les supprimons dans la récapitulation textuelle finale.

Du côté visuel, nous utilisons des modèles experts visuels sur diverses tâches entraînées sur des images haute résolution pour extraire des informations détaillées dans l'image. Si vous souhaitez exprimer les informations détaillées d'un objet dans une image à l'aide de texte, il ne suffit pas d'utiliser simplement la légende de l'objet. Nous utilisons d'abord le cadre de délimitation de ces objets pour extraire la relation gauche-droite de ces objets dans le formulaire. du texte. Mais les objets de l'image contiennent non seulement des informations gauche et droite, mais également des informations recto et verso. À cet égard, nous utilisons d'abord le modèle de segmentation pour extraire les masques de ces objets, puis convertissons les images originales en cartes de profondeur et reflétons les informations de profondeur dans le texte en calculant les scores de profondeur correspondant aux masques d'objets spécifiques en profondeur. carte. À ce stade, nous pouvons utiliser du texte pour restaurer des informations détaillées telles que la taille, les positions gauche et droite et le contexte de chaque objet de l'image.

3. Récapitulation textualisée : En combinant les résultats de textualisation des informations d'image dans les deux premières étapes, ainsi que notre invite réécrite soigneusement conçue, le grand modèle de langage de texte brut peut être très bon. Il restaure les informations d'image via des méthodes pures. texte et génère des descriptions d’images détaillées et précises grâce à de puissantes capacités de compréhension et de raisonnement.

Évaluation complète et vérification expérimentale

Pour vérifier l'efficacité de notre cadre, nous avons construit trois référentiels d'évaluation, à savoir DID-Bench (Detailed Image Description Benchmark), D2I-Bench (Description-to-Image Benchmark) et LIN - Banc (Benchmark linguistique). Nous menons des expériences approfondies et montrons que les descriptions d'images générées par le cadre informatique surpassent considérablement les méthodes existantes en termes de richesse de détails et de précision. En particulier, les MLLM formés sur des ensembles de données générés par notre cadre informatique, tels que LLaVA-7B, présentent des capacités de description d'images plus fortes et des phénomènes d'hallucination réduits.

DID-Bench (Detailed Image Description Benchmark) : utilisé pour évaluer la similarité entre les descriptions d'images et les descriptions d'images détaillées étiquetées manuellement par l'homme. On peut voir que nos descriptions d'images IT-{LLaVA} et IT-{GPT4-V} modifiées sont plus détaillées et précises qu'avant la modification, et sont plus cohérentes avec les descriptions marquées par les humains.

D2I-Bench (Description to Image Benchmark) : utilisez le modèle de graphique vincentien pour convertir la description générée en image et comparez la similarité avec l'image originale. Ici, nous avons sélectionné CLIP-score et DINO-score pour évaluation. . peut obtenir des scores plus élevés.

De plus, nous avons également vérifié sur POPE et LIN-Bench que LLaVA-7B, qui est formé à l'aide des données générées par notre framework, peut générer des descriptions plus détaillées et complexes (LIN-Bench sur le côté droit du tableau), et peut également réduire les hallucinations (repère POPE sur le côté gauche du tableau).

Enfin, nous avons comparé statistiquement les données générées, et nous pouvons constater que le nombre de chaque partie du discours dans notre description modifiée a été grandement amélioré.

Future Outlook

Notre travail aborde non seulement les limites des ensembles de données de description d'images existants, mais fournit également une source d'inspiration pour concevoir des méthodes plus efficaces et évolutives. Nous attendons avec impatience que le cadre informatique démontre son potentiel dans davantage de domaines d’application et favorise le développement ultérieur de la compréhension et de la technologie de génération d’images.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!