La rubrique AIxiv est une rubrique où des contenus académiques et techniques sont publiés sur ce site. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com
Ce travail a été initié par l'équipe d'innovation de la théorie fondamentale dirigée par le professeur Zhu Jun de l'Université Tsinghua. Pendant longtemps, l'équipe s'est concentrée sur les problèmes actuels de goulot d'étranglement dans le développement de l'intelligence artificielle, a exploré les théories originales de l'intelligence artificielle et les technologies clés, et se situe au premier niveau international dans la recherche sur les théories de sécurité contradictoires et les méthodes d'algorithmes intelligents. Il a également mené des recherches approfondies sur la robustesse et l’efficacité contradictoires de l’apprentissage profond, sur des problèmes courants de base tels que l’efficacité de l’utilisation des données. Les travaux pertinents ont remporté le premier prix du Wu Wenjun Artificial Intelligence Natural Science Award, publié plus de 100 articles CCF de classe A et développé la plate-forme open source d'algorithmes d'attaque et de défense de contre-attaque ARES (https://github.com/thu-ml/ares) , et réalisé des produits brevetés. Transformez l'apprentissage et la recherche en applications pratiques. Les grands modèles de langage multimodaux (MLLM) représentés par GPT-4o ont attiré beaucoup d'attention en raison de leurs excellentes performances dans plusieurs modalités telles que le langage et les images. Ils sont non seulement devenus le bras droit des utilisateurs dans leur travail quotidien, mais ont également progressivement pénétré des domaines d'application majeurs tels que la conduite autonome et le diagnostic médical, déclenchant une révolution technologique. Mais les grands modèles multimodaux sont-ils sûrs et fiables ? 
Dans le scénario d'attaque par jailbreak, bien que Claude ait réussi à rejeter la demande malveillante sous forme de texte, lorsque l'utilisateur saisit une image supplémentaire sans rapport en couleur unie, le modèle génère de fausses nouvelles en fonction de la demande de l'utilisateur. Cela signifie que les grands modèles multimodaux comportent plus de risques et de défis que les grands modèles linguistiques. En plus de ces deux exemples, les grands modèles multimodaux présentent également diverses menaces de sécurité ou risques sociaux tels que l'illusion, les préjugés et les fuites de confidentialité, qui affecteront sérieusement leur fiabilité et leur crédibilité dans les applications pratiques. Ces problèmes de vulnérabilité surviennent-ils par hasard ou sont-ils répandus ? Quelles sont les différences de crédibilité des différents grands modèles multimodaux, et d’où viennent-elles ? Récemment, des chercheurs de l'Université Tsinghua, de l'Université Beihang, de l'Université Jiao Tong de Shanghai et de Ruilai Intelligence ont écrit conjointement un article d'une centaine de pages et publié une référence complète appelée MultiTrust, qui pour la première fois a évalué de manière exhaustive les modes multimodaux traditionnels de dimensions et perspectives multiples. La crédibilité du grand modèle démontre de multiples risques de sécurité potentiels et inspire le prochain développement de grands modèles multimodaux. 
- Titre de l'article : Benchmarking Trustworthiness of Multimodal Large Language Models : A Comprehensive Study
- Lien de l'article : https://arxiv.org/pdf/2406.07057
- Page d'accueil du projet : https:// multi-trust.github.io/
- Référentiel de code : https://github.com/thu-ml/MMTrustEval Dans son travail d'évaluation de modèles à grande échelle, MultiTrust a affiné cinq dimensions d'évaluation de la crédibilité : véracité, sécurité, robustesse, l'équité et la confidentialité. Une classification secondaire est effectuée et les tâches, indicateurs et ensembles de données sont construits de manière ciblée pour fournir une évaluation complète.
Les scénarios de tâches couvrent les tâches de discrimination et de génération, couvrant les tâches de texte pur et les tâches multimodales. Les ensembles de données correspondant aux tâches sont non seulement transformés et adaptés sur la base d'ensembles de données publiques de textes ou d'images, mais également des données plus complexes et plus difficiles sont construites par collecte manuelle ou synthèse algorithmique.
Figure 5 Liste des tâches MultiTrust 
Différent de l'évaluation fiable des grands modèles de langage (LLM), ML Les fonctionnalités multimodales de LM apportent des scénarios de risque et possibilités. Afin de mieux mener une évaluation systématique, le benchmark MultiTrust part non seulement de la dimension d'évaluation comportementale traditionnelle, mais introduit également de manière innovante les deux perspectives d'évaluation du risque multimodal et de l'impact intermodal, couvrant de manière globale les nouveaux problèmes apportés par les nouvelles modalités. . nouveau défi.险 Figure 6 Le risque de risque multi-mode et d'impact inter-modulaire Plus précisément, le risque multi-mode fait référence aux nouveaux risques apportés par la scène multi-mode, tels que les réponses incorrectes possibles lorsque le modèle traite le visuel des informations trompeuses, ainsi que des erreurs de jugement dans le raisonnement multimodal impliquant des questions de sécurité. Bien que le modèle puisse identifier correctement l'alcool sur la photo, certains modèles ne sont pas conscients du risque potentiel de le partager avec des médicaments à base de céphalosporines. 涉 Figure 7 Les modèles de raisonnement impliquant des problèmes de sécurité sont mal jugés
Les effets transmodaux font référence à l'impact de l'ajout de nouveaux modes sur la crédibilité du mode d'origine, comme la saisie d'images non pertinentes. Cela peut changer le comportement fiable du réseau fédérateur du grand modèle de langage dans des scénarios de texte brut, conduisant à des risques de sécurité plus imprévisibles. Dans les attaques de jailbreak et les tâches de fuite de confidentialité contextuelle couramment utilisées pour l'évaluation de la crédibilité des grands modèles de langage, si le modèle reçoit une image qui n'a rien à voir avec le texte, le comportement de sécurité d'origine peut être détruit (Figure 2).
Analyse des résultats et principales conclusions
‐ à ----- une mise à jour en temps réel de la liste de crédibilité (partie) Les chercheurs maintenir une base de données multimodale régulièrement mise à jour. Les derniers modèles tels que GPT-4o et Claude3.5 ont été ajoutés à la liste de crédibilité des modèles. Dans l'ensemble, les modèles commerciaux fermés sont plus sûrs et plus fiables que les modèles open source traditionnels. Parmi eux, GPT-4 d'OpenAI et Claude d'Anthropic se classent au premier rang en termes de crédibilité, tandis que Microsoft Phi-3, qui a ajouté un alignement de sécurité, se classe au premier rang parmi les modèles open source, mais il existe encore un certain écart avec le modèle fermé. Les modèles commerciaux tels que GPT-4, Claude et Gemini ont mis en œuvre de nombreuses technologies de renforcement pour la sécurité et la fiabilité, mais il existe encore certains risques en matière de sécurité et de fiabilité. Par exemple, ils présentent toujours une vulnérabilité aux attaques contradictoires, aux attaques de jailbreak multimodales, etc., ce qui interfère grandement avec l'expérience et la confiance des utilisateurs. Bien que les scores de nombreux modèles open source sur les listes générales grand public soient équivalents à ou encore mieux que GPT-4. Lors des tests de niveau de confiance, ces modèles montraient toujours des faiblesses et des failles sous différents aspects. Par exemple, l'accent mis sur les capacités générales (telles que l'OCR) pendant la phase de formation fait de l'intégration de texte jailbreaké et d'informations sensibles dans la saisie d'images une source de risque plus menaçante.
Sur la base des résultats expérimentaux des effets multimodaux, l'auteur a découvert que la formation et l'inférence multimodales affaibliraient le mécanisme d'alignement sûr des grands modèles de langage. De nombreux grands modèles multimodaux utiliseront de grands modèles de langage alignés comme réseau fédérateur et seront peaufinés au cours du processus de formation multimodale. Les résultats montrent que ces modèles présentent encore d’importantes vulnérabilités de sécurité et des risques crédibles. Dans le même temps, dans plusieurs tâches d’évaluation de la fiabilité d’un texte pur, l’introduction d’images pendant le raisonnement aura également un impact et une interférence sur le comportement fiable du modèle. 圖10中使用與影像學歷性與其通用能力有一定的相關性，但在不同的可信評估維度上模型表現也依然存在差異。目前常見的多模態大模型相關演算法，如GPT-4V輔助產生的微調資料集、針對幻覺的RLHF等，尚不足以全面增強模型的可信度。而現有的結論也表明，多模態大模型有著區別於大語言模型的獨特挑戰，需要創新且高效的演算法來進一步改進。 研究結果顯示提升多模態大模型的可信度需要研究人員的特別注意。透過借鑒大語言模型對齊的方案，多元化的訓練資料和場景，以及檢索增強生成（RAG）和憲法AI（Constitutional AI）等範式可以一定程度上幫助改進。但多模態大模型的可信賴提升絕不止於此，模態間對齊、視覺編碼器的穩健性等也是關鍵影響因素。此外，透過在動態環境中持續評估和最佳化，增強模型在實際應用中的表現，也是未來的重要方向。
伴隨MultiTrust基準的發布，研究團隊也公開了多模態大模型可信評估工具包MMTrustEval，其模型整合和評估模組化的特點為多模態大模型的可信度研究提供了重要工具。基於這項工作和工具包，團隊組織了與多模態大模型安全相關的資料和演算法競賽[1,2]，推進大模型的可信研究。未來，隨著技術的不斷進步，多模態大模型將在更多領域展現其潛力，但其可信賴性的問題仍需持續關注和深入研究。 [1] CCDM2024多模態大語言模型紅隊安全挑戰賽http://116.11289824多模態大語言模型紅隊安全挑戰賽http://116.112. [2] 第三屆琶洲演算法競賽--多模態大模型演算法安全加強技術https://iacc.pazhoulab-huangpu.com/contestdetail?id=668de7357ff47da8cc88c7,08cc88c70,00888c7,08ccCe qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
