Le modèle OpenAI DALL-E 3 présente une vulnérabilité qui génère un « contenu inapproprié ». Un employé de Microsoft l'a signalé et a reçu une « ordonnance de bâillon ».

Selon l'actualité du 2 février, Shane Jones, responsable de l'ingénierie logicielle chez Microsoft, a récemment découvert une vulnérabilité dans le modèle DALL-E 3 d'OpenAI, qui serait capable de générer une série de contenus inappropriés. Shane Jones a signalé la vulnérabilité à l'entreprise, mais il lui a été demandé de garder cette information confidentielle. Cependant, il a finalement décidé de révéler sa vulnérabilité au monde extérieur.

▲ Source de l'image Le rapport de Shane Jones divulgué au public

Ce site a remarqué que Shane Jones a découvert une vulnérabilité dans le modèle DALL-E 3 d'images générées par texte OpenAI grâce à une recherche indépendante en décembre de l'année dernière. Cette vulnérabilité peut contourner AI Guardrail, entraînant une série de contenus inappropriés NSFW. La découverte a attiré une large attention et a déclenché des discussions approfondies sur la sécurité et l’éthique des systèmes d’IA. La société OpenAI a déclaré qu'elle corrigerait la vulnérabilité dès que possible pour garantir le fonctionnement correct et sécurisé de ses systèmes. Cet incident nous rappelle une fois de plus que nous devons accorder une grande attention aux questions de sécurité et d’éthique lors du développement et de l’application de la technologie de l’intelligence artificielle.

Shane Jones a ensuite signalé la vulnérabilité à Microsoft et OpenAI et a publié une lettre ouverte sur LinkedIn. Il a affirmé que ces vulnérabilités pouvaient présenter des risques de sécurité pour le public et a appelé OpenAI à supprimer temporairement le modèle DALL-E 3 jusqu'à ce que les vulnérabilités soient résolues.

Par la suite, Shane Jones a été contacté par le service juridique et les dirigeants de Microsoft, qui l'ont averti de supprimer immédiatement la lettre ouverte de LinkedIn et de cesser de divulguer tout contenu au monde extérieur. Cependant, aucune explication n'a été donnée depuis lors. a demandé à plusieurs reprises des communications internes au sein de l'entreprise. Cependant, aucune réponse n'a été reçue de l'entreprise et la vulnérabilité n'a pas été corrigée. Par la suite, Shane Jones a divulgué la vulnérabilité concernée aux médias et aux services concernés.

Les photos indécentes générées par l'IA du célèbre chanteur Taylor Swift qui sont apparues récemment sur Internet sont liées à cette vulnérabilitéCes photos indécentes utiliseraient la fonction Designer AI de Microsoft Generated et le modèle sous-jacent de. Le concepteur est DALL-E 3. Par conséquent, Microsoft a commis une négligence majeure en émettant une « ordonnance de scellement » lors de cet incident.

. "Il est impossible de contourner toutes les vulnérabilités que Microsoft a définies pour le modèle. Mécanisme de sécurité", "On ne sait actuellement pas si cette vulnérabilité est liée à l'incident de photo indécente de Taylor Swift".