OpenAI DALL-E 3 モデルには「不適切なコンテンツ」を生成する脆弱性があり、Microsoft 社員が通報し、「緘口令」が敷かれました。

2 月 2 日のニュースによると、Microsoft ソフトウェア エンジニアリング マネージャーの Shane Jones 氏は最近、OpenAI の DALL-E 3 モデルに脆弱性があることを発見しました。不適切な内容が連続しております。 Shane Jones 氏はこの脆弱性を同社に報告しましたが、機密保持を求められました。しかし、最終的に彼はその脆弱性を外部に公開することにしました。

▲画像ソース Shane Jones のレポートが公開されました

このサイトは、Shane Jones が昨年 12 月に独立した調査を通じて、OpenAI テキストが画像を生成していることを発見したことに注目しました。 DALL-E 3 モデルには脆弱性があります。この脆弱性により AI ガードレールがバイパスされ、一連の NSFW 不適切なコンテンツが発生する可能性があります。この発見は広く注目を集め、AI システムの安全性と倫理についての深い議論を引き起こしました。 OpenAI 社は、システムの正確かつ安全な動作を保証するために、できるだけ早くこの脆弱性を修正すると述べています。この事件は、人工知能技術の開発と応用においては、安全性と倫理的な問題に細心の注意を払う必要があることを改めて思い出させます。

Shane Jones 氏はその後、この脆弱性を Microsoft と OpenAI に報告し、LinkedIn で公開書簡を公開しました。同氏は、これらの脆弱性が公衆にセキュリティ上のリスクをもたらす可能性があると主張し、OpenAIに対し、脆弱性が解決されるまでDALL-E 3モデルを一時的に削除するよう求めた。

その後、シェーン ジョーンズ氏はマイクロソフトの法務部門と上級幹部から連絡を受け、LinkedIn の公開書簡を直ちに削除し、内容を外部に公開するのをやめるよう警告されましたが、説明はありませんでした. シェーン ジョーンズは繰り返し社内に連絡を求めましたが、会社からの返答はなく、脆弱性は修正されず、その後、シェーン ジョーンズは関連する脆弱性をメディアおよび関連部門に公開しました。

シェーン ジョーンズ氏は、最近インターネット上に公開された有名な歌手テイラー スウィフト (Taylor Swift) の AI 生成のわいせつな写真がこの脆弱性に関連していると述べました。これらのわいせつな写真は、は、Microsoft Designer AI 機能を使用して生成されたものであり、Designer の基礎モデルは DALL-E 3 です。 したがって、この事件で Microsoft は「封印命令」を発行するという重大な過失を犯しました。

それ以来、Microsoft は Engadget やその他のメディアに正式に回答し、関連する従業員の懸念に対処し、関連する脆弱性を修正すると主張しましたが、Microsoft はまた、Shane Jones によって公開された脆弱性は実際には低いものであるとも主張しました。成功率と「回避することはできません。「Microsoft がモデルに対して設定したすべてのセキュリティ メカニズム」、「この脆弱性がテイラー スウィフトのわいせつな写真事件に関連しているかどうかは現時点では不明です」。