ハルビン工業大学と南洋工業大学が世界初の「マルチモーダルディープフェイク検出と測位」モデルを提案：AIGCにフェイクを隠す場所を与えない

#図 2. DGM4^{データセット}

DGM 4 ^{データセットでは、顔置換改ざん (FS)、顔属性改ざん (FA)、テキスト置換改ざん (TS)、テキスト属性改ざん (TA) の 4 種類の改ざんを調査します。}

図 2 は、(a) 改ざんの種類の数の分布、(b) ほとんどの改ざんされた領域を含む、DGM4 ^{の全体的な統計情報を示しています。画像のサイズは小さい（特に顔属性の改ざんの場合）、(c) テキスト属性の改ざんは、テキスト置換改ざんよりも改ざんされた単語が少ない、(d) テキスト感情スコアの分布、(e) 各改ざんタイプのサンプル数。}

このデータは、77,426 の元の画像とテキストのペアと 152,574 の改ざんされたサンプル ペアを含む、合計 230,000 の画像とテキストのペアのサンプルを生成しました。改ざんされたサンプルのペアには、66722 件の顔置換改ざん、56411 件の顔属性改ざん、43546 件のテキスト置換改ざん、および 18588 件のテキスト属性改ざんが含まれます。

この記事では、マルチモーダル改ざんがモダリティ間で微妙な意味論的な不一致を引き起こすと考えています。したがって、モダリティ間の意味論的特徴を融合および推論することによって、改ざんされたサンプルのクロスモーダル意味論的不一致を検出することが、DGM4 に対処するこの記事の主なアイデアです。

図 3. 提案されたマルチモーダル階層型改ざん推論モデル HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)

マルチモーダル階層改ざん推論モデル HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER) を提案します。

を使用して、画像エンコーダーとテキスト エンコーダーによって抽出された画像とテキストの単一モーダルの意味論的特徴を調整します。同時に、シングルモーダルの埋め込み機能は、情報のやり取りにクロスアテンション メカニズムを使用し、ローカル パッチ アテンション集約メカニズム (ローカル パッチ アテンション集約) が画像改ざん領域を特定するように設計されています。 ##2) 深層改ざん推論では、マルチモーダル アグリゲーターのモダリティを意識したクロスアテンション メカニズムを使用して、マルチモーダル セマンティック機能をさらに融合します。これに基づいて、特別な マルチモーダル シーケンス タグ付けとマルチモーダル マルチラベル分類

実験結果

#

図 4. マルチモーダル改ざん検出と位置特定結果の視覚化

図5 . 改ざんされたテキストに対するモデル改ざん検出アテンションの視覚化

図 4 は、マルチモーダル改ざん検出と位置特定の視覚的な結果を示しており、HAMMER が改ざん検出と改ざん検出を正確かつ同時に実行できることを示しています。ローカリゼーションタスク。図 5 は、改ざんされた単語に対するモデル アテンションの視覚化結果を示しており、HAMMER が改ざんされたテキストと意味的に矛盾する画像領域に焦点を当てることによって、マルチモーダルな改ざん検出と位置特定を実行することをさらに示しています。

この研究は、マルチモーダルなフェイクニュースに対処するために、マルチモーダルなメディア改ざんを検出および特定するという新しい研究トピックを提案します。
1. この研究は、マルチモーダルメディア改ざんの検出と位置特定のための最初の大規模なデータセットに貢献し、改ざん検出と位置特定のための詳細かつ豊富な注釈を提供します。研究チームは、これがマルチモーダルなフェイクニュース検出に関する将来の研究に大いに役立つと信じている。
2. この研究では、この新しいトピックの優れた開始ソリューションとして、強力なマルチモーダル階層改ざん推論モデルを提案します。

この作業のコードとデータ セットのリンクは、このプロジェクトの GitHub で共有されています。誰でもこの GitHub リポジトリにスターを付けて、DGM4 ^{を使用することを歓迎します。データセットとハンマー DGM}4 ^{問題を勉強しましょう。 DeepFake の分野は、画像の単一モダリティ検出だけでなく、より広範なマルチモダリティ改ざん検出の問題でもあり、早急に解決する必要があります。}