北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理戦闘方法を導入しています。

近年、視覚システムの安全性評価に関する研究が徐々に深まり、ガラス、ステッカー、衣類などのさまざまな担体に基づいた可視光モーダル安全性評価技術の開発に成功しています。赤外線モダリティにおけるいくつかの新しい試みもあります。ただし、これらの技術は単一のモダリティにしか適用できません。

人工知能技術の発展に伴い、可視熱赤外線イメージング技術はセキュリティ監視や自動運転などに広く使用されています。セキュリティ 重要な任務中。可視光イメージングは​​日中は豊富なテクスチャ情報を提供でき、赤外線イメージングは​​夜間にターゲットの熱放射分布を鮮明に表示できます。この 2 つを併用すると、視覚認識システムは 24 時間完全にカバーでき、環境制限を受けないため、多くの利点があります。したがって、マルチモーダル視覚認識システムに対する統一的なセキュリティ評価方法を研究する必要があります。

しかし、マルチモーダル評価を達成することは非常に困難です。挑戦的。まず、さまざまなイメージング メカニズムの下で普遍的な攻撃手法を適用することは困難です。これまでの手法は、特定の対象モダリティの画像特性に基づいて提案されており、他のモダリティでは機能することが困難でした。さらに、ステルス性能、生産コスト、柔軟な用途のバランスをとることは困難です。可視光とより困難な赤外線モードの両方で効果を発揮することは容易ではなく、低コストで便利な製造と使用を実現することはさらに困難です。

多くの課題に直面して、北京人工知能研究所の研究者たちは、可視光と赤外線モダリティの間の共通の形状属性を調査し、「クロスモーダル普遍性」「アンチパッチ」を革新的に提案しました。可視光と赤外線の同期ステルスを実現します。 入手しやすく、低コストで、断熱性に優れた素材を厳選し、可視光・赤外マルチモーダル検出のロバスト性評価技術の隙間を埋めながら、すぐに使える便利なパッチを実現現在の物理世界のシステムでは、物理実装の容易さと即時性も考慮されています。実験では、さまざまな検出モデルとモダリティの下でのこの方法の有効性と、複数のシナリオでの一般化が実証されています。現在、この論文は ICCV 2023 に受理されました。

論文を表示するには、次のリンクをクリックしてください: https://arxiv.org/abs/2307.07859

コードリンク: https://github.com/Aries-iai/Cross-modal_Patch_ Attack

技術的なポイント

本研究では、進化的アルゴリズムを基本枠組みとして、形状モデリング、形状最適化、モーダルバランスの3つの観点からプログラム設計と効果改善を行います。具体的なプロセスは次の図に示されています:

#1. スプライン補間に基づくマルチアンカー形状モデリング

#基本的な形状モデリング部分について、研究者は点最適化モデリングの新しいパラダイムを設計しました。点の座標を変更することで、方向や距離などの制約に影響されることなく、パッチの形状を直接調整できます。これにより、パッチ形状の検索スペースが効果的に増加します。形状の自然さを確保するために、研究者らはスプライン補間法を使用して滑らかな接続を実現し、スプラインが制御点をより厳密に追従できるようにしました

2。形状の定義 最適化アルゴリズムは差分進化の原理に基づいている

# 戦闘を実現するには効果的な最適化手法が必要であるため、研究者は進化アルゴリズムを基本的な枠組みとして考えています時間コストや実際の効果などの観点から改善し、境界設定と適応度関数の2つの観点から改善します。

書き換える内容は以下のとおりです。境界設定：アンカーポイントの境界を設定することで、変形の効率が向上し、時間コストを削減できます。具体的な設定は次のとおりです: 曲線セグメントにループや自己交差が形成されない、曲線セグメントにカスプが現れにくい、無効領域に出現しない

#

アンカー ポイント を例にとります。下図の青い部分は境界設定の凡例、オレンジ色の部分はエラー インスタンスです。

アンカーポイントの境界判定について

数式は次のとおりです。

(2) フィットネス関数: この研究は単一モードのみで打撃評価を行った従来の研究とは異なり、可視光と赤外線の 2 つのモードに焦点を当てています。バランス効果の違いの問題。 1 つのモダリティを過剰に最適化し、もう 1 つのモダリティを無視することを避けるために、研究者らは、検出器の信頼度スコア認識に基づく革新的なクロスモーダル適合関数を提案しました。これは、成功する方向の探索を促進し、モダリティ間の 2 つの効果の差のバランスを取ることを目的としています。最終的に適者生存はスコアに基づいて決まります。初期段階と後期段階のストライクの難易度の違いを考慮するために、この関数は線形関数の代わりに指数関数を使用して、さまざまなステージでのストライクの進行状況の違いを強調します

アルゴリズムは、両方のモードの攻撃が成功するまで探索プロセスを繰り返し、最適な形状戦略を出力します。完全な最適化プロセスは次のとおりです。

実験結果

実験 1: さまざまなシリーズの検出器 クロスモーダルストライク性能の検証

実験 2: 形状のアブレーション実験

#実験 3: クロスモーダル適応度関数のアブレーション実験

実験 4: 物理的実装偏差の下での方法ロバスト性の検証

#実験 5: さまざまな物理的条件下での方法の有効性の検証

#さまざまな角度、距離、姿勢、シナリオでパフォーマンス検証を実行し、結果を視覚的に表示します

概要

この研究の核心は、変形パッチとクロスモーダルストライクと組み合わせた自然形状の最適化であり、可視-赤外線マルチモードを設計します。物理環境状態のロバスト性評価手法。この方法は、マルチモーダル (可視-赤外) ターゲット検出システムのロバスト性を評価し、評価結果に基づいて検出器モデルを効果的に修正すると同時に、可視モードと赤外モードの両方でターゲット画像検出の精度を向上させることができます。この手法は物理環境に実装および適用され、マルチモーダル検出システムの堅牢性評価と改善に貢献します。

以上が北杭大学はモードの壁を打ち破り、可視モードと赤外線モードにわたる普遍的な物理戦闘方法を導入しています。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。