概要：自動運転向け協調センシング技術

arXiv レビュー論文「自動運転のための共同認識: 現状と将来の傾向」、2022 年 8 月 23 日、上海交通大学。

知覚は自動運転システムの重要なモジュールの 1 つですが、自転車の能力には限界があるため、知覚性能の向上にはボトルネックが生じています。単一の知覚の限界を打破するために、車両が情報を共有し、視線の外側および視野の外側の環境を知覚できるようにする協調知覚が提案されています。この記事では、基本概念、協調モデル、主要な要素とアプリケーションなど、協調センシング技術に関連する有望な研究についてレビューします。最後に、この研究分野における未解決の課題と問題について議論し、さらなる方向性を示します。

図に示すように、単一の知覚に関する 2 つの重要な問題は、長距離オクルージョンとデータの疎さです。これらの問題の解決策は、同じエリアにある車両が相互に共通の知覚情報（CPM、集合的知覚メッセージ）を共有し、共同して環境を知覚することであり、これを協調センシングまたは協調センシングと呼びます。

通信インフラの整備やV2Xなどの通信技術の発展により、車両同士が確実に情報をやり取りし、コラボレーションが実現できるようになりました。最近の研究では、車両間の協調センシングにより、交通システムの堅牢性と安全性だけでなく、環境認識の精度も向上できることが示されています。

さらに、自動運転車には通常、信頼性の高い認識を実現するための高忠実度のセンサーが装備されており、その結果、コストが高くなります。協調センシングにより、単一車両のセンシング機器に対する厳しい要件が緩和されます。

協調センシングは近くの車両やインフラと情報を共有し、自動運転車両が遮蔽や視野の短さなどの特定の知覚制限を克服できるようにします。ただし、リアルタイムで堅牢な協調センシングを実現するには、通信容量とノイズによって引き起こされるいくつかの課題を解決する必要があります。最近、コラボレーションとは何か、いつコラボレーションするか、どのようにコラボレーションするか、共有情報の調整などを含む、コラボレーションセンシングの戦略が研究されている研究もあります。

フュージョンと同様に、コラボレーションには 4 つのカテゴリがあります。

##1 初期のコラボレーション

Collaborate の初期のコラボレーション入力スペースで車両とインフラストラクチャ間で生の感覚データを共有します。すべての車両とインフラストラクチャの生の測定値を集約して、全体的なビューを取得します。したがって、各車両は以下の処理を実行し、全体的な視点に基づいて知覚を完了することができ、単一の知覚で発生するオクルージョンと長距離の問題を根本的に解決できます。

しかし、生の感覚データを共有するには大規模な通信が必要であり、過剰なデータ負荷で通信ネットワークが混雑しやすいため、ほとんどの場合、実用化が妨げられます。

2.後期連携

後期連携では、出力空間で連携することで、各エージェントが出力した知覚結果の融合を促進し、洗練化を図ります。

後期段階のコラボレーションは帯域幅を節約できますが、エージェントの位置誤差に非常に敏感であり、不完全なローカル観測による高い推定誤差やノイズに悩まされます。

3 中間コラボレーション

中間コラボレーションは、中間機能空間でコラボレーションを実行します。個々のエージェント予測モデルによって生成された中間特徴を送信できます。これらの特徴を融合した後、各エージェントは融合された特徴をデコードし、知覚的な結果を生成します。概念的には、代表的な情報をこれらの機能に圧縮して、初期のコラボレーションと比較して通信帯域幅を節約し、後期のコラボレーションと比較して認識を向上させることができます。

実際には、この協調戦略の設計は、i) 送信用の生の測定値から最も効果的でコンパクトな特徴を選択する方法、ii) 他の特徴の統合を最大化する方法という 2 つの側面でアルゴリズム的に困難です。各知性の知覚能力を強化するための知性。

4 ハイブリッド シナジー

前述したように、各シナジー モードには長所と短所があります。したがって、一部の作品では、コラボレーション戦略を最適化するために 2 つ以上のコラボレーション モードを組み合わせたハイブリッド コラボレーションが採用されています。

協調センシングの主な要素は次のとおりです。

1 協調グラフ

グラフは、非依存性をモデル化するため、協調センシング モデリングの強力なツールです。欧州 データ構造は解釈可能性が良好です。一部の作品では、協調センシングに参加する車両が完全な協調グラフを形成します。このグラフでは、各車両がノードとなり、2 台の車両間の協調関係が 2 つのノード間のエッジとなります。

2 姿勢調整

協調センシングでは、異なる場所と異なる時間にある車両やインフラからのデータを融合する必要があるため、正確なデータ整合を達成することが協調センシングを成功させるために重要です。それは重要です。

3 情報融合

情報融合は、マルチエージェント システムの中核コンポーネントであり、その目標は、他のエージェントからの大量の情報を効果的な方法で融合することです。方法の一部です。

4 強化学習に基づくリソース割り当て

実際の環境では通信帯域幅が限られているため、利用可能な通信リソースを最大限に活用する必要があるため、リソースの割り当てとスペクトル共有が非常に重要になります。車両の通信環境では、チャネル状態の急速な変化とサービス需要の増大により、割り当て問題の最適化が非常に複雑になり、従来の最適化手法を使用して解決することが困難になります。一部の作品では、最適化問題を解決するためにマルチエージェント強化学習 (MARL) を利用しています。

協調センシングのアプリケーション:

1 3D ターゲット検出

LIDAR 点群に基づく 3D ターゲット検出は、協調センシング研究で最も人気があります。問題。その理由は次のとおりです。 i) LiDAR 点群は画像やビデオよりも多くの空間次元を持っています。 ii) LiDAR 点群は、顔やナンバープレート番号などの個人情報をある程度保存できます。 iii) 点群データは、異なるポーズから位置合わせしたときに損失がピクセル未満であるため、フュージョンに適したデータ タイプです。 iv) 3D オブジェクトの検出は、自動運転知覚の基本タスクであり、追跡や動作予測などの多くのタスクの基礎となります。

2 セマンティック セグメンテーション

3D シーンのセマンティック セグメンテーションも、自動運転に必要な重要なタスクです。 3D シーン オブジェクトの共同セマンティック セグメンテーション: 複数のエージェントからの 3D シーン観察 (画像、LIDAR 点群など) を考慮して、エージェントごとにセマンティック セグメンテーション マスクが生成されます。 ‍

困難な問題:

1 通信の堅牢性

効果的な共同統合は、エージェント間の信頼性の高い通信に依存します。しかし、実際の通信は完全ではありません: i) ネットワーク内の車両の数が増えると、各車両で利用できる通信帯域幅が制限されます; ii) 避けられない通信遅延により、車両がリアルタイムの情報を受信することが困難になりますiii) 時々通信が途切れ、通信が中断される可能性がある iii) V2X 通信が破損し、常に安定したサービスが提供できない場合がある。通信技術は発展し続け、通信サービスの品質は向上し続けていますが、上記の問題は依然として長期にわたって存在するでしょう。しかし、既存の研究のほとんどは、情報がリアルタイムかつロスレスで共有できることを前提としているため、今後の研究では、これらの通信の制約を考慮し、堅牢な協調センシング システムを設計することが非常に重要です。

2 異質性とクロスモダリティ

共同認識作業のほとんどは、LIDAR 点群ベースの認識に焦点を当てています。しかし、画像やミリ波レーダー点群など、センシングに利用できるデータの種類は他にもたくさんあります。これは、マルチモーダル センサー データを活用して、より効果的なコラボレーションを実現できる可能性のある方法です。さらに、一部のシナリオでは、さまざまなレベルの自動運転車がさまざまな品質の情報を提供します。したがって、協調センシングのさらなる実用化には、異種車両ネットワーク内でどのように連携するかが課題となります。残念ながら、異種混合およびクロスモーダルな協調センシングに焦点を当てた研究はほとんどなく、これも未解決の課題となります。

3 大規模データセット

大規模データセットと深層学習手法の開発により、知覚パフォーマンスが向上しました。ただし、協調センシング研究分野の既存のデータセットはサイズが小さいか、一般に公開されていません。

公開された大規模データセットが不足しているため、協調センシングのさらなる開発が妨げられています。さらに、ほとんどのデータセットはシミュレーションに基づいています。シミュレーションはアルゴリズムを検証するための経済的で安全な方法ですが、協調センシングを実際に適用するには実際のデータセットも必要です。

以上が概要：自動運転向け協調センシング技術の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。