実装をさらに加速：自動運転のエンドツーエンドの動作計画モデルを圧縮

原題: On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

論文リンク: https://arxiv.org/pdf/2403.01238.pdf

コードリンク: https://github.com/tulerfeng/PlanKD

著者の所属: 北京理工大学 ALLRIDE.AI 河北省ビッグデータ科学およびインテリジェント技術重点研究所

論文のアイデア

エンドツーエンドの動作計画モデルにはディープ ニューラル ネットワークが装備されており、完全自動運転の実現に大きな可能性を示しています。 。ただし、ニューラル ネットワークが大きすぎると、間違いなくより多くのコンピューティング時間とリソースが必要となる、リソースに制約のあるシステムへの展開には適していません。この問題に対処するために、知識の蒸留は、より小さな生徒モデルをより大きな教師モデルから学習させることでモデルを圧縮することで有望なアプローチを提供します。それにもかかわらず、知識の蒸留を適用してモーション プランナーを圧縮する方法は、これまでのところ未開発です。この論文では、圧縮されたエンドツーエンドのモーション プランナー向けに調整された最初の知識抽出フレームワークである PlanKD を提案します。まず、運転シナリオは本質的に複雑で、計画に無関係な情報やノイズが含まれることが多いことを考えると、この情報を転送することは学生計画担当者にとって有益ではありません。したがって、この文書では、すべての情報を無差別に移行するのではなく、計画関連の情報のみを抽出する、情報ボトルネックに基づいた戦略を設計します。第 2 に、出力計画軌道内の異なるウェイポイントは動作計画に対する重要性が異なる可能性があり、一部の重要なウェイポイントのわずかな偏差が衝突につながる可能性があります。したがって、この論文では、重要度に基づいてさまざまなウェイポイントに適応的な重みを割り当てる安全性を意識したウェイポイント注意蒸留モジュールを設計し、学生モデルがより重要なウェイポイントをより正確に模倣するように促し、それによって全体的な安全性を向上させます。実験の結果、PlanKD は小規模プランナーのパフォーマンスを大幅に向上させ、参照時間を大幅に短縮できることがわかりました。

主な貢献:

1. この論文は、自動運転におけるエンドツーエンドのモーション プランナーを圧縮するための専用の知識抽出方法を探索する最初の試みを構築します。
2. この文書では、学生プランナーが中間層で計画関連の知識を継承できるようにし、安全性を向上させるために重要なウェイポイントの正確なマッチングを容易にする、一般的で革新的なフレームワーク PlanKD を提案します。
3. 実験の結果、この記事の PlanKD は小規模プランナーのパフォーマンスを大幅に向上させ、限られたリソースでの展開に、より移植性が高く効率的なソリューションを提供できることがわかりました。

ネットワーク設計:

最近、エンドツーエンドの動作計画が自動運転における有望な方向性として浮上しています [3、10、30、31、 40、47、48]、生のセンサー データを計画されたアクションに直接マッピングします。この学習ベースのパラダイムは、手作りのルールへの大きな依存を減らし、複雑なカスケード モジュール (通常は検出、追跡、予測、計画) 内でのエラーの蓄積を軽減するという利点を示します [40、48]。成功にもかかわらず、モーション プランナーのディープ ニューラル ネットワークのかさばるアーキテクチャは、エッジ デバイスのコンピューティング能力に依存する自律型配送ロボットなど、リソースに制約のある環境での展開に課題をもたらします。さらに、従来の車両であっても、車載デバイスのコンピューティング リソースは制限されることがよくあります [34]。したがって、深くて大規模なプランナーを直接展開すると、必然的により多くのコンピューティング時間とリソースが必要となり、潜在的な危険に迅速に対応することが困難になります。この問題を軽減するには、より小規模なバックボーン ネットワークを使用してネットワーク パラメータの数を減らすのが簡単なアプローチですが、図 1 に示すように、エンドツーエンドの計画モデルのパフォーマンスが急激に低下することがこのホワイト ペーパーで観察されています。たとえば、典型的なエンドツーエンドのモーション プランナーである InterFuser [33] の推論時間は 5,290 万から 2,630 万に短縮されましたが、その運転スコアも 53.44 から 36.55 に低下しました。したがって、エンドツーエンドの動作計画に適したモデル圧縮手法を開発する必要があります。

ポータブルな動作プランナーを入手するために、この記事では知識蒸留 [19] を使用してエンドツーエンドの動作計画モデルを圧縮します。知識蒸留 (KD) は、オブジェクト検出 [6、24]、セマンティック セグメンテーション [18、28] など、さまざまなタスクにおけるモデル圧縮のために広く研究されています。これらの研究の基本的な考え方は、より大規模な教師モデルから知識を継承することによって単純化された学生モデルをトレーニングし、展開中にその学生モデルを教師モデルの置き換えに使用することです。これらの研究は大きな成功を収めていますが、それをエンドツーエンドの動作計画に直接適用すると、次善の結果が得られます。これは、動作計画タスクに固有の 2 つの新たな課題から生じています。(i) 運転シナリオは本質的に複雑であり [46]、複数の動的および静的なオブジェクト、複雑な背景シーン、および多面的な道路や交通情報を含む多様な情報が含まれます。ただし、この情報すべてが計画に役立つわけではありません。たとえば、背景の建物や遠くの車両は計画に無関係であるか、騒音さえあります [41] が、近くの車両や信号機は決定的な影響を与えます。したがって、教師モデルから計画に関連する情報のみを自動的に抽出することが重要ですが、これまでの KD 手法では実現できませんでした。 (ii) 出力計画軌道内の異なるウェイポイントは、通常、動作計画にとって異なる重要性を持ちます。たとえば、交差点をナビゲートする場合、他の車両に近い軌道内のウェイポイントが他のウェイポイントよりも重要になる場合があります。これらのポイントでは、自車は他の車両と積極的に対話する必要があり、わずかな逸脱でも衝突につながる可能性があるためです。ただし、主要なウェイポイントを適応的に決定し、それらを正確に模倣する方法は、以前の KD 手法のもう 1 つの大きな課題です。

上記 2 つの課題に対処するために、この論文では、PlanKD と呼ばれる、圧縮自動運転におけるエンドツーエンドのモーション プランナー向けに調整された最初の知識蒸留方法を提案します。まず、本論文では、情報ボトルネック原理 [2] に基づいた戦略を提案します。その目標は、最小限かつ十分な計画情報を含む計画関連の特徴を抽出することです。具体的には、抽出された計画関連特徴量と本論文で定義した計画状態の真の値との間の相互情報量を最大化し、抽出された特徴量と中間特徴量マップとの間の相互情報量を最小化する。この戦略により、この論文では中間層でのみ主要な計画関連情報を抽出できるようになり、それによって学生モデルの有効性が向上します。第二に、主要なウェイポイントを動的に識別し、それらを忠実に模倣するために、この論文では、注意メカニズム [38] を採用して、各ウェイポイントと、鳥瞰図 (BEV) 内の関連するコンテキストとの間の各ウェイポイントとその注意の重みを計算します。蒸留中に安全性が重要なウェイポイントの正確な模倣を促進するために、移動する障害物に近いウェイポイントに高い注意を払うことを奨励する、安全性を意識したランキングの損失を設計します。これにより、学生プランナーのセキュリティを大幅に向上させることができる。図 1 に示されている証拠は、学生プランナーの運転スコアが PlanKD によって大幅に改善できることを示しています。さらに、私たちの方法は、Town05 Long Benchmark で教師用プランナーと同等のパフォーマンスを維持しながら、参照時間を約 50% 削減できます。

図 1. Town05 Long Benchmark [31] でパラメーターの数が減少するにつれて InterFuser [33] のパフォーマンスが低下する概略図。 PlanKD を活用することで、コンパクトなモーション プランナーのパフォーマンスを向上させ、参照時間を大幅に短縮できます。推論時間は、サーバー上の GeForce RTX 3090 GPU で評価されます。

図 2. この記事の PlanKD フレームワークの概略図。 PlanKD は 2 つのモジュールで構成されています: 情報ボトルネック (IB) を通じて中間特徴マップから計画関連特徴を抽出する計画関連特徴抽出モジュール、主要なウェイポイントを動的に決定し、そこから知識を抽出する安全性を意識したウェイポイント注意蒸留モジュール全体的なセキュリティを強化します。

実験結果:

図 3. さまざまな運転シナリオにおける安全を意識した注意の重みの視覚化。緑色のブロックは自車両を表し、黄色のブロックは他の道路利用者 (車、自転車など) を表します。ウェイポイントが赤くなるほど、注目の重みが高くなります。

概要:

この文書では、圧縮されたエンドツーエンドのモーション プランナー向けに調整された知識抽出方法である PlanKD を提案します。提案手法は、情報ボトルネックを通じて計画関連の特徴を学習し、効果的な特徴の抽出を実現します。さらに、この論文は、ウェイポイント蒸留における各ウェイポイントの重要性を適応的に決定するために、安全性を意識したウェイポイント注意蒸留メカニズムを設計します。広範な実験により私たちのアプローチの有効性が検証され、PlanKD がリソースが限られた展開向けのポータブルで安全なソリューションとして機能できることが実証されました。

引用:

Feng K、Li C、Ren D 他、ポータビリティへの道: 自動運転のためのエンドツーエンドのモーション プランナーの圧縮[ J].arXiv プレプリント arXiv:2403.01238、2024.