進一步加速落地：壓縮自動駕駛端到端運動規劃模型

原標題：On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

論文連結：https://arxiv.org/pdf/2403.01238.pdf

程式碼連結：https://github.com/tulerfeng/PlanKD

作者單位：北京理工大學ALLRIDE.AI 河北省大數據科學與智慧技術重點實驗室

#論文想法

端到端的運動規劃模型配備了深度神經網絡，在實現全自動駕駛方面展現出了巨大潛力。然而，過大的神經網路使得它們不適合部署在資源受限的系統上，這無疑需要更多的運算時間和資源。為了解決這個問題，知識蒸餾提供了一種有前景的方法，它透過使一個較小的學生模型從較大的教師模型學習來壓縮模型。儘管如此，如何應用知識蒸餾來壓縮運動規劃器到目前為止還未被探索。本文提出了 PlanKD，這是第一個為壓縮端到端運動規劃器量身定制的知識蒸餾框架。首先，考慮到駕駛場景本質上是複雜的，常常包含與規劃無關或甚至是噪音訊息，遷移這種資訊對學生規劃者並無益處。因此，本文設計了一種基於資訊瓶頸(information bottleneck)的策略，只蒸餾與規劃相關的訊息，而不是無差別地遷移所有資訊。其次，輸出規劃軌跡中的不同 waypoints 可能對運動規劃的重要性各不相同，某些關鍵 waypoints 的輕微偏差可能會導致碰撞。因此，本文設計了一個 safety-aware waypoint-attentive 的蒸餾模組，根據重要性為不同 waypoints 分配自適應權重，以鼓勵學生模型更準確地模仿更關鍵的 waypoints ，從而提高整體安全性。實驗表明，本文的 PlanKD 可以大幅提升小型規劃器的性能，並顯著減少它們的參考時間。

主要貢獻：

1. 本文建構了第一個旨在探索專用知識蒸餾方法以壓縮自動駕駛中端到端運動規劃器的嘗試。
2. 本文提出了一個通用且創新的框架 PlanKD，它使學生規劃器能夠繼承中間層中與規劃相關的知識，並促進關鍵waypoints 的準確匹配以提高安全性。
3. 實驗表明，本文的 PlanKD 可以大幅提升小型規劃器的效能，為資源有限的部署提供了更便攜、更有效率的解決方案。

網路設計：

端對端運動規劃最近作為自動駕駛中的一個有前景的方向出現[3, 10, 30, 31, 40, 47, 48]，它直接將原始感測器資料映射到規劃的動作上。這種基於學習的典範展現出減少對手動制定規則的嚴重依賴和減輕在複雜級聯模組（通常是檢測-追蹤-預測-規劃）[40, 48]內錯誤累積的優點。儘管取得了成功，但運動規劃器中深度神經網路龐大的架構為在資源受限環境中的部署帶來了挑戰，例如依賴邊緣設備運算能力的自動配送機器人。此外，即便是在常規車輛中，車載設備上的運算資源也經常是有限的[34]。因此，直接部署深層且龐大的規劃器不可避免地需要更多的運算時間和資源，這使得快速回應潛在危險變得具有挑戰性。為了緩解這個問題，一個直接的方法是透過使用較小的主幹網路來減少網路參數的數量，但本文觀察到，端到端規劃模型的效能會急劇下降，如圖1所示。例如，儘管當 InterFuser [33]（典型的端對端運動規劃器）的參數數量從52.9M減少到26.3M時，推理時間降低了，但其駕駛得分也從53.44下降到了36.55。因此，有必要開發一種適用於端到端運動規劃的模型壓縮方法。

為了得到一個可攜帶的運動規劃器，本文採用知識蒸餾[19]來壓縮端對端運動規劃模型。知識蒸餾（KD）已在各種任務中被廣泛研究用於模型壓縮，例如目標檢測[6, 24]、語義分割[18, 28]等。這些工作的基本思想是透過從更大的教師模型繼承知識來訓練一個簡化的學生模型，並在部署期間使用學生模型來替代教師模型。雖然這些研究取得了顯著的成功，但直接將它們應用於端到端運動規劃會導致次優結果。這源自於運動規劃任務中固有的兩個新出現的挑戰：(i) 駕駛場景本質上是複雜的[46]，涉及包括多個動態和靜態物體、複雜的背景場景以及多方面的道路和交通資訊在內的多樣化資訊。然而，並不是所有這些資訊都對規劃有益。例如，背景建築物和遠處的車輛對規劃來說是無關的甚至是噪音[41]，而附近的車輛和交通燈則有確定性的影響。因此，自動地只從教師模型中提取與規劃相關的資訊至關重要，而以往的KD方法無法做到這一點。 (ii) 輸出規劃軌跡中的不同 waypoints 通常對運動規劃的重要性各不相同。例如，在導航一個交叉口時，軌跡中靠近其他車輛的 waypoints 可能比其他 waypoints 具有更高的重要性。這是因為在這些點，自車需要主動與其他車輛互動，即使是微小的偏差也可能導致碰撞。然而，如何自適應地確定關鍵 waypoints 並準確地模仿它們是以往KD方法的另一個重大挑戰。

為了解決上述兩個挑戰，本文提出了第一個為壓縮自動駕駛中端到端運動規劃器量身定制的知識蒸餾方法，稱為 PlanKD 。首先，本文提出了一個基於資訊瓶頸原理[2]的策略，其目標是提取包含最少且足夠規劃資訊的與規劃相關的特徵。具體來說，本文最大化提取的與規劃相關特徵和本文定義的規劃狀態的真值之間的互信息，同時最小化提取特徵和中間特徵映射之間的互信息。這項策略使本文能夠只在中間層提取關鍵的與規劃相關的信息，從而增強學生模型的有效性。其次，為了動態辨識關鍵 waypoints 並如實地模仿它們，本文採用注意力機制[38]計算每個 waypoints 及其在鳥瞰圖（BEV）中與關聯上下文之間的注意力權重。為了在蒸餾過程中促進對安全關鍵 waypoints 的準確模仿，本文設計了一個 safety-aware ranking loss ，鼓勵對於靠近移動障礙物的 waypoints 給予更高的注意力權重。相應地，學生規劃器的安全性可以顯著增強。如圖1所示的證據顯示，透過本文的 PlanKD，學生規劃器的駕駛得分可以顯著提高。此外，本文的方法可以將參考時間降低約50%，同時保持與教師規劃器在 Town05 Long Benchmark 上相當的效能。

圖1. 在 Town05 Long Benchmark [31]上，隨著參數數量的減少，InterFuser[33] 效能下降的示意圖。透過利用本文的 PlanKD ，可以提升緊湊型運動規劃器的性能，並且顯著降低參考時間。推理時間在伺服器上的 GeForce RTX 3090 GPU 上進行評估。

圖2. 本文的 PlanKD 框架示意圖。 PlanKD 由兩個模組組成：一個與規劃相關的特徵蒸餾模組，透過資訊瓶頸（IB）從中間特徵映射中提取與規劃相關的特徵；一個safety-aware waypoint-attentive 蒸餾模組，動態確定關鍵waypoints ，並從中提取知識以增強整體安全性。

實驗結果：

圖3. 在不同駕駛場景下，safety-aware 注意力權重的視覺化。綠色塊代表自車（ego-vehicle），黃色塊代表其他道路使用者（例如汽車、自行車）。一個 waypoint 的顏色越紅，它的注意力權重就越高。

總結：

本文提出了 PlanKD，這是一種為壓縮端到端運動規劃器量身定制的知識蒸餾方法。所提出的方法可以透過資訊瓶頸學習與規劃相關的特徵，以實現有效的特徵蒸餾。此外，本文設計了一個 safety-aware waypoint-attentive 蒸餾機制，以適應性地決定每個 waypoint 對 waypoint 蒸餾的重要性。廣泛的實驗驗證了本文方法的有效性，證明了 PlanKD 可以作為資源有限部署的便攜式和安全的解決方案。

引用：

Feng K, Li C, Ren D, et al. On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving[ J]. arXiv preprint arXiv:2403.01238, 2024.