arXiv論文“Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline”，2022年6月，上海AI實驗室和上海交大。
目前的端對端自主駕駛方法要麼基於規劃軌跡運行控制器，要麼直接執行控制預測，這跨越了兩個研究領域。鑑於二者之間潛在的互利，本文主動探討兩個的結合，稱為TCP (Trajectory-guided Control Prediction)。具體來說，整合方法有兩個分支，分別用於軌跡規劃和直接控制。軌跡支路預測未來軌跡，而控制支路涉及一種新的多步驟預測方案，推理當前動作和未來狀態之間的關係。這兩個支路相連，以便控制支路在每個時間步從軌跡支路接收相應的引導。然後將兩個分支輸出融合，實現互補優勢。
在具有挑戰性場景的閉環城市駕駛環境中使用Carla模擬器進行評估。即使單眼攝影機輸入，該方法在CARLA官方排行榜排名第一。原始碼和資料將開源：https://github.com/OpenPerceptionX/TCP
選擇Roach（「End-to-end urban driving by imitating a reinforcement learning coach「. ICCV, 2021）擔任專家。 Roach是由RL訓練的一個簡單模型，具有特權訊息，包括道路、車道、路線、車輛、行人、交通燈和車站，所有這些都被渲染為2D BEV圖像。與手工規則（hand-crafted）專家相比，這種基於學習的專家可以傳遞除直接監督信號外的更多資訊。具體來說，有一個特徵損失，這迫使學生模型的最終輸出頭之前的潛特徵與專家相似。一個價值損失也被加入為學生模型的輔助任務，以預測預期報酬（return）。
如圖所示，整個架構由輸入編碼階段和兩個後續分支組成：輸入影像i透過基於CNN的影像編碼器，例如ResNet，產生特徵地圖F。同時，導航資訊g與當前速度v串聯形成測量輸入m，然後基於MLP的測量編碼器將m作為其輸入並輸出測量特徵jm。編碼特徵然後由兩個分支共享，用於後續軌跡和控制預測。具體來說，控制支路是一種新的多步驟預測設計，具有來自軌跡支路的引導。最後，採用了一種基於場景的融合方案，將兩種輸出範式的最佳者結合起來。
如圖所示，TCP透過學習注意圖來尋求軌跡規劃分支的協助，從編碼的特徵圖中提取重要資訊。兩個分支（軌跡和控制）之間交互作用增強了這兩個密切相關輸出範式的一致性，並進一步闡述了多任務學習（MTL）精神。具體地說，利用影像編碼器F在時間步長t提取2D特徵圖 ，來自控制分支和軌跡分支的相應隱藏狀態用於計算注意圖。
資訊表示特徵被輸入到策略頭中，該策略頭在所有時間t步之間共享，預測相應的控制動作。請注意，對於初始步驟，僅使用測量特徵來計算初始注意圖，並將注意影像特徵與測量特徵結合，形成初始特徵向量。為了確保特徵確實描述該步驟的狀態並包含用於控制預測的重要信息，在每個步驟中添加了一個特徵損失，以便初始特徵向量也接近專家的特徵。
TCP框架有兩種形式的輸出表示：規劃軌跡和預測控制。為了進一步結合，設計了一種基於場景的融合策略，如演算法1偽代碼所示。
具體來說，將α表示為組合權重，其值在0到0.5之間，根據先驗belief，在某種情況下一種表示更適合，透過權重α取平均值，將軌跡和控制預測的結果結合起來，較適合的一個佔據更多權重(1 − α)。請注意，組合權重α確實不需要是常數或對稱的，這意味著可以在不同的情況下將其設定為不同值，或針對特定的控制訊號設定為不同值。在實驗中，根據自車是否轉彎來選擇場景，這意味著，如果轉彎，場景是控制特有的，否則是軌跡特有的。
實驗結果如下：
以上是端對端自動駕駛中軌跡引導的控制預測：一個簡單有力的基線方法TCP的詳細內容。更多資訊請關注PHP中文網其他相關文章！
