SIMPL:用於自動駕駛的簡單高效的多智能體運動預測基準
原標題:SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for Autonomous Driving
論文連結:https://arxiv.org/pdf/2402.02519.pdf
#程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPL作者單位:香港科技大學大疆 #### ##論文想法:#########本文提出了一種用於自動駕駛車輛的簡單高效的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-centric) 的方法(精度高但需要重複計算)和以場景為中心(scene-centric) 的方法(精度和通用性受到影響)不同,SIMPL 可以為所有相關交通參與者提供即時、準確的運動預測。為了提高準確性和推理速度,本文提出了一個緊湊而高效的全局特徵融合模組,該模組以對稱方式執行定向訊息傳遞,使網路能夠在單次前饋傳遞中預測所有道路使用者的未來運動,並減輕視點移動所導致的精度損失。此外,本文研究了在軌跡解碼中使用 Bernstein basis polynomials 進行連續軌跡參數化,允許在任何所需時間點評估狀態及其高階導數,這對於下游規劃任務很有價值。作為強大的基線,與其他最先進的方法相比,SIMPL 在 Argoverse 1 和 2 運動預測基準上表現出極具競爭力的性能。此外,其輕量級設計和低推理延遲使 SIMPL 具有高度可擴展性,並有望用於現實世界的機載部署。 #########網路設計:#########預測周圍交通參與者的運動對自動駕駛汽車至關重要,尤其是在下游決策和規劃模組中。準確預測意圖和軌跡將提高安全性和乘坐舒適性。 ######對於基於學習的運動預測,最重要的主題之一是上下文表示。早期的方法通常將周圍場景表示為多通道鳥瞰影像 [1]–[4]。相較之下,最近的研究越來越多地採用向量化場景表示[5]-[13],其中使用帶有地理座標的點集或多段線(polylines) 來標註位置和幾何形狀,從而提高保真度並擴大感受野。然而,對於光柵化和向量化表示,都存在一個關鍵問題:我們應該如何為所有這些元素選擇合適的參考系?一種直接的方法是描述共享座標系(以場景為中心)內的所有實例,例如以自動駕駛車輛為中心的座標系,並直接使用座標作為輸入特徵。這使我們能夠在一次前饋傳遞中對多個目標代理進行預測 [8, 14]。然而,使用全域座標作為輸入,通常會在單一前饋傳遞中對多個目標代理進行預測 [8, 14]。然而,使用全域座標作為輸入(通常在很大範圍內變化)將大大加劇任務的固有複雜性,導致網路效能下降和對新場景的適應性有限。為了提高準確性和穩健性,常見的解決方案是根據目標代理人的當前狀態對場景上下文進行歸一化處理 [5, 7, 10]-[13](以代理為中心)。這意味著必須對每個目標代理重複執行歸一化過程和特徵編碼,從而獲得更好的效能,但代價是冗餘計算。因此,有必要探索一種能夠有效編碼多個目標的特徵,同時保持對視角(perspective) 變化的穩健性的方法。 ######對於運動預測的下游模組,例如決策和運動規劃,不僅需要考慮未來位置,還需要考慮航向、速度和其他高階導數。例如,周圍車輛的預測航向在塑造未來時空佔用方面發揮關鍵作用,這是確保安全和穩健的運動規劃的關鍵因素[15, 16]。此外,在不遵守物理約束的情況下獨立預測高階量可能會導致預測結果不一致[17, 18]。例如,儘管速度為零,但它可能會產生位置位移,從而導致規劃模組混亂。 ######本文介紹了一種名為SIMPL(簡單且高效的運動預測基準)的方法,用於解決自動駕駛系統中多智能體軌跡預測的關鍵問題。此方法首先採用以實例為中心的場景表示,然後引入了symmetric fusion Transformer(SFT)技術,能夠在單次前饋傳遞中有效地預測所有代理的軌跡,同時保持視角不變性的準確性和穩健性。與其他基於對稱情境融合的方法相比,SFT更簡單、更輕量級且更易實現,適合在車載環境中部署使用。 ######其次,本文引入了一種基於 Bernstein basis polynomial(也稱為 Bezier curve)的預測軌蹟的新穎參數化方法。這種連續表示確保了平滑性,並能夠在任何給定時間點輕鬆評估精確狀態及其高階導數。本文的實證研究表明,與估計 monomial basis polynomials 的係數相比,學習預測 Bezier curves 的控制點更有效且數值穩定。 ###
最後,所提出的元件被很好地整合到一個簡單而高效的模型中。本文在兩個大型運動預測資料集上評估了所提出的方法[22, 23],實驗結果表明,儘管 SIMPL 具有簡化的設計,但與其他最先進的方法相比仍具有很強的競爭力。更重要的是,SIMPL透過較少的可學習參數和較低的推理延遲實現了高效的多智能體軌跡預測,而沒有犧牲量化性能,這對於真實世界的機載部署來說是充滿希望的。本文也強調,作為一個強大的基線,SIMPL 具有出色的可擴展性。簡潔的架構便於與最新的運動預測進展直接整合,為進一步提高整體表現提供了機會。
圖 1:複雜駕駛場景中多智能體運動預測的圖示。本文的方法能夠即時地同時為所有相關代理程式產生合理的假設。自車和其他車輛分別以紅色和藍色顯示。根據時間戳記使用漸層顏色來視覺化預測軌跡。請參考附帶的影片以了解更多範例。
圖 2:SIMPL 示意圖。本文利用盡可能簡單的網路架構來證明其有效性。語意實例的局部特徵由簡單的編碼器處理,而實例間特徵則保留在相對位置嵌入中。多模態軌跡預測結果由運動解碼器在提出的 symmetric feature Transformer 之後產生。
圖 3:相對位姿計算示意圖。
圖 4:所提出的 L 層 symmetric fusion Transformer (SFT) 的圖示。實例 tokens 和相對位置嵌入(RPE)在每個SFT層中都會循環更新。
圖 5:2D septic Bezier curve(左)。
實驗結果:
##總結:
以上是SIMPL:用於自動駕駛的簡單高效的多智能體運動預測基準的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undress AI Tool
免費脫衣圖片

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

寫在前面&筆者的個人理解三維Gaussiansplatting(3DGS)是近年來在顯式輻射場和電腦圖形學領域出現的一種變革性技術。這種創新方法的特點是使用了數百萬個3D高斯,這與神經輻射場(NeRF)方法有很大的不同,後者主要使用隱式的基於座標的模型將空間座標映射到像素值。 3DGS憑藉其明確的場景表示和可微分的渲染演算法,不僅保證了即時渲染能力,而且引入了前所未有的控制和場景編輯水平。這將3DGS定位為下一代3D重建和表示的潛在遊戲規則改變者。為此我們首次系統性地概述了3DGS領域的最新發展與關

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。自動駕駛中的邊緣場景"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件

新標題:Sparse4Dv3:推進端到端的3D檢測和追蹤技術論文連結:https://arxiv.org/pdf/2311.11722.pdf需要重新寫的內容是:程式碼連結:https://github.com/linxuewu/ Sparse4D重寫的內容:作者所屬單位為地平線公司論文想法:在自動駕駛感知系統中,3D偵測與追蹤是兩項基本任務。本文基於Sparse4D框架更深入研究了這個領域。本文引入了兩個輔助訓練任務(時序實例去雜訊-TemporalInstanceDenoising和品質估計-Q

不要改變原內容的意思,微調內容,重寫內容,不要續寫。 「分位數迴歸滿足此需求,提供具有量化機會的預測區間。它是一種統計技術,用於模擬預測變數與反應變數之間的關係,特別是當反應變數的條件分佈命令人感興趣時。 ⼀組迴歸變數X與被解釋變數Y的分位數之間線性關係的建模⽅法。現有的迴歸模型其實是研究被解釋變數與解釋變數之間關係的一種方法。他們關註解釋變數與被解釋變數之間的關

原文標題:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving論文連結:https://arxiv.org/pdf/2402.02519.pdf程式碼連結:https://github.com/HKUST-Aerial-Robotics/SIMPLobotics單位論文想法:本文提出了一種用於自動駕駛車輛的簡單且有效率的運動預測基線(SIMPL)。與傳統的以代理為中心(agent-cent

0.寫在前面&&個人理解自動駕駛系統依賴先進的感知、決策和控制技術,透過使用各種感測器(如相機、光達、雷達等)來感知周圍環境,並利用演算法和模型進行即時分析和決策。這使得車輛能夠識別道路標誌、檢測和追蹤其他車輛、預測行人行為等,從而安全地操作和適應複雜的交通環境。這項技術目前引起了廣泛的關注,並認為是未來交通領域的重要發展領域之一。但是,讓自動駕駛變得困難的是弄清楚如何讓汽車了解周圍發生的事情。這需要自動駕駛系統中的三維物體偵測演算法可以準確地感知和描述周圍環境中的物體,包括它們的位置、

軌跡預測在自動駕駛中承擔著重要的角色,自動駕駛軌跡預測是指透過分析車輛行駛過程中的各種數據,預測車輛未來的行駛軌跡。作為自動駕駛的核心模組,軌跡預測的品質對於下游的規劃控制至關重要。軌跡預測任務技術堆疊豐富,需熟悉自動駕駛動/靜態感知、高精地圖、車道線、神經網路架構(CNN&GNN&Transformer)技能等,入門難度很高!許多粉絲期望能夠盡快上手軌跡預測,少踩坑,今天就為大家盤點下軌跡預測常見的一些問題和入門學習方法!入門相關知識1.預習的論文有沒有切入順序? A:先看survey,p

目標偵測在自動駕駛系統當中是一個比較成熟的問題,其中行人偵測是最早得以部署演算法之一。在多數論文當中已經進行了非常全面的研究。然而,利用魚眼相機進行環視的距離感知相對來說研究較少。由於徑向畸變大,標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述,我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示,並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優於其他模型,並同時在用於自動駕駛的Valeo魚眼相機資料集上實現了49.5%的mAP
