本文經自動駕駛之心公眾號授權轉載，轉載請聯絡來源。
原標題：MotionLM: Multi-Agent Motion Forecasting as Language Modeling
論文連結：https://arxiv.org/pdf/2309.16534.pdf
#作者單位： Waymo
會議：ICCV 2023
#論文想法：
##對於自動駕駛車輛安全規劃來說，可靠地預測道路代理未來行為是至關重要的。本研究將連續軌跡表示為離散運動令牌序列，並將多智能體運動預測視為語言建模任務。我們提出的模型MotionLM有以下幾個優點：首先，它不需要使用錨點或顯式潛變數來最佳化學習多模態分佈。相反，我們利用標準的語言建模目標，最大化序列令牌的平均對數機率。其次，我們的方法避免了事後交互啟發法，其中個體代理軌跡生成是在交互評分之後進行的。相反，MotionLM在單一自回歸解碼過程中產生了互動式代理未來的聯合分佈。此外，模型的順序分解可以實現時間上的因果條件推論。我們提出的方法在Waymo Open Motion Dataset上取得了新的最先進性能，排名第一於互動式挑戰排行榜
主要貢獻：
在這在篇文章中，我們將多智能體運動預測作為語言建模任務來討論。我們引入了時間因果解碼器，對經過因果語言建模損失訓練的離散運動令牌進行解碼
本文將結合模型中的取樣和簡單的rollout 聚合方案，以提高聯合軌蹟的加權模式識別能力。我們透過Waymo Open Motion Dataset 互動預測挑戰中的實驗，證明了這項新的方法在排名聯合mAP 指標上提高了6%，達到了最先進的性能水平
本文對本文的方法進行了廣泛的消融實驗，並對它的時間因果條件預測進行了分析，這在很大程度上是目前的聯合預測模型所不支持的。
網路設計：
本文的目標是以一種通用的方式對多智能體互動上的分佈建模，這種分佈可以應用於不同的下游任務，包括最低限度的、聯合的和條件預測。為了實現這一目標，需要一個有表現力的生成框架，能夠捕捉到駕駛場景中的多種形態。此外，本文在這裡考慮保存時間依賴性；即，在本文的模型中，推理遵循一個有向無環圖，每個節點的父節點在時間上較早，子節點在時間上較晚，這使得條件預測更接近因果幹預，因為它消除了某些虛假的相關性，否則就會導致不服從時間因果關係。本文觀察到，不保留時間依賴關係的聯合模型可能在預測實際agent反應方面的能力有限，這是規劃中的關鍵用途。為此，本文利用了未來解碼器的自回歸分解，其中代理的運動tokens有條件地依賴所有先前採樣的tokens，並且軌跡按順序推出
圖1。本文的模型自回歸地為一組代理程式產生離散運動tokens序列，以產生一致的互動式軌跡預測。
請看圖2，這是MotionLM的架構
#本文首先將與每個建模代理相關的異質場景特徵(左)編碼為形狀R、N、·、H的場景嵌入。其中，R為首次推出(rollouts)的數量，N為聯合建模的代理數量，H為每次嵌入的維數。在推理過程中，為了並行取樣，本文在批次維度上重複嵌入R次。接下來，一個軌跡解碼器以一種時間因果的方式(中心)為多個代理推出(rolls out) T 個離散運動tokens。最後，透過使用非最大抑制初始化的k-means聚類的簡單聚合，可以恢復 rollouts 典型模式(右圖)。
圖3。展示了三個WOMD場景的前兩種預測聯合推出(joint rollout)模式。
顏色梯度表示了從t = 0秒到t = 8秒的時間變化。聯合模式由綠色過渡到藍色，次聯合模式由橙色過渡到紫色的機率最大。我們觀察到了三種類型的交互：相鄰車道中的智能體會根據變換車道時間給予變換車道智能體讓行（左側），行人會根據車輛的進度走在過往車輛後面（中間），轉彎車輛要么會給過路的騎車人讓路（最可能的模式），要么會在騎車人接近之前轉彎（次要模式）（右側）
請看圖4。這張圖展示了聯合推出（左側）、幹預後因果貝葉斯網絡（中間）和因果條件反射（右側）的因果貝葉斯網絡表示
#實線表示時間上的因果相關性，而虛線表示因果訊息流。沒有時間依賴限制的模型將支持因果條件作用，但不支持時間因果條件作用，這在試圖預測agent反應時可能是有問題的。
實驗結果：
#Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534
原文連結：https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A
#
以上是MotionLM：多智能體運動預測的語言建模技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！
