自動駕駛場景中的長尾問題怎麼解決？

昨天面試被問到了是否做過長尾相關的問題，所以就想著簡單總結一下。

自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況，即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決，剩下的5%的長尾問題，逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。

自動駕駛中的邊緣場景

"長尾"是指自動駕駛汽車（AV）中的邊緣情況，邊緣情況是發生機率較低的可能場景。這些罕見的事件因為出現率較低且比較特殊，因此在資料集中經常被遺漏。 雖然人類天生擅長處理邊緣情況，但人工智慧卻不是這樣。可能引起邊緣場景的因素有：有突起的卡車或異形車輛、車輛急轉彎、在擁擠的人群中行駛、亂穿馬路的行人、極端天氣或極差光照條件、打傘的人，人在車後搬箱子、樹倒在路中央等等。

例子：

1. 放透明薄膜在車前，透明物體是否可以被識別，車輛是否會減速
2. 雷射雷達公司Aeye做了一個挑戰，自動駕駛如何處理一個漂浮在路中央的氣球。 L4級無人駕駛汽車往往偏向避免碰撞，在這種情況下,它們會採取規避動作或踩剎車，來避免不必要的事故。而氣球是個軟性的物體，可以直接無障礙的通過。

解決長尾問題的方法

合成資料是個大概念，而感知資料(nerf, camera/sensor sim)只是其中一個比較出眾的分支。在業界，合成資料在longtail behavior sim早已成為標準答案。合成數據，或說sparse signal upsampling是解決長尾問題的第一性解法之一。長尾能力是模型泛化能力與資料內含資訊量的乘積。

特斯拉解決方案：

用合成資料（synthetic data）產生邊緣場景來擴充資料集
資料引擎的原理：首先，檢測現有模型中的不準確之處，隨後將此類案例添加到其單元測試中。它還收集更多類似案例的數據來重新訓練模型。這種迭代方法允許它捕捉盡可能多的邊緣情況。製作邊緣案例的主要挑戰是收集和標註邊緣情況的成本比較高，再一個就是收集行為有可能非常危險甚至無法實現。

NVIDIA解決方案：

NVIDIA最近提出了一種名為「模仿訓練」的策略方法（下圖）。在這種方法中，真實世界中的系統故障案例在模擬環境中被重現，然後將它們用作自動駕駛汽車的訓練資料。重複此循環，直到模型的效能收斂。 這種方法的目標是透過不斷模擬故障場景來提高自動駕駛系統的穩健性。模擬訓練使得開發者能夠更好地了解和解決現實世界中不同的故障情況。此外，它還可以快速產生大量的訓練數據，以便改善模型的效能。 透過重複這個循環，

以下實際場景中由於卡車高度過高（上）、車輛凸出部分遮擋後車（下）導致模型輸出時車框遺失，成為邊緣場景，透過NVIDIA改進後的模型可以在此邊緣情況下產生正確的邊界框。

一些思考：

Q：合成資料是否有價值？

A: 這裡的價值分為兩種， 第一種是測試有效性， 即在生成的場景中測試是否能發現探測演算法中的一些不足， 第二種是訓練有效性， 即產生的場景用於演算法的訓練是否也能夠有效提升效能。

Q: 如何使用虛擬資料提升效能？虛擬資料真的有必要加入訓練集中去嗎？加進去了是否會產生效能回退？

A: 這些問題都很難回答， 於是產生了許多不一樣的提升訓練精準度的方案:

• 混合訓練:在真實數據中添加不同比例的虛擬數據， 以求性能提升，
• Transfer Learning:使用真實數據預訓練好的模型，然後Freeze 某些layer， 再新增混合資料進行訓練。
• Imitation Learning: 針對性設計一些模型失誤的場景， 並由此產生一些數據，進而逐步提升模型的性能， 這一點也是非常自然的。在實際的數據收集和模型訓練中， 也是針對性採集一些補充數據， 進而提升性能。

一些擴充：

為了徹底評估 AI 系統的穩健性，單元測試必須包括一般情況和邊緣情況。然而，某些邊緣案例可能無法從現有的真實世界資料集中獲得。為此，人工智慧從業者可以使用合成數據進行測試。

一個例子是ParallelEye-CS，這是用於測試自動駕駛汽車視覺智慧的合成資料集。與使用真實世界資料相比，創建合成資料的好處是可以對每個影像的場景進行多維度控制。

合成資料將作為生產 AV 模型中邊緣情況的可行解決方案。它用邊緣案例補充現實世界的資料集，確保 AV 即使在異常事件下也能保持穩健。它也比真實世界的數據更具可擴展性，更不容易出錯，而且更便宜。