最晚明年上半年落地L3：理想端對端自動駕駛，性能大幅提升

最近一段時間，生成式 AI 技術興起，眾多造車新勢力都在探索視覺語言模型與世界模型的新方法，端到端的智慧駕駛新技術似乎成為了共同的研究方向。上個月，理想汽車發布了端到端 + VLM 視覺語言模型 + 世界模型的第三代自動駕駛技術架構。此架構已推送千人內測，將智慧駕駛行為擬人化，並提高了 AI 的資訊處理效率，增強了對複雜路況的理解和應對能力。李想曾在公開的分享中表示，面對大部分演算法難以辨識和處理的罕見駕駛環境，VLM（Visual Language Model）即視覺語言模型可以系統地提升自動駕駛的能力，這種方法從理論上實現了突破。

新一代的自動駕駛系統大幅提高了能力上限—— 讓AI 可以應對許多過去難以解決的情況，也降低了門檻—— 減少了技術研發團隊規模的需求，有望讓更多人在不久的將來獲得大幅提升的體驗。
這套自動駕駛技術架構受諾貝爾獎得主丹尼爾・卡尼曼（Daniel Kahneman）快慢系統理論的啟發，在自動駕駛領域模擬人類的思考和決策過程也需要“快系統”與“慢系統”進行協同。其中：
・ 快系統（系統1）善於處理簡單任務，是人類基於經驗和習慣形成的直覺；在自動駕駛中以端到端大模型構成，包含感知與規劃，足以應對駕駛車輛時95% 的常規場景。
・ 慢系統（系統2）是人類透過更深入的理解與學習形成的邏輯推理、複雜分析和計算能力；在自動駕駛系統中主要是VLM 模型，它在駕駛車輛時用於解決複雜甚至未知的交通場景，佔日常駕駛的約5% 場景。
上週，在理想汽車北京研發總部舉行的活動中，理想汽車智能駕駛副總裁郎咸朋強調，目前理想的智能駕駛已經全面切入端到端+ 大模型方案，這讓車輛已能夠理解複雜路況和交通規則。
「不論端到端還是傳統感知決策模型，都需要大量資料進行訓練。一個潛在問題是，如果遇到沒見過的場景，系統就不能很好的工作，」郎鹹朋表示。 「我們正在探索讓車輛像人一樣思考和決策的能力。」

理想汽車北京總部。

自去年下半年起，理想開始調整戰略，轉換軌道。今年 2 月，在清華大學交叉資訊研究所、理想汽車提交的 DriveVLM 論文中，研究人員應用最近生成式 AI 領域興起的視覺語言模型（VLM），在視覺理解和推理方面表現出了非凡的能力。

在業界，這是第一個提出自動駕駛快慢系統的工作，其方法充分結合了主流自動駕駛pipeline 和具備邏輯思考的大模型pipeline，並第一個完成了端測部署的大模型工作（基於英偉達Orin 平台）。

DriveVLM 系統

DriveVLM 包含一個 Chain-of-Though (CoT) 流程，具有三個關鍵模組：

1. 場景描述：用語言描述駕駛環境並識別關鍵對象。
2. 場景分析：深入研究關鍵對象的特徵及其對自我車輛的影響。
3. 分層規劃：從元動作和決策描述到路徑點逐步製定計劃。

這些模組對應於傳統自動駕駛系統流程中的感知、預測和規劃組件，差異在於它們處理對象感知、意圖級預測和任務級規劃的能力，這些過去是極具挑戰性的。

技術驗證

理想驗證技術在長尾場景有效性：

• 拆解真實環境資料
• 利用產生模型補充新視角
• 自訂實際應用

理想汽車的端到端模型和VLM 模型即時運行：

端到端模型：幀率較高

VLM 模型：參數量較大，幀數較低

• 在複雜城市在場景中，VLM 在無法決策的情況下發揮作用，向端到端模型傳遞決策結果和軌跡。

端到端方法

端到端方法成為技術分水嶺，標誌著真正使用 AI 的開始。

新一代AI 模型

新一代AI 模型可擔任出題人：

篩選出達到專車司機標準用戶的數據作為「真題」

結合世界模型生成「模擬題」

算力挑戰

• The deployment of models such as VLM on the vehicle side faces computing power challenges:

  • Keeping the number of parameters optimal
  • Optimizing engineering to improve decision-making latency

  Competition Outlook

  Tesla FSD is about to enter the domestic smart driving field Entering a new competition stage:

  • Ideal car goal: end-to-end + VLM autonomous driving mass production delivery

以上是最晚明年上半年落地L3：理想端對端自動駕駛，性能大幅提升的詳細內容。更多資訊請關注PHP中文網其他相關文章！