自動運転アノテーション業界は 2024 年に世界モデルによって覆されるでしょうか?

1. データ アノテーション (特に BEV タスクに基づく) が直面する問題

BEV トランスフォーマー ベースのタスクの台頭により、データの依存関係の必要性が生じます。ますます重くなり、BEV タスクに基づくアノテーションの重要性がますます高まっています。現時点では、2D-3D 結合障害物アノテーション、再構成された点群クリップに基づく車線ライン、または占有タスク アノテーションのいずれであっても、依然としてコストが高すぎます (2D アノテーション タスクと比較すると、はるかに高価です)。もちろん、業界には大規模なモデルに基づいた半自動または自動のアノテーション スタディも多数あります。一方で、自動運転のデータ収集サイクルは長すぎ、データコンプライアンスに関する一連の問題が発生します。たとえば、平台トラックがカメラを横切るシーンや、街の車線数が多いところから少ないところ、または少ないところから多いところに変化するシーンを収集したい場合、そのようなものを特別に構築する収集スタッフが必要です。風景。

2.24 は世界モデルにとって特異点の瞬間となるでしょうか?

ワールド モデルの概念は広範囲に及び、センサー シミュレーションと考えることができます。 Tesla AI Day で、私はシミュレーション テクノロジーがデータ アノテーションに与える破壊的な影響を初めて目の当たりにしました。

図 1: テスラの自動注釈効果 図 2 4D 再構築効果

このニュースを最初に見たとき、私はとても驚きました。私はその伝統を覆すテスラ電気自動車を発見しました。ますます多くの研究者がこの分野に投資するにつれ、多くの優れた研究結果が得られています。 UniSim の自動運転シミュレーション システムには、リプレイ、動的なオブジェクトの挙動制御、フリービュー レンダリングなどの機能があり、これらの機能はトレーニング中のモデル研究者にとって非常に望ましい機能です。

LIDAR をシミュレートすることもできます。

詳細については、https://zhuanlan.zhihu.com/p/636695025 を参照してください。この方向については、さらに同様の研究があります。

NeuRAD: 自動運転のためのニューラル レンダリング

DrivingGaussian: 周囲の動的自動運転シーンのための複合ガウス スプラッティングメソッドは Nerf に関連しており、パイプライン全体が比較的重いです。もう一つの方向性は、普及に基づく研究の方向性です。良い研究も行われています。

BEVControl: BEV スケッチ レイアウトによるマルチパースペクティブの一貫性を備えたストリートビュー要素の正確な制御

BEVControl: ストリートの正確な制御-BEV スケッチ レイアウトによる複数視点の一貫性のあるビュー要素