Wird die Annotationsbranche für autonomes Fahren im Jahr 2024 durch das Weltmodell untergraben?

1. Probleme bei der Datenannotation (insbesondere basierend auf BEV-Aufgaben)

Mit dem Aufkommen von BEV-Transformator-basierten Aufgaben ist auch die Abhängigkeit von Datenannotationen immer wichtiger geworden . Unabhängig davon, ob es sich um 2D-3D-Annotationen für gemeinsame Hindernisse, Fahrspurlinien basierend auf rekonstruierten Punktwolkenclips oder Annotationen für Belegungsaufgaben handelt, sind sie derzeit immer noch zu teuer (im Vergleich zu 2D-Annotationsaufgaben sind sie viel teurer). Natürlich gibt es in der Branche auch viele halbautomatische oder automatisierte Annotationsstudien basierend auf großen Modellen. Andererseits ist der Datenerfassungszyklus für autonomes Fahren zu lang und bringt eine Reihe von Problemen mit der Datenkonformität mit sich. Wenn Sie beispielsweise eine Szene aufnehmen möchten, in der ein Tieflader die Kamera überquert, oder eine Szene, in der sich die Anzahl der Fahrspuren in der Stadt von mehr auf weniger oder von weniger auf mehr ändert, benötigen Sie ein speziell für die Erstellung solcher Aufnahmen zuständiges Team eine Szene.

Wird 2.24 der Singularitätsmoment für das Weltmodell sein?

Das Konzept des Weltmodells deckt einen weiten Bereich ab und kann als Sensorsimulation betrachtet werden. Beim Tesla AI Day wurde ich zum ersten Mal Zeuge der disruptiven Auswirkungen der Simulationstechnologie auf die Datenannotation.

Abbildung 1: Teslas automatisierter AnmerkungseffektAbbildung 2 4D-Rekonstruktionseffekt

Als ich die Nachricht zum ersten Mal sah, war ich sehr überrascht, als hätte ich eine Besonderheit entdeckt, die die Tradition der Tesla-Elektroautos untergräbt. Da immer mehr Forscher in diesem Bereich investieren, sehen wir viele hervorragende Forschungsergebnisse. Das autonome Fahrsimulationssystem von UniSim verfügt über Funktionen wie Wiedergabe, dynamische Objektverhaltenssteuerung und Freiansicht-Rendering. Diese Funktionen sind für jeden Modellforscher, der trainiert, sehr wünschenswert.

Sie können auch Lidar simulieren.

Weitere Informationen finden Sie unter: https://zhuanlan.zhihu.com/p/636695025. Es gibt weitere ähnliche Studien in diese Richtung.

NeuRAD: Neuronales Rendering für autonomes Fahren

DrivingGaussian: Zusammengesetztes Gaußsches Splatting für umgebende dynamische autonome Fahrszenen. Die meisten der oben genannten Methoden beziehen sich auf Nerf, und die gesamte Pipeline ist relativ umfangreich. Es gibt eine andere Richtung, eine Forschungsrichtung, die auf Diffusion basiert. Es wurden auch gute Untersuchungen durchgeführt.

BEVControl: Präzise Steuerung von Street-View-Elementen mit multiperspektivischer Konsistenz über BEV-Skizzen-Layout