Think2Drive: Die erste modellbasierte RL-Methode für autonomes Fahren (Shanghai Jiaotong University)

Laufen Sie mit CARLA v2 auf Expertenniveau.

Titel: Think2Drive: Efficient Reinforcement Learning by Thinking in Latent World Model for Quasi-Realistic Autonomous Driving (in CARLA-v2)

Autorenzugehörigkeit: Shanghai Jiao Tong University

Autonomous Driving (AD) in der realen Welt, insbesondere in Städtefahren ist mit vielen Eckfällen verbunden. Der kürzlich veröffentlichte AD-Simulator CARLA v2 fügt Fahrszenarien 39 gängige Ereignisse hinzu und bietet eine Testplattform, die näher an der Realität ist als CARLA v1. Dies bringt neue Herausforderungen für die Community mit sich. Bisher wurde in der Literatur kein Erfolg mit neuen Szenarien in CARLA v2 gemeldet, da sich die meisten bestehenden Arbeiten auf spezifische Regeln für die Planung stützen müssen, sie können CARLA v2 jedoch nicht in komplexeren Situationen abdecken . Diese Arbeit bildet einen Planer aktiv und direkt aus, in der Hoffnung, flexibel und effektiv mit Eckfällen umgehen zu können, und ist davon überzeugt, dass dies auch die zukünftige Ausrichtung von AD ist. Nach unserem besten Wissen entwickeln wir die erste modellbasierte Reinforcement-Learning-Methode namens Think2Drive für AD mit einem Weltmodell zum Erlernen der Übergänge der Umgebung, das dann als neuronaler Simulator zum Trainieren des Planers fungiert. Dieses Paradigma verbessert die Trainingseffizienz aufgrund des niedrigdimensionalen Zustandsraums und der parallelen Berechnung von Tensoren im Weltmodell erheblich.

Dadurch konnte Think2Drive nach drei Tagen Training auf einer einzelnen A6000-GPU auf Expertenniveau laufen. Für CARLA v2 wurde nach unserem besten Wissen kein Erfolg (100 % Routenabschluss) gemeldet miteinander ausgehen. ). Außerdem wird CornerCase-Repository vorgeschlagen, ein Benchmark, der die Bewertung von Fahrmodellen anhand von Szenarien unterstützt. Darüber hinaus wird eine neue ausgewogene Metrik zur Bewertung der Leistung vorgeschlagen, einschließlich Streckenabschluss, Anzahl der Verstöße und Szenendichte, sodass Fahrbewertungen mehr Informationen über die tatsächliche Fahrleistung liefern können.

Die Versuchsergebnisse

stehen am Ende

Willkommen in unserem Lager! Es deckt viele technische Bereiche ab, darunter BEV, multimodale Fusion, Fahrzeugbelegungserkennung, visuelle Wahrnehmung mit Millimeterwellenradar, Spurlinienerkennung und 3D-Wahrnehmung usw. Wir teilen auch Rezensionen und Artikel zu Online-Karten, Multisensor-Kalibrierung, Nerf, Großmodellen, Planungskontrolle und Flugbahnvorhersage. Ich hoffe, dass Ihnen unsere Inhalte gefallen, und vergessen Sie nicht, unser Lager zu markieren und ihm zu folgen, um weitere spannende Informationen zu erhalten! Danke für Ihre Unterstützung!