LimSim++: Eine neue Stufe für multimodale Großmodelle im autonomen Fahren

Papiername: LimSim++: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

Projekthomepage: https://pjlab-adg.github.io/limsim_plus/

Einführung in den Simulator

Da das Multimodal Large Language Model ((M)LLM) einen Forschungsboom im Bereich der künstlichen Intelligenz auslöste, rückte seine Anwendung in der autonomen Fahrtechnologie nach und nach in den Mittelpunkt der Aufmerksamkeit. Diese Modelle bieten eine starke Unterstützung für den Aufbau sicherer und zuverlässiger autonomer Fahrsysteme durch leistungsstarkes allgemeines Verständnis und logische Denkfähigkeiten. Obwohl es bestehende Closed-Loop-Simulationsplattformen wie HighwayEnv, CARLA und NuPlan gibt, die die Leistung von LLM beim autonomen Fahren überprüfen können, müssen Benutzer diese Plattformen in der Regel selbst anpassen, was nicht nur die Einsatzschwelle erhöht, sondern auch die begrenzt Eingehende Untersuchung der LLM-Fähigkeiten.

Um diese Herausforderung zu meistern, hat die Intelligent Transportation Platform Group des Shanghai Artificial Intelligence Laboratory **LimSim++** ins Leben gerufen, eine Simulationsplattform für autonomes Fahren mit geschlossenem Regelkreis, die speziell für (M)LLM entwickelt wurde. Der Start von LimSim++ zielt darauf ab, Forschern im Bereich des autonomen Fahrens eine geeignetere Umgebung zu bieten, um das Potenzial von LLM in der autonomen Fahrtechnologie umfassend zu erkunden. Die Plattform kann Szeneninformationen aus Simulationsumgebungen wie SUMO und CARLA extrahieren und verarbeiten und sie in verschiedene von LLM benötigte Eingabeformen umwandeln, einschließlich Bildinformationen, Szenenerkennung und Aufgabenbeschreibung. Darüber hinaus verfügt LimSim++ auch über eine Funktion zur Konvertierung von Bewegungsprimitiven, mit der basierend auf den Entscheidungen von LLM schnell geeignete Fahrtrajektorien generiert werden können, um eine Simulation mit geschlossenem Regelkreis zu erreichen. Noch wichtiger ist, dass LimSim++ eine kontinuierliche Lernumgebung für LLM schafft, die LLM dabei hilft, Fahrstrategien kontinuierlich zu optimieren und die Fahrleistung des Fahreragenten zu verbessern, indem es Entscheidungsergebnisse auswertet und Feedback gibt.

Simulatorfunktionen

LimSim++ verfügt über wichtige Funktionen im Bereich der autonomen Fahrsimulation und bietet eine ideale Closed-Loop-Simulation und kontinuierliche Lernumgebung für (M)LLM-gesteuerte Driver Agents.

• LimSim++ unterstützt die Simulation verschiedener Fahrszenarien wie Kreuzungen, Rampen und Kreisverkehre und stellt so sicher, dass der Fahreragent Herausforderungen bei verschiedenen komplexen Straßenbedingungen annehmen kann. Diese vielfältigen Szeneneinstellungen helfen LLM dabei, ein umfassenderes Fahrerlebnis zu erzielen und seine Anpassungsfähigkeit in realen Umgebungen zu verbessern.
• LimSim++ unterstützt große Sprachmodelle mit mehreren modalen Eingaben. LimSim++ bietet nicht nur eine regelbasierte Generierung von Szeneninformationen, sondern kann auch gemeinsam mit CARLA debuggt werden, um reichhaltige visuelle Eingaben bereitzustellen, um den visuellen Wahrnehmungsanforderungen von (M)LLM beim autonomen Fahren gerecht zu werden.
• LimSim++ konzentriert sich auf kontinuierliche Lernfähigkeiten. LimSim++ integriert Module wie Evaluation, Reflexion und Gedächtnis, um (M)LLM dabei zu helfen, kontinuierlich Erfahrungen zu sammeln und Entscheidungsstrategien während des Simulationsprozesses zu optimieren.

Erstellen Sie Ihren eigenen Treiberagenten

LimSim++ bietet Benutzern eine umfangreiche Benutzeroberfläche, die den Anpassungsanforderungen des Treiberagenten gerecht wird, die Flexibilität der LimSim++-Entwicklung verbessert und den Schwellenwert für die Verwendung senkt.

1. Prompt-Konstruktion

• LimSim++ unterstützt benutzerdefinierte Eingabeaufforderungen, um die Eingabe von Textinformationen in (M)LLM zu ändern, einschließlich Rolleneinstellungen, Aufgabenanforderungen, Szenenbeschreibungen und anderen Informationen.
• LimSim++ bietet Szenenbeschreibungsvorlagen basierend auf dem JSON-Format, sodass Benutzer Eingabeaufforderungen ohne Code ändern können, ohne die spezifische Implementierung der Informationsextraktion berücksichtigen zu müssen.

2. Entscheidungsbewertungsmodul

• LimSim++ bietet eine Basis für die Bewertung von (M)LLM-Entscheidungsergebnissen. Benutzer können Bewertungspräferenzen anpassen, indem sie die Gewichtsparameter ändern.

3. Flexibilität des Frameworks

• LimSim++ unterstützt Benutzer beim Hinzufügen benutzerdefinierter Werkzeugbibliotheken für (M)LLM, wie z. B. Wahrnehmungswerkzeuge, numerische Verarbeitungswerkzeuge usw.

Schnell loslegen

• Schritt 0:SUMO installieren (Version≥v1.15.0, Ubuntu)

sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

• Schritt 1: Laden Sie das LimSim++-Quellcode-Komprimierungspaket herunter und entpacken Sie es und wechseln zum richtigen Zweig

git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

• Schritt 2:Abhängigkeiten installieren (Canda ist erforderlich)

cd LimSimconda env create -f environment.yml

• Schritt 3: Simulation ausführen

• Simulation alleine ausführen

python ExampleModel.py

• LLM für autonomes Fahren nutzen

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

• VLM für autonomes Fahren nutzen

# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

Weitere Informationen finden Sie im Github von LimSim++: https://github.com/PJLab-ADG/LimSim/tree /LimSim_plus, Wenn Sie weitere Fragen haben, stellen Sie diese bitte unter „Probleme“ auf GitHub oder kontaktieren Sie uns direkt per E-Mail!

Wir begrüßen Partner aus Wissenschaft und Industrie, um gemeinsam LimSim++ zu entwickeln und ein Open-Source-Ökosystem aufzubauen!