Weitere Beschleunigung der Umsetzung: Komprimierung des End-to-End-Bewegungsplanungsmodells des autonomen Fahrens

Originaltitel: On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

Papierlink: https://arxiv.org/pdf/2403.01238.pdf

Codelink: https://github .com/tulerfeng/PlanKD

Autorenzugehörigkeit: Beijing Institute of Technology ALLRIDE.AI Hebei Provincial Key Laboratory of Big Data Science and Intelligent Technology

Thesis-Idee

Ein End-to-End-Bewegungsplanungsmodell ausgestattet mit einem tiefen neuronalen Netzwerk, das großes Potenzial für die Verwirklichung vollständig autonomen Fahrens zeigt. Zu große neuronale Netze machen sie jedoch für den Einsatz auf ressourcenbeschränkten Systemen ungeeignet, die zweifellos mehr Rechenzeit und Ressourcen erfordern. Um dieses Problem anzugehen, bietet die Wissensdestillation einen vielversprechenden Ansatz, indem Modelle komprimiert werden, indem ein kleineres Schülermodell von einem größeren Lehrermodell lernt. Dennoch ist bisher unerforscht, wie die Wissensdestillation zur Komprimierung von Bewegungsplanern eingesetzt werden kann. In diesem Artikel wird PlanKD vorgeschlagen, das erste Wissensdestillations-Framework, das auf komprimierende End-to-End-Bewegungsplaner zugeschnitten ist. Erstens: Da Fahrszenarien von Natur aus komplex sind und häufig Informationen enthalten, die für die Planung irrelevant oder sogar verrauscht sind, wäre die Übertragung dieser Informationen für den studentischen Planer nicht von Vorteil. Daher entwirft dieses Papier eine Strategie, die auf Informationsengpässen basiert und nur planungsbezogene Informationen destilliert, anstatt alle Informationen wahllos zu migrieren. Zweitens können unterschiedliche Wegpunkte in der ausgegebenen geplanten Flugbahn unterschiedlich wichtig für die Bewegungsplanung sein, und geringfügige Abweichungen bei einigen kritischen Wegpunkten können zu Kollisionen führen. Daher entwirft dieser Artikel ein sicherheitsbewusstes Wegpunkt-aufmerksames Destillationsmodul, um verschiedenen Wegpunkten basierend auf ihrer Wichtigkeit adaptive Gewichtungen zuzuweisen, um Schülermodelle zu ermutigen, kritischere Wegpunkte genauer zu imitieren und so die Gesamtsicherheit zu verbessern. Experimente zeigen, dass unser PlanKD die Leistung kleiner Planer deutlich verbessern und ihre Referenzzeit deutlich verkürzen kann.

Hauptbeiträge:

1. Dieses Papier stellt den ersten Versuch dar, dedizierte Wissensdestillationsmethoden zu erforschen, um End-to-End-Bewegungsplaner beim autonomen Fahren zu komprimieren.
2. Dieses Papier schlägt ein allgemeines und innovatives Framework PlanKD vor, das es studentischen Planern ermöglicht, planungsbezogenes Wissen in der mittleren Ebene zu erben und eine genaue Zuordnung wichtiger Wegpunkte zur Verbesserung der Sicherheit zu ermöglichen.
3. Experimente zeigen, dass PlanKD in diesem Artikel die Leistung kleiner Planer erheblich verbessern kann und dadurch eine tragbarere und effizientere Lösung für die Bereitstellung mit begrenzten Ressourcen bietet.

Netzwerkdesign:

End-to-End-Bewegungsplanung hat sich in letzter Zeit als vielversprechende Richtung im autonomen Fahren herausgestellt [3, 10, 30, 31, 40, 47, 48], die rohe Sensordaten direkt abbildet geplante Aktionen. Dieses lernbasierte Paradigma weist die Vorteile auf, dass die starke Abhängigkeit von handgefertigten Regeln verringert und die Fehleranhäufung innerhalb komplexer Kaskadenmodule (normalerweise Erkennung, Verfolgung, Vorhersage und Planung) verringert wird (40, 48). Trotz ihres Erfolgs stellt die umfangreiche Architektur tiefer neuronaler Netze in Bewegungsplanern Herausforderungen für den Einsatz in ressourcenbeschränkten Umgebungen dar, beispielsweise bei autonomen Lieferrobotern, die auf die Rechenleistung von Edge-Geräten angewiesen sind. Darüber hinaus sind selbst in konventionellen Fahrzeugen die Rechenressourcen der Bordgeräte oft begrenzt [34]. Daher erfordert der direkte Einsatz von Deep- und Large-Planern zwangsläufig mehr Rechenzeit und Ressourcen, was es schwierig macht, schnell auf potenzielle Gefahren zu reagieren. Um dieses Problem zu lindern, besteht ein einfacher Ansatz darin, die Anzahl der Netzwerkparameter durch die Verwendung eines kleineren Backbone-Netzwerks zu reduzieren. In diesem Artikel wird jedoch festgestellt, dass die Leistung des End-to-End-Planungsmodells stark abnimmt, wie in Abbildung 1 dargestellt. Obwohl beispielsweise die Inferenzzeit von InterFuser [33], einem typischen End-to-End-Bewegungsplaner, von 52,9 Mio. auf 26,3 Mio. reduziert wurde, sank auch sein Fahrwert von 53,44 auf 36,55. Daher ist es notwendig, eine Modellkomprimierungsmethode zu entwickeln, die für eine durchgängige Bewegungsplanung geeignet ist.

Um einen tragbaren Bewegungsplaner zu erhalten, verwendet dieser Artikel die Wissensdestillation [19], um das End-to-End-Bewegungsplanungsmodell zu komprimieren. Die Wissensdestillation (KD) wurde umfassend zur Modellkomprimierung bei verschiedenen Aufgaben untersucht, beispielsweise bei der Objekterkennung [6, 24], der semantischen Segmentierung [18, 28] usw. Die Grundidee dieser Arbeiten besteht darin, ein vereinfachtes Schülermodell zu trainieren, indem Wissen von einem größeren Lehrermodell geerbt wird, und das Schülermodell während der Bereitstellung als Ersatz für das Lehrermodell zu verwenden. Obwohl diese Studien erhebliche Erfolge erzielt haben, führt ihre direkte Anwendung auf die durchgängige Bewegungsplanung zu suboptimalen Ergebnissen. Dies ist auf zwei neue Herausforderungen zurückzuführen, die mit Bewegungsplanungsaufgaben einhergehen: (i) Fahrszenarien sind von Natur aus komplex [46] und umfassen mehrere dynamische und statische Objekte, komplexe Hintergrundszenen sowie vielfältige Straßen- und Verkehrsinformationen, einschließlich Informationen. Allerdings sind nicht alle dieser Informationen für die Planung nützlich. Beispielsweise sind Hintergrundgebäude und entfernte Fahrzeuge für die Planung irrelevant oder sogar störend [41], während in der Nähe befindliche Fahrzeuge und Ampeln einen deterministischen Einfluss haben. Daher ist es wichtig, automatisch nur planungsrelevante Informationen aus dem Lehrermodell zu extrahieren, was mit bisherigen KD-Methoden nicht möglich ist. (ii) Unterschiedliche Wegpunkte in der Ausgabeplanungstrajektorie haben normalerweise unterschiedliche Bedeutung für die Bewegungsplanung. Wenn Sie beispielsweise an einer Kreuzung navigieren, können Wegpunkte in einer Flugbahn, die sich in der Nähe anderer Fahrzeuge befinden, eine höhere Bedeutung haben als andere Wegpunkte. Denn an diesen Punkten muss das eigene Fahrzeug aktiv mit anderen Fahrzeugen interagieren und schon kleine Abweichungen können zu Kollisionen führen. Eine weitere große Herausforderung bisheriger KD-Methoden ist jedoch die adaptive Bestimmung und genaue Nachahmung wichtiger Wegpunkte.

Um die beiden oben genannten Herausforderungen anzugehen, schlägt dieses Papier die erste Methode zur Wissensdestillation vor, die auf End-to-End-Bewegungsplaner im komprimierten autonomen Fahren zugeschnitten ist: PlanKD. Zunächst wird in diesem Artikel eine Strategie vorgeschlagen, die auf dem Informationsengpassprinzip [2] basiert und deren Ziel darin besteht, planungsbezogene Merkmale zu extrahieren, die minimale und ausreichende Planungsinformationen enthalten. Insbesondere maximiert dieses Dokument die gegenseitige Information zwischen den extrahierten planungsbezogenen Merkmalen und den wahren Wert des in diesem Dokument definierten Planungszustands und minimiert gleichzeitig die gegenseitige Information zwischen den extrahierten Merkmalen und Zwischenmerkmalskarten. Diese Strategie ermöglicht es dieser Arbeit, wichtige planungsrelevante Informationen nur auf der mittleren Ebene zu extrahieren und so die Wirksamkeit des Studentenmodells zu erhöhen. Zweitens verwendet dieser Artikel einen Aufmerksamkeitsmechanismus [38], um jeden Wegpunkt und sein Aufmerksamkeitsgewicht zwischen ihm und dem zugehörigen Kontext in der Vogelperspektive (BEV) zu berechnen, um wichtige Wegpunkte dynamisch zu identifizieren und originalgetreu nachzuahmen. Um die genaue Nachahmung sicherheitskritischer Wegpunkte während der Destillation zu fördern, entwerfen wir einen sicherheitsbewussten Ranking-Verlust, der dazu anregt, Wegpunkten in der Nähe von sich bewegenden Hindernissen ein höheres Aufmerksamkeitsgewicht zu geben. Dadurch kann die Sicherheit der Studienplaner deutlich erhöht werden. Die in Abbildung 1 gezeigten Beweise zeigen, dass die Fahrbewertung von Schülerplanern durch unser PlanKD erheblich verbessert werden kann. Darüber hinaus kann unsere Methode die Referenzzeit um etwa 50 % reduzieren und gleichzeitig eine vergleichbare Leistung wie der Lehrerplaner beim Town05 Long Benchmark beibehalten.

Abbildung 1. Schematische Darstellung der Leistungsverschlechterung von InterFuser[33], wenn die Anzahl der Parameter beim Town05 Long Benchmark abnimmt [31]. Durch den Einsatz unseres PlanKD können wir die Leistung kompakter Bewegungsplaner verbessern und Referenzzeiten erheblich verkürzen. Die Inferenzzeiten werden auf einer GeForce RTX 3090 GPU auf dem Server ausgewertet.

Abbildung 2. Schematische Darstellung des PlanKD-Frameworks dieses Artikels. PlanKD besteht aus zwei Modulen: einem planungsbezogenen Feature-Destillationsmodul, das planungsbezogene Features aus Zwischen-Feature-Karten durch Informationsengpässe (IB) extrahiert; ein sicherheitsbewusstes Wegpunkt-aufmerksames Destillationsmodul, das wichtige Wegpunkte dynamisch bestimmt und daraus Wissen extrahiert die allgemeine Sicherheit verbessern.

Experimentelle Ergebnisse:

Abbildung 3. Visualisierung sicherheitsbewusster Aufmerksamkeitsgewichte in verschiedenen Fahrszenarien. Die grünen Blöcke repräsentieren das Ego-Fahrzeug und die gelben Blöcke repräsentieren andere Verkehrsteilnehmer (z. B. Autos, Fahrräder). Je rötlicher ein Wegpunkt ist, desto höher ist sein Aufmerksamkeitsgewicht.

Zusammenfassung:

Dieses Papier schlägt PlanKD vor, eine Wissensdestillationsmethode, die auf komprimierende End-to-End-Bewegungsplaner zugeschnitten ist. Die vorgeschlagene Methode kann planungsbezogene Merkmale durch Informationsengpässe erlernen, um eine effektive Merkmalsdestillation zu erreichen. Darüber hinaus entwirft dieses Papier einen sicherheitsbewussten Wegpunkt-aufmerksamen Destillationsmechanismus, um adaptiv über die Bedeutung jedes Wegpunkts für die Wegpunktdestillation zu entscheiden. Umfangreiche Experimente bestätigen die Wirksamkeit unseres Ansatzes und zeigen, dass PlanKD als tragbare und sichere Lösung für ressourcenbeschränkte Bereitstellungen dienen kann.

Zitat:

Feng K, Li C, Ren D, et al. On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving[J].