Afin de naviguer en toute sécurité dans des scénarios complexes du monde réel, les véhicules autonomes doivent être capables de s'adapter à diverses conditions routières et de prédire les événements futurs. L'apprentissage par renforcement (RL) basé sur des modèles mondiaux est apparu comme une approche prometteuse pour y parvenir en apprenant et en prédisant la dynamique complexe de divers environnements. Cependant, il n’existe pas actuellement de plateforme accessible pour former et tester de tels algorithmes dans des environnements de conduite complexes. Pour combler cette lacune, CarDreamer est présenté ici, la première plateforme d'apprentissage open source conçue spécifiquement pour développer et évaluer des algorithmes de conduite autonome basés sur des modèles mondiaux. Il contient trois composants clés :
1 %) Backbone du modèle mondial (WM) : CarDreamer intègre certains des modèles mondiaux les plus avancés pour simplifier la reproduction des algorithmes RL. Le backbone est découplé des autres parties et communique à l’aide des interfaces Gym standard afin que les utilisateurs puissent facilement intégrer et tester leurs propres algorithmes. L'objectif principal de CarDreamer est de fournir une plate-forme flexible et évolutive qui permet aux chercheurs et aux développeurs d'itérer et de tester rapidement divers algorithmes d'apprentissage par renforcement. La plateforme est basée sur l'idée centrale de WM, qui divise le modèle mondial en deux composantes principales : la perception et la planification. Le composant de perception est chargé de prendre les entrées brutes de l'environnement et de les convertir en
CarDreamer fournit un ensemble hautement configurable de tâches de conduite (2 %) Tâches intégrées : CarDreamer fournit un ensemble hautement configurable de tâches de conduite compatibles avec le Interface de gym et équipée d'une fonction de récompense optimisée empiriquement.
CarDreamer est un kit de développement de mission flexible pour simplifier la création de missions de conduite. La suite facilite la définition des flux de circulation et des itinéraires de véhicules et collecte automatiquement les données de simulation. Le serveur de visualisation permet aux utilisateurs de suivre en temps réel les vidéos de conduite des agents et les mesures de performances via un navigateur. De plus, CarDreamer a mené des études de richesse et de flexibilité pour évaluer les performances et le potentiel de WM en conduite autonome. En raison de la richesse fonctionnelle et de la flexibilité de CarDreamer, l'impact des modes d'observation, de l'observabilité et du partage des intentions du véhicule sur la sécurité et l'efficacité de l'AV est également systématiquement étudié.
Les futurs systèmes de mobilité joueront un rôle central dans les véhicules autonomes, avec de nombreux avantages prometteurs tels que la sécurité et l'efficacité. Ces dernières années, le développement des véhicules autonomes a réalisé de grands progrès. Rien qu’aux États-Unis, les voitures autonomes ont déjà parcouru des millions de kilomètres sur la voie publique. Cependant, parvenir à des véhicules autonomes robustes, capables de naviguer dans des scénarios réels complexes et diversifiés reste un défi à relever. Selon les calculs de la Federal Highway Administration du Département américain des transports, les voitures autonomes ont un taux d’accidents environ deux fois plus élevé que les véhicules conventionnels. Néanmoins, à mesure que la technologie continue de progresser, les taux de collisions pour les voitures autonomes devraient s’améliorer considérablement. Afin d’atteindre une plus grande sécurité, les véhicules autonomes doivent disposer de capacités de perception et de prise de décision plus avancées. En tirant parti d’une technologie de capteurs avancée et d’algorithmes d’apprentissage automatique, les voitures autonomes peuvent identifier et prédire plus précisément le comportement des obstacles et des autres véhicules dans leur environnement. De plus, les véhicules autonomes peuvent améliorer l’efficacité de la circulation en se coordonnant avec les autorités chargées de la circulation. Grâce à l'interconnexion avec les feux de circulation et d'autres installations de circulation, les voitures autonomes peuvent ajuster la vitesse et l'itinéraire en temps réel, réduisant ainsi le trafic.
La fiabilité des voitures autonomes détermine directement la capacité de généralisation du système de conduite autonome dans des scénarios imprévisibles. Les modèles mondiaux (WM), avec leurs excellentes capacités de généralisation, fournissent une solution prometteuse en apprenant la dynamique complexe de l'environnement et en prédisant des scénarios futurs. En particulier, WM apprend un compact latent et code dynamiquement les éléments clés et la dynamique de l'environnement. Cette représentation apprise contribue à une meilleure généralisation, permettant à WM de prédire dans des scénarios au-delà de ses échantillons d'entraînement. En interne, WM contient des composants qui imitent la perception humaine et la prise de décision, tels que des modèles visuels et des modèles de mémoire. En fait, la raison pour laquelle les humains sont capables de prendre des mesures appropriées lorsqu’ils sont confrontés à des événements inconnus ou invisibles est précisément due à leur modèle interne du monde. En simulant des processus cognitifs similaires à l'intelligence humaine, les algorithmes d'apprentissage par renforcement (RL) basés sur WM ont démontré des performances de pointe dans des domaines tels que les jeux Atari et Minecraft. Cependant, l’application de la WM à la conduite autonome reste un domaine passionnant, en partie à cause du manque de plateformes faciles à utiliser pour entraîner et tester de tels algorithmes RL. Le développement d’une plateforme d’apprentissage de la conduite autonome basée sur WM sera extrêmement bénéfique pour la recherche dans ce domaine.
C'est pourquoi, motivés par ces facteurs, nous avons lancé CarDreamer. Il s'agit de la première plateforme d'apprentissage open source spécialement conçue pour la conduite autonome basée sur WM. CarDreamer facilite le développement et l'évaluation rapides d'algorithmes, permettant aux utilisateurs de tester leurs algorithmes sur des tâches fournies ou de mettre en œuvre rapidement des tâches personnalisées via un kit de développement complet. Les trois contributions clés de CarDreamer comprennent : 1. Développement et évaluation rapides : CarDreamer fournit un ensemble d’outils puissants pour le développement et l’évaluation rapides d’algorithmes. Les utilisateurs peuvent exploiter ces outils pour tester leurs algorithmes, mener des expériences de conduite autonome sur les tâches fournies et effectuer des évaluations de performances. 2. Tâches personnalisées : CarDreamer fournit un kit de développement complet pour permettre aux utilisateurs de mettre en œuvre rapidement des tâches personnalisées. Cela permet aux utilisateurs de développer leurs propres algorithmes de conduite autonome en fonction de besoins spécifiques, puis de les tester et de les valider sur la plateforme CarDreamer. 3. Les principales contributions incluent : CarDreamer fournit également
Voici une brève introduction aux deux pierres angulaires de CarDreamer, CARLA et gym. CARLA est un simulateur haute fidélité et flexible et une interface standard pour la formation et l'évaluation de l'apprentissage par renforcement. Gym est une boîte à outils open source pour l'apprentissage par renforcement, fournissant un environnement et des algorithmes riches. CarDreamer utilise ces deux pierres angulaires pour la formation et l'évaluation, et utilise RL (apprentissage par renforcement) comme interface pour la formation et l'évaluation des modèles.
CARLA est un simulateur open source conçu pour simuler des scénarios de trafic réels. CARLA est basé sur Unreal Engine, qui offre des effets physiques réalistes et un rendu de haute qualité. CARLA fournit des actifs numériques, notamment des cartes, des bâtiments, des véhicules et divers points de repère. Il prend en charge divers capteurs tels que les caméras RVB, LiDAR et RADAR. Les utilisateurs peuvent créer des véhicules ou des piétons et avoir un contrôle total sur ces personnages. Il s’agit en effet d’un outil très polyvalent, mais sa principale lacune dans l’application des algorithmes RL tient aussi à sa généralité. L'obtention de l'extraction BEV (bird's eye view) et un processus fastidieux freinent son déploiement rapide dans la formation des algorithmes RL.
gym est une interface standard définie par OpenAI pour standardiser la communication entre l'agent et l'environnement. La partie centrale de cette interface se compose de deux fonctions reset() et step(action). Le premier initialise l’environnement à son état de départ. Ce dernier reçoit une entrée d'action de l'agent, simule l'évolution de l'environnement et renvoie des données d'observation, des signaux de récompense, des indicateurs de fin et quelques informations supplémentaires. De cette manière, les algorithmes RL peuvent être facilement testés dans une variété d’environnements sans réglage approfondi, à condition que les deux prennent en charge l’interface du gymnase. De nombreux efforts ont été déployés pour développer diverses références en matière de salles de sport telles que les jeux Atari, les suites DMC, etc. Dans CARLA, l'algorithme RL basé sur WM est utilisé dans le domaine de la conduite autonome, et CarDreamer est une plate-forme qui propose diverses tâches de conduite urbaine via l'interface du gymnase pour faciliter la formation et l'évaluation.
Comme le montre la figure 1, CarDreamer contient trois composants principaux : des tâches intégrées, des kits de développement de tâches et une structure de modèle mondial. Le kit de développement de mission fournit une variété de fonctions API, notamment la création de véhicules, le contrôle de la circulation et la planification d'itinéraires dans CARLA. Un module d'observation collecte automatiquement des données d'observation multimodales telles que les données de capteurs et BEV (bird's eye view), qui sont gérées par des procédures de traitement de données indépendantes et personnalisables. Ces données ont un double objectif : elles sont utilisées par les serveurs de visualisation des tâches et des formations. Le serveur de visualisation affiche des vidéos de conduite en temps réel et des commentaires environnementaux via un serveur HTTP, et est parfaitement intégré à l'algorithme du modèle mondial via l'interface du gymnase. Après avoir reçu la réponse de l'agent sous forme d'action, le module d'observation collecte les données du gestionnaire de données dans la trame suivante, poursuivant ainsi ce cycle d'opérations.
Une variété de tâches réalistes sont soigneusement conçues ici, allant de compétences simples telles que le maintien de la voie et les virages à gauche à des défis plus complexes tels que l'itinérance aléatoire dans différentes conditions routières, y compris les intersections, les ronds-points et différents flux de circulation. Ces tâches sont hautement configurables, offrant de nombreuses options qui posent des questions fondamentales en conduite autonome.
Observabilité et partage d'intentions : Dans l'apprentissage par renforcement, l'observabilité partielle est un défi important, où des informations d'état incomplètes peuvent augmenter de façon exponentielle la complexité de l'espace d'entrée en incluant toutes les étapes historiques. Pour répondre au manque d'outils de conduite autonome adaptés à ces défis, nous proposons trois paramètres d'observabilité dans CarDreamer : 1) Le champ de vision (FOV) inclut uniquement les véhicules dans le champ de vision de la caméra. 2) Le champ de vision partagé (SFOV) permet aux véhicules de communiquer avec d'autres véhicules dans leur propre champ de vision et de collecter des données FOV. 3) L'observabilité totale (FULL) suppose des informations complètes sur l'environnement et le trafic en arrière-plan. De plus, les utilisateurs peuvent contrôler si le véhicule partage ses intentions et avec qui il est partagé. Ces configurations s'alignent sur les questions fondamentales de « quel message communiquer » et « à qui communiquer » . Modes d'observation : les utilisateurs peuvent configurer l'espace d'observation pour inclure une variété de modes, des données de capteurs telles que les caméras RVB et LiDAR aux données synthétiques telles que BEV. Cette flexibilité prend en charge le développement de modèles de bout en bout capables de prendre des décisions directement à partir des données brutes de capteurs multimodaux ou d'utiliser la détection BEV pour la planification. Difficulté : Le réglage de la difficulté affecte principalement la densité du trafic, posant d'importants problèmes d'évitement des collisions. Étant donné que les événements critiques pour la sécurité des véhicules autonomes sont rares, la vérification de la robustesse des véhicules autonomes est intrinsèquement difficile en raison de la rareté de tels événements. CarDreamer est spécialement conçu pour évaluer de manière exhaustive la sécurité et l'efficacité dans des scénarios qui simulent ces événements rares mais critiques.
Fonction de récompense. Chaque tâche dans CarDreamer est équipée d'une fonction de récompense optimisée, et les expériences montrent que cela peut permettre à DreamerV3 de naviguer avec succès vers des points de repère en seulement 10 000 étapes de formation (voir la section 5 pour plus de détails). Nos résultats empiriques montrent notamment que récompenser les agents en fonction de la vitesse ou de changements de position incrémentiels conduit à de meilleures performances que récompenser en fonction de la position absolue. En effet, lorsque les récompenses sont basées uniquement sur la position, l'agent peut exploiter la fonction de récompense en effectuant un petit mouvement initial puis en restant stationnaire, car tout mouvement supplémentaire peut entraîner une pénalité de collision. En pratique, nous observons ce comportement sous-optimal, où la politique apprise converge vers une solution locale optimale, évitant les collisions en restant stationnaire. En revanche, baser les récompenses sur la vitesse oblige l’agent à maintenir un mouvement continu pour accumuler des récompenses, réduisant ainsi le risque de convergence prématurée vers une politique stationnaire indésirable. La conception des récompenses prend soigneusement en compte les exigences clés de la tâche de conduite, telles que la fluidité de la trajectoire, qui sont souvent ignorées dans les algorithmes traditionnels d'apprentissage par renforcement. En règle générale, ces algorithmes incluent un terme d'entropie dans leur fonction de perte ou leur estimation de valeur pour encourager l'exploration et empêcher une convergence prématurée. Cependant, dans le contexte de la conduite autonome, ce terme d'entropie peut inciter le véhicule à suivre une trajectoire en zigzag, car un tel mouvement irrégulier entraîne une récompense entropique plus élevée par rapport à une trajectoire plus fluide, même si les deux trajectoires permettent d'atteindre des objectifs similaires. . Pour contrecarrer cet effet, un terme de pénalité spécialement conçu est introduit ici pour bloquer le mouvement perpendiculaire à la direction cible. Par conséquent, nous avons développé une fonction de récompense qui équilibre efficacement la progression des objectifs et la fluidité de la trajectoire, avec la structure suivante :
Interface et utilisation : Toutes les tâches intégrées dans CarDreamer adoptent une interface de gym unifiée, ce qui permet aux algorithmes d'apprentissage par renforcement de être formé et testé directement sans ajustements supplémentaires. En plus d'une utilisation prête à l'emploi, CarDreamer prend en charge une variété d'algorithmes, notamment des algorithmes d'apprentissage de cours qui exploitent la progression par étapes de tâches simples à des tâches complexes ; et des algorithmes d'apprentissage continu, conçus pour résoudre le problème de l'oubli catastrophique lors de l'apprentissage ; de nouvelles tâches. De plus, pour l'apprentissage par imitation, CarDreamer simplifie le processus de collecte des données d'observation dans le simulateur. Bien qu’à l’origine conçue pour les algorithmes d’apprentissage par renforcement basés sur WM, l’interface du gymnase permet son utilisation généralisée dans une variété de stratégies algorithmiques.
Pour les utilisateurs qui ont besoin de personnaliser des missions, CarDreamer propose un kit de développement de mission hautement modulaire. Ce kit peut répondre aux diverses exigences des utilisateurs ayant différents niveaux de besoins de personnalisation. Le module initial est le "World Manager", qui répond aux besoins de base tels que changer la scène de conduite à travers différentes cartes, itinéraires, emplacements d'apparition ou flux de trafic en arrière-plan. Le gestionnaire mondial est chargé de gérer les « acteurs », terme emprunté à CARLA qui inclut toutes les entités telles que les véhicules, les piétons, les feux tricolores et les capteurs. Il fournit des appels API pour générer divers acteurs, en particulier des véhicules situés à différents endroits avec des plans par défaut ou personnalisés. Ces véhicules peuvent être contrôlés par les utilisateurs ou par Autopilot, un algorithme de conduite autonome basé sur des règles simples. Lors de la réinitialisation, il détruit et libère la ressource de manière transparente. Le deuxième module est "Observer", qui collecte automatiquement les données d'observation dans différents modes. Bien qu'il permette aux utilisateurs d'accéder facilement à des modèles d'observation prédéfinis sans interaction manuelle, il prend également en charge une personnalisation approfondie des spécifications des données. Ceci est réalisé grâce à une série de processeurs de données, chacun fournissant des données pour un mode spécifique, tels que les processeurs de caméra RVB et les processeurs BEV. Chaque processeur de données est hautement modulaire et gère indépendamment l’ensemble du cycle de vie d’un type spécifique de données. Les utilisateurs peuvent améliorer l'observateur en enregistrant un nouveau processeur de données adapté à leurs besoins.
Le troisième module contient des planificateurs d'itinéraire qui peuvent répondre à divers besoins d'itinéraire de mission. CarDreamer comprend plusieurs planificateurs : un planificateur stochastique pour une itinérance exploratoire sur la carte ; un planificateur de chemin fixe pour créer des points de cheminement reliant des emplacements définis par l'utilisateur et un planificateur de point final fixe qui utilise l'algorithme A* classique génère un itinéraire depuis l'emplacement actuel jusqu'au spécifié ; point final. Pour répondre à des besoins de personnalisation supplémentaires, une classe de base est également fournie et les utilisateurs peuvent développer leurs propres planificateurs en remplaçant les méthodes init_route() et extend_route() (qui définissent respectivement l'initialisation et l'extension de l'itinéraire pour chaque pas de temps). De plus, la suite comprend un serveur de visualisation qui intègre de manière transparente les sorties d'Observer et d'autres statistiques renvoyées par l'environnement et les affiche via un serveur HTTP. Cette automatisation facilite un retour rapide pour améliorer le processus d’ingénierie des récompenses et de développement d’algorithmes sans effort de codage supplémentaire.
Le cadre de base du modèle mondial de CarDreamer intègre de manière transparente les méthodes les plus avancées, notamment DreamerV2, DreamerV3 et Planning2Explore, etc., favorisant ainsi la reproduction rapide de ces modèles. Cette architecture de base est soigneusement conçue pour dissocier la mise en œuvre du modèle mondial des composants spécifiques à des tâches, augmentant ainsi la modularité et l'évolutivité. La communication entre ces composants est gérée efficacement via des interfaces de salle de sport standard, permettant une personnalisation étendue. Ce découplage permet aux utilisateurs de remplacer facilement le modèle mondial par défaut par leur propre implémentation, permettant ainsi un prototypage, une analyse comparative et une analyse comparative rapides par rapport aux références établies. CarDreamer fournit donc une plate-forme de test complète pour les algorithmes mondiaux basés sur des modèles, favorisant un écosystème pour une recherche et un développement accélérés dans le domaine. La plateforme encourage les utilisateurs à explorer des architectures innovantes, des fonctions de perte et des stratégies de formation dans un cadre d'évaluation cohérent et standardisé composé de diverses tâches de conduite et mesures de performance.
Un petit modèle DreamerV3 (illustré dans la figure 4) contenant seulement 18 millions de paramètres est utilisé comme épine dorsale du modèle. Ce petit modèle DreamerV3 possède 32 multiplicateurs CNN, 512 unités GRU et MLP, et le MLP n'a que deux couches dans son RSSM. La petite surcharge de mémoire est d'environ 10 Go, ce qui nous permet de nous entraîner sur un seul GPU NVIDIA 4090 tout en exécutant le simulateur CARLA. Former l'agent sur chaque tâche.
Le changement de courbe de récompense avec le pas de temps est illustré dans la figure 2.
Les tâches simples avec un faible volume de trafic, telles que "Simple Turn Right" et "Lane Merge", convergent généralement en 50 000 pas (~ 1 heure), tandis que des flux de trafic plus denses et plus agressifs impliquent des flux de trafic plus denses et plus agressifs. doivent être évités Pour les tâches de collision, il faut environ 150 000 à 200 000 pas (environ 3 à 4 heures) pour converger. Lors de l'évaluation, nous avons adopté plusieurs mesures pour évaluer rigoureusement les performances de l'agent de conduite autonome s'exécutant dans la tâche CarDreamer, comme détaillé dans le tableau 1. Ces mesures incluent :
• Taux de réussite : cette mesure mesure le pourcentage de véhicules d'un agent ayant réussi sa mission (atteindre une destination ou parcourir une distance prédéterminée sans accident ni dévier de sa voie).
• Distance moyenne (mètres) : représente la distance moyenne parcourue par le véhicule de l'agent au cours de tous les épisodes avant la fin de l'épisode (soit en accomplissant la tâche, soit en raison d'un échec, comme une collision ou un délai d'attente).
• Taux de collision (%) : calculez le pourcentage d'épisodes dans lesquels le véhicule de l'agent entre en collision.
• Vitesse moyenne (m/s) : Mesure la vitesse moyenne maintenue par le véhicule de l'agent tout au long de la mission. Cette mesure reflète la capacité d'un véhicule à équilibrer vitesse et sécurité, indiquant avec quelle efficacité il peut naviguer dans son environnement.
• Distance du point de cheminement : cette mesure quantifie l'écart moyen par rapport aux points de cheminement de l'itinéraire souhaités. Il évalue la capacité d'un véhicule à suivre une trajectoire planifiée, reflétant sa précision de navigation lorsqu'il suit une trajectoire donnée.
Le pouvoir imaginatif du Modèle Mondial (WM) lui permet de prédire efficacement des scénarios futurs et de gérer des événements potentiels. Afin d'évaluer les performances d'imagination de la MW sous différentes modalités d'observation, nous avons mené des expériences sur la tâche « difficulté de virage à droite ». Trois modalités différentes ont été sélectionnées : vue à vol d'oiseau (BEV), caméra et lidar (LiDAR). Pour chaque modalité, WM doit imaginer les résultats d'observation de plusieurs étapes dans le futur sous un état de départ donné et une série d'actions. La figure 4 montre les résultats, comparant les différences entre les images réelles et les images imaginées dans les trois modalités. La première ligne montre l'image d'observation réelle, la deuxième ligne est le résultat de l'imagination de WM et la troisième ligne est la différence entre elles. Nous avons sélectionné des images correspondant à au plus 64 pas de temps dans la plage imaginaire. Ces résultats suggèrent que, malgré les différentes modalités, la MW excelle toujours dans la prédiction précise de l’avenir. Dans l'expérience BEV (a), WM a prédit avec précision la position et la trajectoire des véhicules allant en ligne droite et tournant à droite, ainsi que la rotation et la translation du BEV par rapport au véhicule de l'ego. De même, dans un contexte de caméra et de LiDAR, WM a également réussi à prédire les véhicules circulant devant le véhicule autonome.
L'une des caractéristiques uniques de CarDreamer est sa capacité à personnaliser facilement le niveau de communication entre les véhicules. Les véhicules peuvent partager des vues de champ de vision (FOV), permettant une observabilité différente. De plus, ils peuvent même partager leurs intentions (représentées par les points de cheminement planifiés du véhicule) pour une meilleure planification. Nous exploitons cette fonctionnalité pour évaluer l’impact de la communication. Sur un agent, il a été formé et testé dans différents paramètres de la tâche « virage à droite difficile », c'est-à-dire différentes observabilités et si l'intention des autres véhicules est accessible. La tâche Hard Right Turn est particulièrement adaptée pour tester l’observabilité et la communication intentionnelle en raison d’un trafic dense et de fréquentes collisions potentielles de véhicules situés en dehors du champ de vision. La courbe de récompense est présentée dans la figure 5 et certains indicateurs de performance sont présentés dans le tableau 2. Notez que dans notre fonction de récompense, réussir un virage à droite est grossièrement représenté par une récompense de plus de 250. Les résultats montrent qu’une observabilité limitée ou le manque de partage d’intention empêche les agents d’accomplir leurs tâches. Les images uniformément échantillonnées d'un tracé de la figure 6 fournissent une bonne explication : l'agent adopte une stratégie conservatrice et sous-optimale, il s'arrête aux intersections pour éviter les collisions. Par exemple, dans les trois premières lignes de la figure 6, l'agent s'arrête avant de se fondre dans le trafic. En revanche, des informations complètes permettent au véhicule du moi d’effectuer avec succès un virage à droite.
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Méthode BigDecimal pour comparer les tailles
Comment désactiver le pare-feu
éditeur HTML en ligne
Processus d'achat et de vente de Bitcoin sur Huobi.com
Le serveur est introuvable sur la solution informatique
Comment Oracle crée une base de données
Introduction à l'utilisation de la fonction sort() en python
Sur quelle touche dois-je appuyer pour récupérer lorsque je ne parviens pas à taper sur le clavier de mon ordinateur ?
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
