Cet article vous suffit pour en savoir plus sur la conduite autonome et la prédiction de trajectoire !

La prédiction de trajectoire joue un rôle important dans la conduite autonome. La prédiction de trajectoire de conduite autonome fait référence à la prédiction de la trajectoire de conduite future du véhicule en analysant diverses données pendant le processus de conduite du véhicule. En tant que module central de la conduite autonome, la qualité de la prédiction de trajectoire est cruciale pour le contrôle de la planification en aval. La tâche de prédiction de trajectoire dispose d'une riche pile technologique et nécessite une connaissance de la perception dynamique/statique de la conduite autonome, des cartes de haute précision, des lignes de voie, des compétences en architecture de réseau neuronal (CNN&GNN&Transformer), etc. Il est très difficile de démarrer ! De nombreux fans espèrent se lancer dans la prédiction de trajectoire le plus tôt possible et éviter les pièges. Aujourd'hui, je vais faire le point sur quelques problèmes courants et des méthodes d'apprentissage introductives pour la prédiction de trajectoire !

Connaissances liées à l'introduction

1. Les documents d'aperçu sont-ils en ordre ?

A : Examinons d'abord le réseau séquentiel, le réseau neuronal graphique et l'évaluation dans les enquêtes, la formulation de problèmes et les méthodes basées sur l'apprentissage en profondeur.

2. La prédiction de comportement est-elle une prédiction de trajectoire ? Le couplage et le comportement ne sont généralement pas les mêmes. Le couplage fait généralement référence aux actions que la voiture cible peut entreprendre, telles que changer de voie, se garer, dépasser, accélérer, tourner à gauche, tourner à droite ou. aller tout droit. La trajectoire fait référence à un point de localisation futur spécifique avec des informations temporelles.

3. Parmi les composants de données mentionnés dans l'ensemble de données Argoverse, à quoi font référence les étiquettes et les cibles ? Les étiquettes font-elles référence à la vérité terrain au cours de la période à prédire ? Dans le tableau de droite, la colonne OBJECT_TYPE représente généralement le véhicule autonome lui-même. L'ensemble de données spécifie généralement un ou plusieurs obstacles à prédire pour chaque scène, et ces cibles à prédire sont appelées cibles ou agents focaux. Certains ensembles de données fournissent également des étiquettes sémantiques pour chaque obstacle, comme les véhicules, les piétons ou les vélos.

Q2 : Les formats de données des véhicules et des piétons sont-ils les mêmes ? Je veux dire, par exemple, un point du nuage de points représente un piéton, et des dizaines de points représentent des véhicules ? A : Ce type d'ensemble de données de trajectoire donne en fait les coordonnées xyz du point central de l'objet, à la fois les piétons et les véhicules.

Q3 : Les ensembles de données argo1 et argo2 ne spécifient qu'un seul obstacle prédit, n'est-ce pas ? Comment utiliser ces deux ensembles de données lors d'une prédiction multi-agents ? Argo1 ne spécifie qu'un seul obstacle, tandis qu'argo2 peut en spécifier jusqu'à vingt ? Cependant, même si un seul obstacle est spécifié, cela n'affecte pas la capacité de votre modèle à prédire plusieurs obstacles.

A : « Prédire » la trajectoire du véhicule autonome en tant que trajectoire de planification du véhicule autonome, vous pouvez vous référer à uniad

A : le réseau nn n'est fondamentalement pas nécessaire, les règles doivent être comprises

. R : Lisez d'abord la critique et triez la carte mentale. Par exemple, pour la revue « Apprentissage automatique pour la prévision de trajectoire des véhicules autonomes : une enquête complète, des défis et des orientations de recherche futures », accédez au texte anglais original

A1(stu): 默认预测属于感知吧，或者决策中隐含预测，反正没有预测不行。A2(stu): 决策该规控做，有行为规划，高级一点的就是做交互和博弈，有的公司会有单独的交互博弈组

Copier après la connexion

A : La prédiction est basée sur la trajectoire des autres voitures, et le contrôle est basé sur la trajectoire de la voiture. Les deux trajectoires s'influencent également, donc la prédiction est généralement basée sur la régulation.

A : Ils s'influenceront mutuellement, donc à certains endroits, la prédiction et la prise de décision forment un groupe. Par exemple, si la trajectoire prévue par votre propre voiture a pour but d’écraser d’autres voitures, celles-ci céderont généralement le passage. C'est pourquoi certains travaux considéreront la planification de leur propre véhicule comme faisant partie de la contribution d'autres modèles de véhicules. Vous pouvez vous référer à M2I (M2I : From Factored Marginal Trajectory Prediction to Interactive Prediction). Cet article a une idée similaire. Vous pouvez en apprendre davantage sur PiP : Planning-informed Trajectory Prediction for Autonomous Driving

A : Marqué manuellement

11. De nos jours, la prédiction de trajectoire repose essentiellement sur des cartes. Si vous passez à un nouvel environnement cartographique, le modèle d'origine ne sera-t-il plus applicable ?

12 Pour la sortie multimodale, lors de la sélection de la meilleure trajectoire, est-elle basée sur celle avec la valeur de probabilité la plus élevée

.

A(stu): 选择结果最好的Q2:结果最好是根据什么来判定呢？是根据概率值大小还是根据和gt的距离A: 实际在没有ground truth的情况下，你要取“最好”的轨迹，那只能选择相信预测概率值最大的那条轨迹了Q3: 那有gt的情况下，选择最好轨迹的时候，根据和gt之间的end point或者average都可以是吗A: 嗯嗯，看指标咋定义

Module de base de prédiction de trajectoire

1. Comment utiliser HD-Map dans l'ensemble de données Argoverse ? Peut-il être combiné avec la prévision de mouvement comme entrée pour créer un graphique de scène de conduite ?

A : Tout est couvert dans ce cours. Vous pouvez vous référer au chapitre 2, qui sera également abordé dans le chapitre 4. La différence entre les graphes hétérogènes et les graphes isomorphes : Dans les graphes isomorphes, il n'y a qu'un seul type de nœud, un seul. Il n'y a qu'une seule relation de connexion avec un autre nœud. Par exemple, dans un réseau social, on peut imaginer que le nœud n'a qu'un seul type de « personnes » et que le bord n'a qu'un seul type de « connaissance » de connexion. Et soit les gens se connaissent, soit ils ne se connaissent pas. Mais il est également possible de segmenter les personnes, les likes et les tweets. Ensuite, les gens peuvent être connectés via une connaissance, les gens peuvent être connectés via des likes sur des tweets, et les gens peuvent également être connectés via des likes sur un tweet (méta-chemin). Ici, l’expression diversifiée des nœuds et des relations entre nœuds nécessite l’introduction de graphes hétérogènes. Dans les graphes hétérogènes, il existe de nombreux types de nœuds. Il existe également de nombreux types de relations de connexion (bords) entre les nœuds, et il existe encore plus de types de combinaisons de ces relations de connexion (méta-chemin). Les relations entre ces nœuds sont classées en différents degrés de gravité, et différentes relations de connexion sont classées. également classés en différents degrés de gravité.

2.A-A interaction considère quels véhicules interagissent avec les véhicules prédits ?

A : Vous pouvez sélectionner des voitures dans un certain rayon, ou vous pouvez considérer les voitures avec K voisins les plus proches. Vous pouvez même proposer vous-même une stratégie heuristique de filtrage des voisins plus avancée, et il est même possible de laisser le modèle savoir si. deux voitures sont identiques. Voisin

Q2 : Considérons une certaine plage. Existe-t-il des principes pour sélectionner le rayon ? De plus, à quel moment les véhicules sélectionnés sont-ils arrivés ? R : Il est difficile d'avoir une réponse standard au choix du rayon. Il s'agit essentiellement de se demander de quelle quantité d'informations distantes le modèle a besoin pour faire des prédictions. un volume. La taille du noyau d'accumulation. Pour la deuxième question, ma règle personnelle est que si vous souhaitez modéliser l'interaction entre les objets à quel moment, vous devez sélectionner les voisins en fonction de la position relative des objets à ce moment-là

Q3 : Dans ce cas, pour le temps historique, tous les domaines doivent-ils être modélisés ? Les véhicules environnants dans une certaine plage changeront également à différents pas de temps, ou devrions-nous considérer uniquement les informations sur les véhicules environnants au moment présent ? R : Quoi qu'il en soit, cela dépend de la façon dont vous concevez le modèle. -end Quelles sont les failles dans la partie prédiction du modèle ?

Q2 : Qu'est-ce que la prédiction marginale

A : Chaque agent a sa propre région locale, et la région locale est centrée sur cet agent

5 Le lacet et le cap sont-ils mélangés dans la prédiction de trajectoire

A : Cela peut être compris comme la direction. de l'avant de la voiture

7. Quels sont les avantages et les inconvénients de la perte de Laplace et de la perte de Huber pour la prédiction de trajectoire si je ne prédis qu'une seule ligne de voie

Q3 : Oui, mais il semble que ça, je ne sais pas à quoi ça sert si on ne prédit qu'une seule trajectoire. Cela ressemble à une redondance. Je comprends cela comme une incertitude. Je ne sais pas si c’est correct.

A：如果你从零推导过最小二乘法就会知道，MSE其实是假设了方差为常数的高斯分布的NLL。同理，L1 loss也是假设了方差为常数的Laplace分布的NLL。所以说LaplaceNLL也可以理解为方差非定值的L1 loss。这个方差是模型自己预测出来的。为了使loss更低，模型会给那些拟合得不太好的样本一个比较大的方差，而给拟合得好的样本比较小的方差

Q4：那是不是可以理解为对于非常随机的数据集【轨迹数据存在缺帧 抖动】 就不太适合Laplace 因为模型需要去拟合这个方差？需要数据集质量比较高

A：这个说法我觉得不一定成立。从效果上来看，会鼓励模型优先学习比较容易拟合的样本，再去学习难学习的样本

Q5：还想请问下这句话（Laplace loss要效果好还是有些细节要注意的）如何理解 A：主要是预测scale那里。在模型上，预测location的分支和预测scale的分支要尽量解耦，不要让他们相互干扰。预测scale的分支要保证输出结果>0，一般人会用exp作为激活函数保证非负，但是我发现用ELU +1会更好。然后其实scale的下界最好不要是0，最好让scale>0.01或者>0.1啥的。以上都是个人看法。其实我开源的代码（周梓康大佬的github开源代码）里都有这些细节，不过可能大家不一定注意到。

给出链接：https://github.com/ZikangZhou/QCNet

https://github.com/ZikangZhou/HiVT

8. 有拿VAE做轨迹预测的吗，给个链接!

https://github.com/L1aoXingyu/pytorch-beginner/tree/master/08-AutoEncoder

9. 请问大伙一个问题，就是Polyline到底是啥?另外说polyline由向量Vector组成，这些Vector是相当于节点吗？

A：Polyline就是折线，折线就是一段一段的，每一段都可以看成是一段向量Q2：请问这个折线段和图神经网络的节点之间的边有关系吗？或者说Polyline这个折现向量相当于是图神经网络当中的节点还是边呀？A：一根折线可以理解为一个节点。轨迹预测里面没有明确定义的边，边如何定义取决于你怎么理解这个问题。Q3: VectorNet里面有很多个子图，每个子图下面有很多个Polyline，把Polyline当做向量的话，就相当于把Polyline这个节点变成了向量，相当于将节点进行特征向量化对吗?然后Polyline里面有多个Vector向量，就是相当于是构成这个节点的特征矩阵么?A: 一个地图里有很多条polyline;一个Polyline就是一个子图；一个polyline由很多段比较短的向量组成，每一段向量都是子图上的一个节点

10. 有的论文，像multipath++对于地图两个点就作为一个单元，有的像vectornet是一条线作为一个单元，这两种有什么区别吗？

A: 节点的粒度不同，要说效果的话那得看具体实现；速度的话，显然粒度越粗效率越高Q2：从效果角度看，什么时候选用哪种有没有什么原则？A: 没有原则，都可以尝试

11. Existe-t-il un moyen de juger de la fluidité du score ? Si vous devez le faire

A : Cela nécessite que vous saisissiez une entrée fluide telle que 0-19 et 1-20 images, puis comparez les trajectoires correspondantes. entre les deux cadres. Le carré de la différence entre les scores peut être calculé statistiquement

Q2 : Quels indicateurs M. Thomas recommande-t-il actuellement d'utiliser la dérivée du premier ordre et la dérivée du second ordre ? Mais cela ne semble pas très évident. La plupart des dérivées du premier ordre et du second ordre sont concentrées près de 0.

A : J'estime que la différence au carré des scores des trajectoires correspondantes d'images consécutives est suffisante. Par exemple, si vous avez n entrées consécutives, additionnez-les et divisez par n. Mais la scène change en temps réel, et le score devrait changer soudainement lorsqu'il y a une interaction ou d'une non-intersection à une intersection 12. La trajectoire en hivt n'est-elle pas échelonnée, par exemple ×0,01+10 ? La distribution est aussi proche que possible de 0. J'utilise juste certaines méthodes quand je les vois, et je n'utilise pas certaines méthodes. Comment définir le compromis ?

A : Il suffit de normaliser les données. Cela peut être quelque peu utile, mais probablement pas beaucoup 

13 Pourquoi les attributs de catégorie de la carte dans HiVT sont-ils ajoutés aux attributs numériques après l'intégration, au lieu d'être concaténés ?

A : Il n'y a pas beaucoup de différence entre l'addition et la concaténation, mais pour la fusion de l'incorporation de catégories et de l'incorporation numérique, elles sont en fait complètement équivalentes

14. En tant qu'utilisateur, vous êtes peut-être plus préoccupé par la configuration matérielle minimale requise pour que HiVT soit réellement déployé.

A : Je ne sais pas, mais d'après les informations que j'ai apprises, je ne sais pas s'il s'agit de NV ou quel constructeur automobile utilise HiVT pour prédire les piétons, donc le déploiement réel est tout à fait réalisable

15. Prédiction basée sur le réseau d'occupation Y a-t-il quelque chose de spécial ? Avez-vous des recommandations papier?

A : La solution la plus prometteuse pour la prédiction future basée sur l'occupation devrait être celle-ci : https://arxiv.org/abs/2308.01471

16. Existe-t-il des articles recommandés qui envisagent la prédiction de la trajectoire prévue ? Faut-il tenir compte de la trajectoire prévue de son propre véhicule pour prévoir d'autres obstacles ?

A : Cet ensemble de données potentiellement publiques est difficile et ne fournit généralement pas la trajectoire prévue du véhicule. Dans les temps anciens, il existait un article intitulé PiP, Hong Kong Ke Haoran Song. Je pense que les articles sur la prédiction conditionnelle sont ce que vous voulez, comme M2I

17. Existe-t-il un projet de simulation adapté aux tests de performances des algorithmes de prédiction dont vous pouvez tirer des leçons et vous référer à

A (stu) : Cet article Il y a une discussion : Choisissez judicieusement votre simulateur Un examen des simulateurs open source pour la conduite autonome

18 Comment estimer la quantité de mémoire GPU nécessaire si vous utilisez l'ensemble de données Argoverse, comment la calculer

A. : Cela a quelque chose à voir avec la façon de l'utiliser. Avant, je pouvais exécuter hivt sur mon 1070, mais maintenant ça devrait aller sur des ordinateurs ordinaires