Le robot humanoïde Optimus de Tesla travaille en usine, est habile à démonter les batteries, à s'auto-corriger et peut aller encore plus loin

Le robot humanoïde Tesla a débloqué de nouvelles compétences !

Hier, Tesla Optimus a officiellement publié une nouvelle vidéo de démonstration, montrant les dernières avancées du robot humanoïde Optimus de deuxième génération.

Cette fois, Optimus a commencé à travailler dans l'usine, a appris à assembler des batteries à l'usine de batteries Tesla et a marché plus vite, plus loin et plus régulièrement qu'avant.

Jetons un premier aperçu des dernières compétences et détails de la formation d'Optimus.

Le réseau neuronal de bout en bout d’Optimus est désormais formé pour assembler avec précision les cellules de batterie dans les usines Tesla.

Fonctionne en temps réel sur l'ordinateur FSD du robot, en s'appuyant uniquement sur des caméras 2D, des capteurs tactiles et de force. Optimus utilise ses jambes pour maintenir l'équilibre tandis que le réseau entraîne tout le haut de son corps.

Pendant le processus d'insertion, des mouvements très précis sont nécessaires et le taux de tolérance aux pannes est très faible. Le réseau neuronal localisera automatiquement le prochain emplacement libre. Optimus est également capable de se remettre de manière autonome en cas de panne.

Les données de formation d'Optimus sont collectées via des opérations humaines à distance et mises à l'échelle pour une variété de tâches.

Optimus est testé en usine et les taux d'intervention humaine continuent de diminuer.

Bien sûr, Optimus peut désormais se déplacer régulièrement dans le bureau, non seulement plus vite mais aussi de plus en plus loin.

À cet égard, l'ingénieur Tesla Optimus (Tesla Bot), Milan Kovac, a expliqué plus en détail la formation Optimus.

Au cours des derniers mois, l’incroyable équipe de fabrication de Tesla a construit davantage de robots pour mener des recherches et collecter des données d’IA.

L'équipe a formé et déployé un réseau neuronal qui a permis à Optimus de commencer à effectuer des tâches utiles, telles que ramasser des cellules de batterie sur un tapis roulant et les insérer dans des palettes avec précision.

Ce réseau neuronal fonctionne de bout en bout, ce qui signifie qu'Optimus ne consomme que la vidéo de la caméra 2D du robot et les données des propriocepteurs embarqués et produit directement des séquences de contrôle conjointes.

Optimus fonctionne entièrement sur l'ordinateur FSD intégré du robot, alimenté par une batterie intégrée. Cette conception permet à un seul réseau neuronal d'effectuer plusieurs tâches en ajoutant des données plus diverses au processus de formation.

Bien qu'Optimus ne soit pas encore parfait et soit encore un peu lent, nous constatons des taux de réussite de plus en plus élevés et de moins en moins d'erreurs. Tesla a également formé Optimus à se remettre des cas de défaillance et a vu des corrections spontanées se produire.

Tesla a déployé plusieurs robots humanoïdes Optimus dans une usine, où ils sont testés quotidiennement sur des postes de travail réels et améliorés en permanence.

L'équipe travaille sur d'autres travaux pour permettre à Optimus de se déplacer plus rapidement et de gérer des terrains plus difficiles sans sacrifier ses fonctionnalités conviviales. L’équipe se concentrera également sur la répétabilité, en entraînant les réseaux neuronaux pour gérer l’étalonnage dynamique et les petites différences entre les robots. Il y aura bientôt plus de mises à jour.

De plus, Jim Fan, chercheur scientifique principal et responsable des agents IA chez Nvidia, a fait l'éloge des compétences démontrées dans la nouvelle vidéo d'Optimus.

Il pense que la vidéo nous donne un aperçu de la scène réelle de la collecte de données humaines, ce qui constitue le plus grand avantage d'Optimus. Que faut-il pour construire un tel pipeline ? Optimus fait ce qui suit :

La main d'Optimus est l'une des mains de robot à cinq doigts les plus adroites au monde. Elle a une perception tactile et possède 11 degrés de liberté (DOF), contre seulement 6 à 7 DOF et est suffisamment robuste. pour résister à un grand nombre d’interactions d’objets sans nécessiter de maintenance continue.

Logiciel d'opération à distance : nous pouvons voir des opérateurs humains portant des lunettes et des gants VR. La configuration du logiciel pour permettre la diffusion en temps réel de vidéos à la première personne et un contrôle précis de la sortie tout en maintenant une latence extrêmement faible est assez remarquable. Les humains sont très sensibles au moindre délai entre leurs propres mouvements et ceux d’un robot. Optimus dispose d'un contrôleur fluide pour tout le corps qui peut effectuer des poses humaines en temps réel.

Flotte à grande échelle : vous avez besoin de plus d'un robot pour collecter des données en parallèle, d'humains formés travaillant plusieurs équipes par jour (de préférence 24h/24 et 7j/7) et d'une équipe de maintenance de garde pour garantir que les robots sont toujours en statut Occupé. . Cela représente une grande complexité opérationnelle que les laboratoires de recherche universitaires ne prennent même pas en compte.

Tâche et environnement : il est tout aussi important de déterminer ce que vous souhaitez opérer à distance. Actuellement, la plupart de ce travail est basé sur des démonstrations : collectez des données sur les tâches que vous souhaitez intégrer dans des vidéos sur les réseaux sociaux. Mais pour résoudre le problème des robots polyvalents, nous devons réfléchir attentivement à la répartition des tâches et des environnements. Dans la partie de 43 à 51 secondes de la vidéo, nous pouvons voir les paramètres de l'usine et de la maison, tels que le déplacement des batteries, le traitement du linge et le tri des articles du quotidien sur les étagères.

Il s'agit d'une question de recherche ouverte : si vous aviez seulement le budget nécessaire pour collecter des données de formation pour 1000 tâches, que choisiriez-vous pour maximiser le transfert de compétences et la généralisation ?

Conclusion : La téléopération est nécessaire, mais pas suffisante, pour résoudre le problème des robots humanoïdes. Il ne peut fondamentalement pas évoluer.

Dans la zone de commentaires, Musk a présenté en avant-première le dernier objectif de la main du robot humanoïde Optimus, qui aura 22 degrés de liberté (DoF) plus tard cette année. C'est encore plus excitant.

Plus tôt, Musk avait révélé lors de la conférence téléphonique sur les résultats que le robot humanoïde Tesla Optimus pourrait avoir la capacité d'accomplir des « tâches utiles en usine » d'ici la fin de cette année, et envisage de prendre la tête de sa propre usine avant le utilisation de fin de cette année. Dans le même temps, Tesla vendrait probablement Optimus avant la fin de 2025.

"L'histoire évolutive" du robot humanoïde Tesla

Le robot humanoïde Tesla remonte à l'événement "Tesla AI Day" en août 2021, lorsque Musk a révélé pour la première fois son intention de créer des robots humanoïdes. un robot (Tesla Bot).

Ce robot humanoïde mesure environ 1,72 mètre, pèse environ 112 livres, a une silhouette bien proportionnée et possède un écran facial. Il peut se déplacer à une vitesse d'environ 8 kilomètres/heure.

En octobre 2022, lors du « Tesla AI Day » de cette année, le robot humanoïde Optimus a fait ses débuts. À cette époque, il ne pouvait pas présenter de danse ni d’autres spectacles fantaisistes. Le robot consomme 500 W d'énergie lorsqu'il travaille, pèse 73 kilogrammes et dispose de 27 degrés de liberté pour le mouvement des mains.

Cependant, lors de la démonstration de démonstration, Optimus a montré des photos de lui déplaçant des boîtes, arrosant des fleurs et travaillant dans la Gigafactory Tesla.

En mai 2023, après plus de six mois d'hibernation, Tesla Optimus a enfin acquis la capacité de marcher en douceur et de saisir des objets.

En septembre 2023, Tesla Optimus évolue à nouveau et peut classer les objets de manière autonome. Le point fort est l'entraînement complet de bout en bout du réseau neuronal : entrée vidéo, contrôle de sortie. Pendant son temps libre, il peut aussi faire du yoga pour le plaisir.

En décembre 2023, la deuxième génération d'Optimus est arrivée, et les gens ont vraiment vu à quoi elle ressemblait dans le film "Public Enemy".

Avec la sortie d’une nouvelle vidéo, la vitesse de progression sur les robots humanoïdes de Tesla est une fois de plus étonnante.