Entraînez votre chien robot en temps réel avec Vision Pro ! Le projet open source d'un doctorant du MIT est populaire

Vision Pro a un autre nouveau gameplay très intéressant, cette fois il est lié à l'intelligence incarnée ~

Juste comme ça, le gars du MIT a utilisé la fonction de suivi des mains de Vision Pro pour réussir à contrôler en temps réel le chien robot.

Non seulement les actions telles que l'ouverture d'une porte peuvent être précises, mais il n'y a également presque aucun retard.

Dès la sortie de la démo, non seulement les internautes ont fait l'éloge de Goose Girl, mais divers chercheurs en intelligence incarnée étaient également enthousiasmés.

Par exemple, ce futur doctorant de l'Université Tsinghua :

Certaines personnes prédisent avec audace : C'est ainsi que nous interagirons avec la prochaine génération de machines.

Regardons de plus près l'application développée par l'auteur - Tracking Steamer.

Comme son nom l'indique, cette application est conçue pour utiliser Vision Pro pour suivre les mouvements humains et transmettre ces données de mouvement à d'autres appareils robotiques sous le même WiFi en temps réel.

La partie suivi de mouvement s'appuie principalement sur la bibliothèque ARKit d'Apple.

Le suivi de la tête appelle queryDeviceAnchor. Les utilisateurs peuvent réinitialiser le cadre principal à sa position actuelle en appuyant longuement sur la couronne numérique.

Le suivi du poignet et des doigts est mis en œuvre via HandTrackingProvider. Il suit la position et l'orientation des poignets gauche et droit par rapport au cadre au sol, ainsi que la posture de 25 articulations des doigts de chaque main par rapport au cadre du poignet.

En termes de communication réseau, cette application utilise gRPC comme protocole de communication réseau pour diffuser des données. Cela permet d'abonner des données à davantage d'appareils, notamment des appareils Linux, Mac et Windows.

De plus, afin de faciliter la transmission des données, l'auteur a également préparé une API Python qui permet aux développeurs de s'abonner et de recevoir des données de suivi diffusées depuis Vision Pro par programmation.

Les données renvoyées par l'API se présentent sous la forme d'un dictionnaire, contenant les informations de posture SE (3) de la tête, du poignet et des doigts, c'est-à-dire la position et l'orientation tridimensionnelles. Les développeurs peuvent traiter ces données directement dans Python pour une analyse plus approfondie et un contrôle du robot.

Comme de nombreux professionnels l'ont souligné, que les mouvements du chien robot soient ou non toujours contrôlés par des humains, en fait, par rapport au « contrôle » lui-même, combiné à l'algorithme d'apprentissage par imitation, les humains sont plus capables de ce processus. Comme un entraîneur de robot.

Vision Pro fournit une méthode d'interaction intuitive et simple en suivant les mouvements de l'utilisateur, permettant aux non-professionnels de fournir des données d'entraînement précises pour les robots.

L'auteur lui-même a également écrit dans le journal :

Dans un avenir proche, les gens pourraient porter des appareils comme Vision Pro comme des lunettes quotidiennes. Imaginez la quantité de données que nous pouvons collecter grâce à ce processus !

Il s'agit d'une source de données prometteuse à partir de laquelle les robots peuvent apprendre comment les humains interagissent avec le monde réel.

Enfin, rappel, si vous souhaitez essayer ce projet open source, en plus d'un Vision Pro, vous devez également préparer :

Compte développeur Apple

Vision Pro Developer Strap, au prix de 299 $)

Ordinateur Mac avec Xcode installé

Eh bien, il semble qu'Apple doive encore d'abord faire du profit (doge).

Lien du projet :

https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file

Lien de référence :

https://twitter.com/younghyo_park/status/1766274298422161830

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!