Trainieren Sie Ihren Roboterhund in Echtzeit mit Vision Pro! Das Open-Source-Projekt eines MIT-Doktoranden wird immer beliebter

Vision Pro hat ein weiteres heißes neues Gameplay, dieses Mal ist es mit verkörperter Intelligenz verbunden~

Einfach so nutzte der MIT-Typ die Handverfolgungsfunktion von Vision Pro, um erfolgreich eine Echtzeitsteuerung des Roboterhundes zu erreichen.

Es können nicht nur Aktionen wie das Öffnen einer Tür präzise durchgeführt werden:

, es gibt auch fast keine Verzögerung.

Sobald die Demo herauskam, lobten nicht nur Internetnutzer Goose Girl, sondern auch verschiedene verkörperte Intelligenzforscher waren begeistert.

Zum Beispiel dieser angehende Doktorand an der Tsinghua-Universität:

Manche sagen mutig voraus: So werden wir mit der nächsten Generation von Maschinen interagieren.

Wie man das Projekt umsetzt, hat der Autor Park Younghyo(Younghyo Park) Open Source auf GitHub. Relevante Apps können direkt im App Store von Vision Pro heruntergeladen werden.

Verwenden Sie Vision Pro, um den Roboterhund zu trainieren

Schauen wir uns die vom Autor entwickelte App im Detail an – Tracking Steamer.

Wie der Name schon sagt, ist diese Anwendung darauf ausgelegt, mithilfe von Vision Pro menschliche Bewegungen zu verfolgen und diese Bewegungsdaten in Echtzeit an andere Robotergeräte über dasselbe WLAN zu übertragen.

Der Bewegungsverfolgungsteil basiert hauptsächlich auf der ARKit-Bibliothek von Apple.

Das Head-Tracking ruft queryDeviceAnchor auf. Benutzer können den Kopfrahmen auf seine aktuelle Position zurücksetzen, indem sie die Digital Crown gedrückt halten.

Handgelenk- und Finger-Tracking werden über HandTrackingProvider implementiert. Es ist in der Lage, die Position und Ausrichtung des linken und rechten Handgelenks relativ zum Bodenrahmen sowie die Haltung der 25 Fingergelenke jeder Hand relativ zum Handgelenkrahmen zu verfolgen.

In Bezug auf die Netzwerkkommunikation verwendet diese App gRPC als Netzwerkkommunikationsprotokoll zum Streamen von Daten. Dadurch können Daten auf mehr Geräten abonniert werden, einschließlich Linux-, Mac- und Windows-Geräten.

Um die Datenübertragung zu erleichtern, hat der Autor außerdem eine Python-API vorbereitet, die es Entwicklern ermöglicht, von Vision Pro gestreamte Tracking-Daten programmgesteuert zu abonnieren und zu empfangen.

Die von der API zurückgegebenen Daten liegen in Wörterbuchform vor, einschließlich der SE (3)-Haltungsinformationen von Kopf, Handgelenk und Fingern, also der dreidimensionalen Position und Ausrichtung. Entwickler können diese Daten zur weiteren Analyse und Steuerung des Roboters direkt in Python verarbeiten.

Wie viele Fachleute betont haben, sind Menschen unabhängig davon, ob die Bewegungen des Roboterhundes immer noch von Menschen gesteuert werden, im Vergleich zur „Kontrolle“ selbst in Kombination mit dem Nachahmungslernalgorithmus in der Lage Dieser Prozess ist wie ein Robotertrainer.

Vision Pro bietet eine intuitive und einfache Interaktionsmethode, indem es die Bewegungen des Benutzers verfolgt und es Laien ermöglicht, genaue Trainingsdaten für Roboter bereitzustellen.

Der Autor selbst schrieb in der Zeitung auch:

In naher Zukunft könnten Menschen Geräte wie Vision Pro wie Alltagsbrillen tragen. Stellen Sie sich vor, wie viele Daten wir aus diesem Prozess sammeln können!

Dies ist eine vielversprechende Datenquelle, aus der Roboter lernen können, wie Menschen mit der realen Welt interagieren.

Abschließend noch eine Erinnerung: Wenn Sie dieses Open-Source-Projekt ausprobieren möchten, müssen Sie zusätzlich zu Vision Pro auch Folgendes vorbereiten:

• Apple-Entwicklerkonto
• Vision Pro-Entwicklerzubehör (Entwicklergurt, Preis: 299 $)
• Mac-Computer mit installiertem

Projektlink:

https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file