Tencent Robot Research ist das Thema! Es kann Programmierern helfen, Monitore zu installieren und wie echte Menschen zusammenzuarbeiten

Neuer Durchbruch bei Haushaltsrobotern:

Zwei unabhängige Roboterarme können bereits reibungslos zusammenarbeiten!

Wenn Sie es nicht glauben, schauen Sie sich das an.Drehen Sie den Flaschenverschluss mit beiden Händen.:

Nehmen Sie nach dem Drehen den Becher und gießen Sie Wasser ein eine echte Person. Jetzt könnt ihr auch selbst Hand anlegen und dem Programmierer beim Einbau des Displays

helfen:

Sogar die große Kiste vom „Kollegen“ übernommen:

Das kann Man kann sagen, dass alle Objekte mit verschiedenen geometrischen und physikalischen Eigenschaften stabil gehalten werden können. (Was kann ich als nächstes noch tun, ich traue mich nicht darüber nachzudenken)

Dies ist die neueste Errungenschaft von

Tencent Robotics Derzeit wurde es in der

Top-Zeitschrift im Bereich Robotik

„IEEE Transactions on Robotics“ veröffentlicht.

... „Unter 360°-Kippbetrieb“ demonstriert seine völlig autonome „Arme zur Vermeidung von Selbstkollisionen“. Wenn es gelegentlich auf ungezogene Menschen trifft, kann es es leicht bekommen, vollständige Absichtserkennung und dynamische Interaktion

:

(Gib mir, gib mir, hey, vergiss es, ich höre auf )

Die spezifischen technischen Details werden enthüllt~

Die universelle Verwirklichung des humanoiden Doppelarmsystems

Universelle humanoide Roboter sind in den letzten Jahren zweifellos ein Forschungsschwerpunkt an der Schnittstelle von Robotern und KI.

Unter diesen trägt das humanoide Doppelarmsystem direkt die Ausführungsfähigkeiten dieser Art von Roboterbetriebsaufgaben.

Die Fähigkeit, jedes Objekt mit verschiedenen geometrischen und physikalischen Eigenschaften willkürlich zu greifen und zu manipulieren, ist die technische Verkörperung der Verallgemeinerung dieses Systemtyps.

Die meisten bestehenden Forschungsarbeiten konzentrieren sich auf die Lösung von Problemen auf einer bestimmten Ebene, wie etwa der Wahrnehmung von Umgebungsobjekten, dem Denken und der Strategiegenerierung, der Planung oder der Betriebssteuerung von Robotersystemen.

Und die Lösungen sind meist stark auf die konkret bedienten Objekte oder Aufgaben bezogen, was eine Übertragung und Verallgemeinerung erschwert. Tencent Robotics

Zunächst einmal, wie man anhand der visuellen Wahrnehmung ein optimales Erfassen unbekannter Objekte mit zwei Armen erreicht.

Zweitens, wie man die Systemsicherheit von Doppelarmrobotern mit stark überlappenden Arbeitsräumen bei dynamischer Zusammenarbeit gewährleistet.

Schließlich

, wie man umfangreiche menschliche Fähigkeiten mit nur begrenzten Tracking-Schnittstellentypen auf Robotersysteme übertragen kann.

Hier ermöglicht die probabilistische Modellierung von Tencent Robotics ein optimales kollaboratives Erfassen unmodellierter Objekte.

2. Der optimierungsbasierte Multifunktionale Steuerungs-Subframe übernimmt ein hierarchisches Multiprioritäts-Optimierungsframework und bettet leichte Abstandsersatzfunktionen ein, die auf der Grundlage von Lern- und Geschwindigkeits-Tracking-Steuerungstechnologie auf Riemannschen Mannigfaltigkeiten generiert werden.

Gleichzeitig wird eine hochpräzise Selbstkollisionsvermeidung beider Arme und eine äußerst realistische Doppelarm-Betriebsellipsoidverfolgung erreicht, wodurch die Eigensicherheit des Doppelarmsystems gewährleistet und die Schnittstelle zur Betriebsellipsoidverfolgung geöffnet wird.

Darüber hinaus löste diese Forschung erstmals systematisch das kooperative optimale Greifen unbekannter Objekte mit zwei Armen auf der Grundlage der visuellen Wahrnehmung, wodurch die Eigensicherheit eines zweiarmigen Roboters mit stark überlappenden Arbeitsbereichen erreicht und die Doppelarme geöffnet wurden kann für das Lernen von Mensch-Maschine-Fähigkeiten verwendet werden. Interoperable Ellipsoid-Tracking-Schnittstelle.

Letztendlich bietet das System umfassende Schnittstellen in Bezug auf Wahrnehmungsebene, Zweihand-Erfassung, kollaborative Betriebsplanung und zugrunde liegende Steuerung und weist eine hohe Vielseitigkeit, Skalierbarkeit und Kompatibilität auf.

Die technischen Details lauten wie folgt:

Geschicktes, erreichbares Sensor-Sub-Framework

Um ein kooperatives Erfassen unbekannter Objekte mit zwei Armen zu erreichen, ist es notwendig, unabhängig ausführbare Smart-Optimal-Programme zu generieren Greifen für das Dual-Arm-System Holen Sie sich das Richtige.

Die Forscher gingen von drei Ebenen aus: Datensatzgenerierung, Netzwerk zur Bewertung der Greifqualität und probabilistische Modellierung der Erreichbarkeit von Doppelarmrobotern, und entwarfen systematisch ein Sub-Framework für die Erreichbarkeit von Fingergriffen mit zwei Armen, um eine visuelle Systemwahrnehmung End-to zu erreichen -End-Mapping zwischen den erhaltenen 3D-Punktwolken des Objekts auf geschickte, optimale zweiarmige 6D-Greifhaltungspaare.

1. Zweiarmiger Greifdatensatz

Um eine genaue Zuordnungsbeziehung zwischen der Eingabepunktwolke und der Ausgabequalität des zweiarmigen Greifens herzustellen und das Greifbewertungsnetzwerk effektiv zu trainieren schlug den branchenweit ersten groß angelegten synthetischen Datensatz zum Zweiarm-Greifen mit Geschicklichkeitserkennung (DA2-Datensatz) vor.

Dieser Datensatz enthält ein Netz aus 6327 Objekten und mehr als 9 Millionen Gruppen von Griffpaaren. Jede Gruppe von Griffen ist anhand von drei Indikatoren gekennzeichnet: Greifsingularität – Greifstabilität – Greifkraftkompatibilität.

2. Netzwerk zur Bewertung der Qualität des kooperativen Greifens von Armen as Die Qualität dieser Kandidaten-Greifpaare wird online in Echtzeit bewertet und die optimale Lösung ausgegeben.

Die Forscher entwickelten Dual-PointNetGPD, ein Qualitätsbewertungsnetzwerk für das kollaborative Greifen mit zwei Armen, und verwendeten den DA2-Datensatz für das Training.

Im Vergleich zu herkömmlichen Analysemethoden, die auf vereinfachten Kontaktkraftmodellen basieren und auf präzisen geometrischen Objektmerkmalen basieren, kann das lernbasierte Dual-PointNetGPD verrauschte 3D-Punktwolken direkt verarbeiten und die Geschicklichkeit der Kandidaten für zweiarmige Greifkonfigurationen und die Zuverlässigkeitsbewertung verbessern.

Somit robuster gegenüber weit verbreitetem visuellem Wahrnehmungsrauschen.

3. Modellierung der Erreichbarkeit zweier Arme und optimale Greifzuordnung

Dual-PointNetGPD gibt die Struktur zur Bewertung der Greifpaarqualität aus der Perspektive der visuellen Wahrnehmung aus. Für ein bestimmtes Doppelarmrobotersystem muss diese ebenfalls ermittelt werden Die Roboterontologie befasst sich mit dem Problem der Erreichbarkeit von Kandidaten-Greifpaaren im Arbeitsbereich des Roboters und dem Problem der Zuordnung von Greifpaaren zwischen den Armen.

Die Forscher nutzten die Modellierungstechnologie des Unit-Quaternion-Gaußschen Mischungsmodells, um den 6-Freiheitsgrad-Arbeitsbereich beider Arme zu modellieren, und entwarfen eine Strategie zur Wahrscheinlichkeitsmaximierung, um die Bewertung der Greifzugänglichkeit und der Greifgeschicklichkeit beider Arme zu erreichen Einheit.

Multifunktionaler Unterrahmen für die kollaborative Betriebssteuerung

Für den multifunktionalen Unterrahmen für die kollaborative Betriebssteuerung ist die Fähigkeit, unbekannte Objekte kooperativ zu greifen, der erste Schritt, um eine Universalisierung beider Arme zu erreichen, und eine kollaborative Betriebsbewegungsplanung mit Körpersicherheitsbewusstsein ist der zweite Schritt Verbinden Sie universelles Crawling und implementieren Sie universelle Operationen.

Da sich die Arbeitsräume der beiden Roboterarme des humanoiden Doppelarmrobotersystems häufig stark überlappen,

Für den Roboterkörper, der dynamische Doppelarmaufgaben ausführt, muss der Vermeidung von Selbstkollisionen in der Bewegung höchste Priorität eingeräumt werden Planung

Zusätzlich zur Genauigkeit der Kollisionsvermeidung ist es auch notwendig, die Online-Berechnungskosten zu reduzieren, um eine Kollisionsvermeidung in Echtzeit sicherzustellen.

Darüber hinaus muss das Doppelarm-Kollaborationsellipsoid als einer der wichtigen Betriebsleistungsindikatoren und zur Charakterisierung der Roboterfähigkeiten kontinuierlich gesteuert werden, um eine Echtzeitoptimierung der Roboterarmkonfiguration zu erreichen und dadurch die Bedienfertigkeit des Doppelarms zu verbessern -Arm-System und Vermeidung von Missionsfehlschlägen aufgrund operativer Singularität. Forscher haben zu diesem Zweck ein neues multifunktionales kollaboratives Untergerüst für die Betriebssteuerung entwickelt.

Dieses Framework basiert auf einem hierarchischen Optimierungsframework mit mehreren Zielen und mehreren Prioritäten, das die erlernte leichte zweiarmige Ersatzfunktion für den Mindestabstand und die Riemannsche Geschwindigkeitsverfolgungsaufgabe in verschiedene Prioritäten in Form von Ungleichheitsbeschränkungen einbettet.

Dadurch wird die intrinsische Sicherheit der Bewegungsplanung für den Betrieb mit zwei Armen und die hohe Genauigkeit der Optimierung der Konfiguration mit zwei Armen beim Erlernen der Mensch-Maschine-Fertigkeitsübertragung erreicht.

1. Hochpräzise Selbstkollisionsvermeidung beider Arme

△ Ein humanoider Zweiarmroboter mit stark überlappenden Arbeitsbereichen

Um eine genaue und zuverlässige Mindestabstandsfunktion zu erhalten, die die Kollisionsgrenze beider Arme beschreibt besteht darin, die Kollisionsvermeidungsbeschränkungen in einen wichtigen Schritt im Multiprioritätsoptimierungsrahmen einzubetten, um eine Selbstkollisionsvermeidung mit beiden Armen zu erreichen.

Aufgrund der hohen Dimensionalität des Dual-Arm-Konfigurationsraums und der überlappenden Arbeitsräume ist die Verteilung des Sicherheits-Unterraums und des Kollisions-Unterraums stark unausgewogen und schwer zu trennen.

Forscher schlagen eine neuartige, auf aktivem Lernen basierende Stichprobenmethode vor, um groß angelegte, ausgewogene und informationsreiche Datensätze zu Doppelarmkollisionen zu generieren.

Dann verwenden Sie maschinelles Lernen, um die Zuordnungsbeziehung zwischen dem Mindestabstand zwischen den Armen und der Konfiguration der Arme anzupassen und so effizient eine hochpräzise Ersatzfunktion für den Mindestabstand zu erhalten.

△Schematisches Diagramm des Abtastalgorithmus basierend auf aktivem Lernen

2. Doppelarmige kollaborative Betriebsellipsoidverfolgung basierend auf Riemannscher Geometrie

Zusätzlich zur Selbstkollisionsvermeidung hängt die Betriebsellipsoidverfolgung mit den Bedienfähigkeiten zusammen Es hängt stark von der Betriebskonfiguration ab und ist auch ein zentrales Thema, das bei der Steuerung des Doppelarmsystems berücksichtigt werden muss.

Das Dual-Arm-Betriebsgrad-Ellipsoid wird durch eine symmetrische positiv-definite Matrix (SPD) beschrieben. Durch die Gestaltung des Geschwindigkeits-Feedforward-Terms im Mannigfaltigkeitsraum und die Kombination mit dem Fehlerkontrollprinzip erreichten die Forscher eine Echtzeitverfolgung und -verfolgung Es wird die globale exponentielle Konvergenz des Fehlers sowie eine vollständige theoretische Analyse und ein Beweis gegeben.

Die Aufgabe zur Verfolgung von Ellipsoiden mit zwei Armen ist in Form von Gleichheitsbeschränkungen in das Optimierungsframework mit mehreren Prioritäten eingebettet und wird in Form einer Schnittstelle zur Verfolgung von Ellipsoiden mit zwei Armen dargestellt.

3. Multiprioritätsoptimierung und Controller-Design

Die Forscher verwendeten kollaborative Aufgabenraumvariablen (absolute Bewegung beider Arme und relative Bewegung beider Arme), um alle kollaborativen, nicht kooperativen/synchronen und asynchronen Doppelarme zu beschreiben Aufgaben, und basierend auf dem Multi-Ziel- und Multi-Prioritäts-Framework wird ein System-Framework für die universelle kollaborative Betriebssteuerung beider Arme entworfen.

Dieses Framework integriert organisch die oben genannten vielfältigen Aufgaben wie die Vermeidung von Selbstkollisionen beider Arme und die Ellipsoidverfolgung beider Arme und beseitigt so die Hindernisse für die Generalisierung beider Arme auf der Ebene der Bewegungsplanung und -steuerung.

Hervorragend geeignet für kollaboratives Greifen und Selbstkollisionsvermeidung

Um die Wirksamkeit des optimalen kollaborativen Greifens beider Arme, der Selbstkollisionsvermeidung beider Arme und der Ellipsoidverfolgung der kollaborativen Betätigung beider Arme zu überprüfen, haben die Forscher durchgeführt: Das entworfene Dual-PointNetGPD-Netzwerk, die durch Lernen generierte Ersatzfunktion für den minimalen Abstand für beide Arme und der SPD-Mannigfaltigkeits-Tracking-Fehler wurden quantitativ analysiert.

1. Optimales kooperatives Greifen beider Arme Die Forscher führten groß angelegte Ablationsexperimente in der Physiksimulations-Engine durch. Die Ergebnisse zeigten, dass das entworfene und trainierte Dual-PointNetGPD-Netzwerk das Greifen großer, nicht modellierter Objekte effektiv verbesserte. Die Erfolgsquote des zweiarmigen kooperativen Greifens bei der Aufgabe .

2. Selbstkollisionsvermeidung mit beiden ArmenAnalysieren Sie hauptsächlich die beiden Dimensionen der Generierung des Doppelarm-Kollisionsdatensatzes und der Mindestabstands-Proxy-Funktion beider Arme 14-dimensional, 20–30° ist der Abtastschritt für die Abtastung mit geringer Genauigkeit, und jede Dimension ist in 10 gleiche Teile unterteilt. Die erforderliche Datensatzgröße erreicht ebenfalls 1014.

Die Forscher nutzten eine auf aktivem Lernen basierende Sampling-Technologie, um einen Doppelarm-Kollisionsdatensatz zu generieren. Mit einer Datenskala von 2 Millionen kann eine hohe Vorhersagegenauigkeit von mehr als 95 % im Vergleich zu den derzeit weit verbreiteten Daten erreicht werden unausgeglichenes Lernen von Datensätzen, Technologien wie b-SMOTE haben eine höhere Dateneffizienz und Vorhersagegenauigkeit.

△Analyse des durchschnittlichen Vorhersagefehlers und der Vorhersagegenauigkeit

Darüber hinaus beträgt die Zeit zur Berechnung des Mindestabstands beider Arme für eine auf Lerntraining basierende Proxy-Funktion etwa 0,072 ms

, was deutlich weniger ist der weit verbreiteten 5,36 ms, die von der FCL-Algorithmusbibliothek benötigt werden, und die Varianz ist kleiner. Dies verbessert die Echtzeitleistung der Methode während des tatsächlichen Einsatzes erheblich und gewährleistet eine stabile und vorhersehbare Planung der gesamten doppelarmigen koordinierten Bewegungsplanung.

Darüber hinaus weist die Ersatzfunktion eine hervorragende Kontinuität und Differenzierbarkeit auf, was für die Einbettung der Selbstkollisionsvermeidung in das reibungslose Multi-Ziel-Optimierungsframework in Form von Ungleichheitsbeschränkungen sehr wichtig ist.

3. Vergleichende Analyse der Tabellenberechnungszeit Optimierungsrahmen: Die Operationen in der Ellipsoid-Tracking-Beschränkung reduzieren effektiv den Unterschied zwischen der tatsächlichen Konfiguration und der erwarteten Konfiguration der Arme und überprüfen so die Wirksamkeit der SPD-Mannigfaltigkeits-Tracking-Schnittstelle.

4. Kooperatives Arm-Arm-Umdrehexperiment:

Um die Fähigkeit zur autonomen Vermeidung von Selbstkollisionen zu überprüfen, entwickelten die Forscher ein kooperatives Umdrehexperiment, das eine extreme Torsion erfordert.

In diesem Experiment vervollständigte das Zweiarmsystem unabhängig voneinander die ineinander verschlungene und kollisionsfreie Bewegungsplanung der Flugbahn und realisierte die 360°-Klappbedienung des Stuhls, ohne die Griffkonfiguration zu ändern. Die absolute Bewegung des Objekts behält immer eine hochpräzise Verfolgung in der Rotationsrichtung bei und entspannt sich dynamisch und autonom in anderen Freiheitsgraden. Der relative Bewegungsfehler der Arme beträgt weniger als 0,003 (m oder rad) und die Kollision Der Ausweichsicherheitsabstand wird effizient auf 2,5 cm komprimiert.

Gleichzeitig beträgt die typische Berechnungszeit des gesamten multifunktionalen kollaborativen Betriebssteuerungs-Unterrahmens unter Verwendung des hochpräzisen Gittermodells des Roboterarms 8,318 ms, was das Dilemma von hoher Präzision und hoher Echtzeit löst Leistung nicht gleichzeitig erreicht wird.

Die obigen Ergebnisse zeigen auch, dass Aufgaben auf allen Ebenen streng nach den vorgegebenen Prioritäten ausgeführt werden.

...

Die experimentellen Ergebnisse zeigen, dass der Zweiarmroboter große Objekte unter dem entworfenen universellen Rahmen kooperativ greifen und Selbstkollisionen vermeiden kann, indem er völlig autonom und hochpräzise komplexe kollaborative Betriebsaufgaben ausführt.

Zusammenfassung:

Wie Sie sehen können, löste diese Forschung erstmals systematisch das kollaborative optimale Greifen unbekannter Objekte mit zwei Armen auf der Grundlage der visuellen Wahrnehmung und erreichte so die Eigensicherheit eines zweiarmigen Roboters mit hoher Überlappung Arbeitsräume und deren Öffnung Eine Ellipsoid-Tracking-Schnittstelle für den kollaborativen Betrieb mit zwei Armen, die für das Erlernen der Mensch-Maschine-Fähigkeitsübertragung verwendet werden kann.

Diese Top-Down-Studie zur verkörperten Intelligenz und Bottom-Up-Studie zur Roboterbetriebsplanung und -steuerung wird dazu beitragen, die technische Lücke zwischen KI und Robotik zu schließen und die Anwendung von KI-generierten Betriebsstrategien in der physischen Welt zu verbessern der Ausführung beschleunigen die Einführung einer vollständig autonomen Verallgemeinerung zweiarmiger Systeme.

Papieradresse:

https://ieeexplore.ieee.org/document/10449470