Après 2 mois, le robot humanoïde Walker S peut plier les vêtements

Rapport sur la puissance de la machine

Éditeur : Wu Xin

La version domestique du robot humanoïde + grand modèle s'est associée pour accomplir pour la première fois la tâche d'exploitation de matériaux flexibles complexes tels que plier des vêtements.

Avec le dévoilement de la figure 01, qui intègre le grand modèle multimodal OpenAI, les progrès connexes des pairs nationaux ont attiré l'attention.

Hier encore, UBTECH, le « premier stock de robots humanoïdes » de Chine, a publié la première démo du robot humanoïde Walker S après une intégration en profondeur du grand modèle de Baidu Wenxin, montrant quelques nouvelles fonctionnalités intéressantes.

Maintenant, avec la bénédiction des capacités des grands modèles de Baidu Wenxin, Walker S ressemble à ceci.

Comme la figure 01, Walker S ne bouge pas, mais se tient derrière un bureau pour accomplir une série de tâches. Il peut suivre les commandes humaines et plier les vêtements.

Après avoir terminé la tâche, vous pouvez également discuter avec elle. Par exemple, que dois-je porter avec ce haut noir ? Le robot se souvient encore que vous partez en voyage d'affaires et il est recommandé de l'associer à un pantalon sombre, plus adapté aux occasions formelles.

Il placera également divers interrupteurs sur la table dans l'assiette.

Même s'il est perturbé, par exemple si l'interrupteur placé est rejeté sur la table ou si la prise qui est sur le point d'être atteinte est retirée, Walker S peut ajuster l'état de fonctionnement en temps réel et terminer la tâche de placement en fonction du situation nouvelle.

En février, Walker S a déjà démontré ses capacités de perception multimodale et de contrôle de mouvement lors d'une formation pratique dans une usine de véhicules à énergies nouvelles.

Cette fois, grâce à une intégration approfondie avec le grand modèle Wenxin, les capacités cognitives et de contrôle de Walker S ont atteint un nouveau niveau. Il a non seulement acquis une compréhension avancée des intentions et des capacités de planification de tâches plus fines, mais a également complété une flexibilité complexe telle que. plier des vêtements pour la première fois. Tâches de manutention.

Le grand modèle Wenxin est le grand modèle d'amélioration des connaissances de niveau industriel de Wenxin, qui possède des capacités de compréhension et de génération sémantiques approfondies multimodales et multilingues, ainsi qu'un raisonnement des connaissances, une planification des tâches et d'autres capacités. En transférant ces capacités aux robots humanoïdes, le robot peut analyser et comprendre le matériau, la forme, les rides et d'autres attributs des vêtements comme les humains, et raisonner sur la meilleure manière et la meilleure séquence de pliage des vêtements en se basant sur l'expérience passée. Pendant le processus de pliage des vêtements, le robot analysera les changements d'état des vêtements en temps réel et ajustera sa stratégie d'action en conséquence.

Dans la tâche de tri des interférences d'objets, Walker S a également exploité pleinement les avantages synergiques du « grand modèle IA + robot ». Tout d'abord, le positionnement spatial et les informations sémantiques de l'objet sont obtenus grâce au modèle de perception multimodale côté appareil, puis les informations sont transmises au grand modèle pour un traitement intelligent. Ce dernier construit rapidement Walker S avec son excellente tâche. capacités de démantèlement et de raisonnement logique. Trouvez le chemin optimal de planification et d’exécution des tâches. Walker S associe cette solution au contrôle réel du bras robotique et des mains adroites, et termine finalement avec succès l'ensemble des tâches complexes.

Il s'agit également de la première démonstration de capacités similaires par des pairs nationaux. Son application innovante et sa difficulté de mise en œuvre sont également parmi les premiers échelons de l'industrie au niveau mondial. "Dans de nombreuses démonstrations, y compris la coopération de Figure avec OpenAI et notre coopération avec Baidu, la direction d'UBTECH peut désormais être réalisée de bout en bout", a déclaré la direction d'UBTECH à China Business News lors de la réunion d'évaluation des performances et de perspectives d'hier soir.

" Nous utilisons les grands modèles de Baidu pour démonter les tâches, comprendre le langage naturel et séquencer les arrangements logiques. En plus du grand modèle multimodal basé sur le client et construit sur la base de la formation de modèles open source l'année dernière, nous pensons que dans le futur Alors que la concurrence sur le marché des robots humanoïdes devient de plus en plus féroce, ce n'est qu'en combinant des forces puissantes que nous pourrons atteindre 1+1>2. » En expliquant cette coopération, la direction d'UBTECH a déclaré : « Tesla étrangère possède de grandes capacités de modèles, notamment OpenAI et NVIDIA. En le combinant avec Figure, nous pouvons voir que la coopération peut fournir un soutien technique solide pour la mise en œuvre de robots humanoïdes. "

Cependant, en comparant les vidéos d'OpenAI, nous avons constaté qu'il existe encore un écart entre le Walker S et Figure 01.

La chose la plus évidente est la rapidité d’action. De plus, en termes de contenu des instructions, les instructions reçues par Walker S sont généralement relativement claires et spécifiques, tandis que la figure 01 peut convertir des instructions plus abstraites en opérations spécifiques raisonnables et réalisables grâce à un raisonnement de bon sens.

De plus, la Figure 01 peut discuter tout en travaillant (expliquant notamment ses opérations), possède une capacité de mémoire à court terme et peut raisonnablement planifier les actions en cours en fonction du contenu des conversations précédentes.

Alors que la concurrence dans l'IA générative devient de plus en plus féroce et que l'orientation de la recherche s'étend des textes longs et de la multimodalité à l'intelligence incarnée, nous avons des raisons de croire que les futurs robots humanoïdes ne se limiteront plus à percevoir des données statiques, mais le seront capable Vous pouvez vous déplacer librement et interagir avec l'environnement dans le monde réel en trois dimensions. Cela marque également une avancée majeure dans l’IA, du simple apprentissage automatique à l’exécution de tâches complexes de type humain.

En fait, le secteur des robots humanoïdes a connu un élan extrêmement dynamique au cours des six derniers mois, avec des prototypes nationaux et étrangers fréquemment dévoilés et des startups finançant activement. En février, UBTECH a dévoilé une vidéo du Walker S testé dans l'usine de véhicules à énergie nouvelle de NIO. Le robot peut effectuer en douceur l'inspection des ceintures de sécurité, l'apposition du logo du véhicule et d'autres tâches. Le cours de l'action UBTECH a également grimpé de 200 % en deux jours début mars.

Cependant, les robots humanoïdes du monde entier en sont encore au stade pilote et il faudra encore du temps pour les développer. Après tout, il existe une grande différence entre une démonstration et une application réelle, et cette dernière doit prendre en compte de manière globale une série de facteurs tels que la fiabilité, la stabilité et le coût. UBTECH a déclaré que la combinaison de grands modèles d'IA et de robots humanoïdes améliorera considérablement le niveau d'intelligence et l'adaptabilité de ces derniers à des tâches multi-scénarios, et accélérera leur processus d'industrialisation. Le fondateur Zhou Jian a également déclaré publiquement qu'il espérait terminer le premier lot de robots humanoïdes dans l'usine d'ici la fin de cette année, réussir les tests et se préparer à l'épidémie massive de robots humanoïdes en 2025. De plus, d'ici la fin de cette année, UBTECH prévoit de lancer le robot humanoïde de première génération pour les soins émotionnels à domicile. Le robot sera équipé d'un grand modèle et pourra interagir avec les utilisateurs et former des souvenirs à court et à long terme.

Lien de référence

https://www.stcn.com/article/detail/1164967.html

LA FIN

Veuillez contacter ce compte public pour obtenir l'autorisation de réimpression

Contribuer ou rechercher des rapports : content@jiqizhixin.com

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!