Pendant que je me vantais encore et discutais avec ChatGPT, quelqu'un l'utilisait déjà pour contrôler le robot.
n'est autre que le bailleur de fonds d'OpenAI, Microsoft qui vient d'utiliser ChatGPT pour « réinventer le moteur de recherche » il y a peu.
Jusqu'à présent, le seuil technique permettant aux développeurs de former des robots est non seulement élevé, mais aussi long et difficile : #🎜🎜 #
Les ingénieurs doivent constamment écrire à la main de nouveaux codes et spécifications dans la boucle de flux de travail pour corriger le comportement des robots ; de plus, le contrôle de différents robots peut nécessiter différents langages et environnements de programmation. Avec l'aide de ChatGPT, les ingénieurs n'ont même pas besoin d'écrire du code à la main - utilisez directement #🎜 🎜# mots humainsDécrivez ce que vous voulez faire, et l'IA peut le traduire automatiquement en langage machine.
Cela signifie que d'une part, l'efficacité de l'interaction entre professionnels et robots a décollé ; d'un autre côté, le seuil technique a également augmenté. Il a été considérablement réduit, et même les profanes peuvent participer au débogage et créer davantage de méthodes d'utilisation.Prenons un exemple simple : laissez les drones inspecter automatiquement les étagères.
Dans un premier temps, l'opérateur n'a qu'à faire une requête à ChatGPT en langage naturel ; ensuite, l'IA peut la traduire automatiquement en code et diriger les actions du drone.
(Vous pouvez également préciser la trajectoire de vol du drone.)Non merveille spéciale Andrej Karpathy, ancien directeur de l'IA de Tesla, plaisanterait : Le dernier langage de programmation populaire est l'anglais.
Une IA commande plusieurs robots
Par exemple, un opérateur dit à l'IA : "J'ai soif, s'il vous plaît, aidez-moi à trouver quelque chose à boire."
À ce moment-là, l'IA ne le fera pas. être abasourdi. Il allait chercher de l'eau, mais il demandait intelligemment :
Quel genre de boisson veux-tu ? Il y a plusieurs boissons ici, comme de l'eau de coco, du cola, etc.Bien sûr, l'opérateur n'est pas végétarien. Il ne l'a pas dit directement à l'IA . lequel choisir, mais cela signifie : "Je reviens tout juste de la salle de sport, s'il te plaît, aide-moi à trouver une boisson plus saine
Puis l'opération la plus magique a commencé :
#🎜🎜 #AI a d'abord deviné qu'il voulait boire de l'eau de coco, puis a crépité un morceau de code(même avec des commentaires)
:# 🎜🎜##🎜 🎜#
Après avoir écrit ceci, dirigez le drone pour trouver de l'eau de coco :
En plus des drones, ChatGPT peut Contrôlez également facilement d'autres petits robots, notamment des caméras, des bras robotiques, etc.
Par exemple, laissez la caméra trouver des objets dans la pièce qui peuvent réchauffer le déjeuner.
Il existe également un bras robotique de commande pour épeler un logo Microsoft.
(Transportant secrètement des biens privés)
En voyant cela, certains internautes ont quelques idées Dakai, quelqu'un a demandé :
Est-ce qu'ils construisent un Skynet tout-puissant ?Certaines personnes ont même plaisanté en disant que l'IA pourrait même être capable d'écrire des instructions pour lancer des bombes nucléaires :
Mais cela dit, c'est en fait loin de ce que disent les internautes. Après tout, les humains. sont encore nécessaires maintenant.
Comme le montre l'article précédent, cette IA flexible communique non seulement de manière fluide avec les gens, mais peut également communiquer rapidement avec les machines.
Cela est principalement dû à une série d'API et de bibliothèques de fonctions avancées spécialement développées par l'équipe Microsoft.
Ils n'ont pas laissé le grand modèle de langage (LLM) derrière ChatGPT générer un type fixe de code car la robotique est un domaine diversifié, cela peut impliquer beaucoup d'ajustements dans différents scénarios ;
Dans le nouveau cadre d'exploitation, différents robots ont leurs propres bibliothèques de fonctions spécifiques correspondantes.
——Une IA peut s'adapter à différents objets et différentes tâches.
D'une part, ces bibliothèques de fonctions peuvent être connectées au système de contrôle du robot pour gérer le matériel sous-jacent, ainsi que les modules de code et de fonctions qui effectuent les mouvements de base.
D'un autre côté, pour que ChatGPT suive les règles de la bibliothèque de fonctions, la dénomination prédéfinie des fonctions est cruciale. Des noms de fonctions clairs peuvent établir de bonnes connexions fonctionnelles entre les API et finalement générer des réponses de haute qualité.
L'une des exigences est que tous les noms d'API doivent décrire le comportement fonctionnel global. Par exemple, la fonction detector_object(object_name) peut être liée en interne à une fonction OpenCV ou à un modèle de vision par ordinateur.
Après avoir conçu la bibliothèque et l'API, Microsoft a écrit une invite de texte (invite) pour ChatGPT, décrivant la tâche cible et indiquant clairement quelles fonctions de la bibliothèque de fonctions sont disponibles. De plus, cela peut également spécifier quel type de programmation ChatGPT ; utilise pour générer un langage de code.
Il convient de mentionner que l'effet du contenu généré par l'IA est positivement corrélé à la qualité des invites humaines. À cette fin, Microsoft a également développé une plateforme collaborative open source PromptCraft, où chacun peut partager des stratégies Prompt pour différents types de robots.
À ce stade, le déploiement en coulisses est pratiquement terminé, et les utilisateurs peuvent ensuite contrôler indirectement le robot en « prononçant des mots humains ».
Si vous souhaitez vérifier s'il y a des bugs dans le code généré par l'IA, vous pouvez le vérifier directement dans la boîte de discussion à tout moment, ou le tester via le simulateur. Les humains peuvent utiliser le langage naturel pour guider l'IA. apporter des corrections.
De plus, vous pouvez attendre que l'utilisateur soit satisfait de la solution avant de déployer le code généré par ChatGPT sur le robot.
Pour finir, si c'était vous, que voudriez-vous faire avec ChatGPT pour contrôler le robot ?
Adresse papier :https://www.microsoft.com/en-us/research/uploads/prod/2023/02/ChatGPT___Robotics.pdf Lien de référence :
[3]https://github.com/microsoft/PromptCraft-Robotics#promptcraft-robotics
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!