L'expérience directe de Devin : Le degré d'achèvement est très élevé. Je ne peux pas arrêter de coder une fois que j'ai commencé à coder, mais je suis encore loin de pouvoir remplacer les programmeurs.

Développé par Cognition AI, une équipe entrepreneuriale avec 10 médailles d'or IOI, Devin, le premier agent programmeur IA au monde, a agité le cercle technologique dès sa sortie.

Dans la démonstration, Devin peut effectuer de manière presque indépendante de nombreuses tâches qui nécessitent que les programmeurs ordinaires passent beaucoup de temps, et ses performances ne sont pas du tout inférieures à celles des programmeurs ordinaires.

Cependant, où se situe la limite des capacités du produit ? Il existe un écart entre l'expérience réelle et la démonstration. Cela dépend également de l'effet après les tests réels.

Ce gars de Stanford a contacté l'équipe dès la sortie de Devin et a obtenu la qualification pour en faire l'expérience de première main.

Il a demandé à Devin de l'aider à réaliser plusieurs projets de difficulté variable, a enregistré une vidéo et a écrit son expérience de son utilisation sur Twitter.

La prochaine tâche est pour Devin de créer un site Web permettant aux utilisateurs ordinaires de jouer aux échecs directement avec de grands modèles.

Les tâches de programmation complexes ne peuvent pas encore être résolues

Chaque fois que l'utilisateur fait un mouvement, le système le convertira en un mot d'invite et le transmettra à GPT-4, GPT-4 répondra, et cette réponse sera converti en Les étapes spécifiques pour jouer aux échecs sont affichées sur l'échiquier.

Selon ma demande, le système doit être composé de pas mal de composants.

Il est personnellement plus préoccupé de savoir si Devin peut faire ce qui suit pendant le développement de ce système :

1. Savoir comment utiliser l'API GPT-4 avec précision, car la plupart des LLM ne savent pas vraiment comment l'utiliser , et il existe un conflit de version dans l'appel d'API.
2. Les clés API sont demandées correctement et traitées en toute sécurité.
3. Gérer les erreurs de colis.
4. Apprenez à inviter LLM à jouer aux échecs et à renvoyer avec précision le mot d'invite.

Ce à quoi je ne m'attendais pas, c'est que Devin me demande non seulement de fournir la clé API, mais qu'il la protège également correctement pendant le processus d'essai.

Cependant, la vitesse de retour actuelle de Devin est encore assez lente. Je suppose que c'est parce qu'il y a beaucoup plus d'invites d'agent en arrière-plan que ce qui est visible.

Cela a pris environ 19 minutes à partir du moment où j'ai fait la demande pour demander la clé API.

Je suppose que si le retard est dû au fait qu'ils exécutent de nombreuses invites en arrière-plan, alors le retard devrait s'accélérer avec le temps.

Parce qu'ils peuvent accéder ultérieurement à des GPU dédiés ou travailler avec Claude ou OpenAI pour réduire la latence (vraisemblablement GPT-4 ou Claude Opus).

Devin a d'abord fait un plan.

Dans le coin supérieur droit, l'utilisateur peut basculer l'état « Suivre », afin que l'utilisateur puisse automatiquement déplacer l'écran vers l'onglet actuellement activé de #Devin.

Le petit frère n'a pas activé l'état suivant car il voulait observer des changements dans diverses positions à tout moment.

Le planificateur restera à tout moment mis à jour pour la tâche en cours.

Shell n'est pas différent d'un Shell ordinaire, mais c'est vraiment amusant à utiliser !

Devin ouvrira plusieurs shells pendant le processus de travail. Au bas du shell, l'utilisateur peut faire glisser le curseur bleu pour afficher les commandes écrites par Devin.

L'image ci-dessous est le contenu non rendu de l'échiquier lorsque vous essayez de le déboguer.

Dans le même temps, le petit frère lui a demandé d'effectuer une autre tâche d'analyse de données.

Brother a demandé à Devin de "créer une carte de la température de l'eau de mer de l'Antarctique au cours des cinquante dernières années".

Pour cette demande, je pense qu'il y a deux aspects qui peuvent être problématiques :

1. Traitement du dessin/visualisation des données spatiales.
2. Sachez où télécharger les données et comprenez comment utiliser les sources de données, car les données géospatiales peuvent être lourdes à traiter.

Devin lit intelligemment les fichiers Lisez-moi comme un bon programmeur et effectue également quelques EDA de base pour comprendre la structure des données.

Les données sont en fait un fichier ascii, ce que je trouve un peu étrange.

Lorsque je clique sur l'une des étapes de la boîte de dialogue "Debug Python Script...", la section de la bibliothèque de codes liée à cette étape s'ouvrira, afin que vous puissiez suivre ce qui s'est passé à un moment précis.

Ce qui m'inquiète le plus, c'est que s'il n'a pas besoin de demander la clé API, Devin semble coder sans arrêt.

Il a donc essayé de voir s'il pouvait modifier la demande qu'il avait faite auparavant ou spécifier autre chose, interrompant le processus de codage de Devin.

Étant donné que la plupart des utilisateurs peuvent changer d'avis ou avoir quelque chose de nouveau à ajouter au système lors du codage, il est nécessaire d'être capable de gérer cette situation.

Voici une capture d'écran pendant le processus de codage :

L'interface du navigateur est présentée comme suit :

Ensuite, le gars a soulevé une autre exigence pour la tâche de visualisation des données, en laissant. le système règle les températures élevées en bleu et les températures basses en rouge.

Afin de ne pas interrompre le processus de codage, il semble que Devin ait ouvert un autre fil de travail pour enregistrer la demande temporaire du frère.

Enfin, Devin a déployé l'APP sur Netlify, et une application a été lancée.

Lien vers la page web : https://t.co/wTbtz2waDn

Tout comme les programmes écrits par des humains, la première version doit avoir des bugs.

Parce que ce que j'ai demandé était le record de température de l'Antarctique, il semblait que c'était quelque peu difficile à comprendre pour Devin.

J'ai donc changé l'emplacement demandé en Amérique du Nord.

Résumé

Le gars n'a pas donné le résultat de la correction du bug par Devin, mais a juste fait un résumé préliminaire de l'expérience d'utilisation du premier site Web développé avec Devin.

Parlons d'abord des avantages :

Devin a fait du bon travail en matière de productisation, et l'expérience utilisateur qu'il offre aux gens est un produit complet plutôt qu'une simple boîte de dialogue.

L'IA est la partie la plus critique du système, mais la structure produitisée qui prend en charge la fonction IA est le point culminant de Devin.

Devin peut effectuer le déploiement automatique, la protection des clés API, modifier et ajouter des exigences à tout moment, ainsi que d'autres très bonnes fonctions.

Le degré d'achèvement du produit est déjà très élevé, dépassant largement la moyenne des démos.

Parlons des lacunes :

La réponse de Devin est encore très lente. Bien sûr, le petit frère a également dit que parce qu'il utilise 1M Starlink pour accéder à Internet, la réponse lente est probablement de sa faute. .

Deuxièmement, les utilisateurs ne sont pas autorisés à modifier directement le code eux-mêmes et il n'y a aucun moyen de collaborer dessus.

Bien sûr, l'application initiale de jeu d'échecs a déconcerté Devin, et le déploiement n'a finalement pas été terminé. Et la tâche de visualisation des données semble comporter quelques bugs.

Enfin, j'ai utilisé Devin pour créer un plug-in chrom qui peut aider les utilisateurs à convertir le dépôt Github en invite Claude.

Adresse de téléchargement du plug-in : https://t.co/k3l8JTWK7Z

Commentaires des internautes

Après tout, les internautes se sont sentis un peu déçus. , cette tâche est un programme junior. Les développeurs peuvent le faire, mais le résultat du projet de visualisation de Devin n'est qu'une page Web boguée.

Il semble que Devin ne soit essentiellement qu'un grand modèle accessible en ligne. Il lui est encore difficile de résoudre de vrais problèmes.