Les corrections de bugs ChatGPT ont balayé le terrain, avec un taux de précision de 78 % ! Internaute : les programmeurs devraient être heureux

​Dans quelle mesure ChatGPT est-il efficace pour corriger les bugs ?

Enfin, quelqu'un fait des recherches sérieuses sur ce sujet -

Des chercheurs d'Allemagne et du Royaume-Uni ont spécialement mis en place un "défi" pour tester cette capacité de ChatGPT.

En plus de ChatGPT, les chercheurs ont également trouvé trois autres « héros de l'IA » qui corrigent des bugs et leur ont demandé de corriger respectivement 40 codes d'erreur.

Le résultat est vraiment surprenant.

ChatGPT a corrigé avec précision 31 des bugs, loin devant la deuxième place (21), remportant directement le score SOTA dans le « monde de la correction des bugs de l'IA » !

Depuis, cette recherche a attiré de nombreux internautes à regarder et à discuter. Le titre de cet article sur Reddit utilisait même les mots « prudent » et « attention » :

Mais en fait, est-ce vraiment. mettre les programmeurs en danger ?

Jetons d’abord un coup d’œil à cette recherche.

ChatGPT est efficace pour corriger les bugs

Bien que ChatGPT n'ait pas été spécifiquement conçu pour corriger les bugs, depuis son apparition, de nombreux internautes ont découvert qu'il possède cette capacité.

Ainsi, afin de savoir dans quelle mesure ChatGPT peut modifier les bogues, les chercheurs ont introduit l'ensemble de référence standard de réparation d'erreurs QuixBugs pour évaluation.

Et les acteurs de l'IA en compétition avec lui sont respectivement CodeX, CoCoNut et Standard APR.

Les chercheurs ont sélectionné 40 problèmes de QuixBugs et leur ont demandé de corriger respectivement les bugs.

La façon de laisser ChatGPT corriger les bugs est de lui demander dans la boîte de dialogue :

Y a-t-il des erreurs dans ce code ?

Après le premier tour de compétition, les résultats sont les suivants :

À en juger par les résultats du premier tour de bataille, ChatGPT a corrigé 19 éléments, CodeX a corrigé 21 éléments, CoCoNut a corrigé 19 éléments et le Standard APR était de 7 individuels.

Et les chercheurs ont également découvert que les réponses de ChatGPT sont les plus similaires à celles de CodeX, car elles appartiennent à la même famille de modèles de langage ;

À ce moment-là, certains amis demanderont : « ChatGPT n'est-il pas aussi puissant que CodeX ?

Ne vous inquiétez pas, n'oubliez pas, l'une des caractéristiques de ChatGPT est que plus vous demandez, meilleur vous obtenez.

Par exemple, dans cet ensemble de référence, il y a une question appelée bitcount. ChatGPT a donné la mauvaise réponse lors du premier tour du processus de réparation :

À l'origine, ChatGPT devrait avoir n ^ = n - 1 à la ligne 7 Modification. à n & = n - 1.

Mais au premier tour, il a répondu :

Je ne peux pas dire s'il y a un bug dans le programme sans plus d'informations sur le comportement attendu et l'entrée qui a causé le problème.

Ainsi, après lui avoir donné plus d'informations, ChatGPT a répondu correctement à la question.

Par analogie, après avoir fourni davantage d'informations pour les questions auxquelles on n'a pas répondu correctement au premier tour, les capacités de correction de bugs de ChatGPT ont été grandement améliorées :

Au final, ChatGPT a répondu correctement à 31 questions sur 40 sur QuixBugs. .individuel.

Les internautes ont des sentiments et une joie mitigés

Concernant de tels résultats expérimentaux, les internautes ont des attitudes différentes envers ChatGPT corrigeant les bugs et gagnant SOTA.

Certains internautes pensent que cette affaire ne devrait pas provoquer un sentiment de crise chez les programmeurs, mais devrait les rendre heureux.

L'implication est que les programmeurs obtiendront deux fois le résultat avec la moitié de l'effort s'ils disposent d'un outil aussi utile.

Cependant, certaines personnes ont donné un avis différent à ce sujet :

La simplification du travail ne signifie-t-elle pas qu'il faut moins de main d'œuvre ?

Mais certains internautes estiment que le travail n'est jamais terminé :

Même si l'IA peut réduire le temps de développement d'un ordre de grandeur, cela signifie simplement que les programmeurs géreront la tâche suivante plus rapidement.

Dans l'ensemble, ChatGPT est efficace pour corriger les bugs et ne causera aucun dommage mortel aux programmeurs.

Mais et si on se concentrait sur les autres actions d’OpenAI ?

Formation d'externalisation mondiale ChatGPT pour écrire du code

Avant cela, OpenAI a déclaré que l'une des utilisations importantes de ChatGPT est d'aider les programmeurs à vérifier le code.

Autrement dit, il se positionne comme un outil auxiliaire disponible.

Par rapport à l'opinion selon laquelle « ChatGPT constitue une menace », lorsque les capacités de ChatGPT sont complètement évoluées, les programmeurs n'ont plus besoin d'avoir peur d'écrire des bugs.

Sur l'échiquier aménagé par OpenAI, il y a plus que simplement corriger des bugs et voler des postes de programmeurs de tour.

Afin de le rendre plus grand et plus fort, OpenAI s'est vu proposer 1 000 postes d'externalisation en Amérique latine et en Europe de l'Est.

La tâche principale des employés externalisés est d'étiqueter les données et de former ChatGPT à écrire du code

Sur ces 1 000 personnes, 40 % sont des programmeurs. Ils créent des données pour les modèles OpenAI afin d'apprendre les tâches d'ingénierie logicielle.

Pendant longtemps, les données de formation d'OpenAI ont été récupérées sur GitHub.

Les ensembles de données créés désormais par les programmeurs externalisés débutants incluent non seulement des lignes de code, mais également les étapes logiques de la pensée humaine derrière les lignes de code.

Un développeur de logiciels sud-américain a annoncé qu'il avait effectué un test de codage gratuit de cinq heures pour OpenAI.

Pendant tout le processus, sa tâche est divisée en deux parties.

• Explique en anglais écrit comment gérer un problème de codage
• Fournit une solution ;

Si un bug est détecté, OpenAI lui demandera en détail la situation spécifique du bug et comment le corriger.

Le programmeur doit montrer chaque étape de la réflexion sur le problème, et il devine qu'OpenAI souhaite probablement fournir des données de formation très spécifiques pour ChatGPT.

Andrej Karpathy, ancien directeur de l'IA de Tesla, a taquiné sur Twitter :

Le dernier langage de programmation populaire est l'anglais.

Mais cela dit, c'est une bonne chose que ChatGPT ait de fortes capacités de correction de bogues, et c'est aussi une bonne chose s'il peut vraiment évoluer au point où il peut compléter la partie par cœur du code.

Après tout, l'objectif déclaré d'OpenAI lors de sa création était de « garantir que l'intelligence artificielle générale puisse bénéficier à toute l'humanité ».

Même à première vue, ce qu'il a fait au fil des années semble un peu comme s'il s'était engagé à utiliser les efforts de certaines personnes pour mettre davantage de personnes au chômage.

De l'écrasement des humains dans l'arène Dota2 aux brillantes performances de GPT-3, DALL-E2 et ChatGPT, les nouveaux produits qu'il apporte sont toujours accompagnés de la discussion selon laquelle "xxx est sur le point de perdre son emploi".

Mais quoi qu’il en soit, les affaires l’ont toujours favorisé.

Pour l’instant, le principal modèle commercial d’OpenAI repose sur les frais d’API, les frais de jetons et les licences logicielles.

OpenAI a également récemment publié la version payante de ChatGPT, ChatGPT Pro, qui coûte 42 $ US par mois (environ 285 RMB).

Bien que les startups de conversations robotisées poussent comme des champignons après la pluie, de nombreux signes indiquent que le marché continue d'être optimiste à l'égard d'OpenAI.

Microsoft vient d'annoncer qu'il investira des milliards de dollars dans OpenAI et intégrera les modèles d'OpenAI dans des produits grand public et d'entreprise tels que Microsoft Bing.

Selon des personnes proches du dossier, le montant de l'investissement supplémentaire est d'environ 10 milliards de dollars américains.

Dans le même temps, le WSJ révélait que début janvier, Founders Fund, un fonds de capital-risque fondé par le milliardaire Peter Thiel, négociait pour investir dans OpenAI.

Il est rapporté que le montant du financement atteindra au moins 300 millions de dollars américains.

One More Thing

Lors de la première série d'expériences, ChatGPT n'a pas résolu le problème du nombre de bits de l'ensemble de données QuixBugs.

Mais si vous posez à nouveau cette question maintenant, vous constaterez que ChatGPT peut « tout recommencer » :

Cela signifie-t-il donc que ChatGPT a appris à le résoudre grâce à ce processus de recherche ?

Lien de référence :

[1] ​​//m.sbmmt.com/link/5f5d472067f77b5c88f69f1bcfda1e08​​​
[2] ​​​//m.sbmmt.com/link/8a47481ae534860850adf59f145e6b40​ ​​
[3] ​​​//m.sbmmt.com/link/7806689d934e610d660caf5536fea0b2​​​
[4] ​​​//m.sbmmt.com/link/4271846620d203fd0511c422d483cdbd​​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!