ChatGPT est devenu viral, la mentalité de LeCun s'est effondrée ! Qualifiant les grands modèles de langage de mauvaise voie, le modèle Meta a été mis hors ligne en 3 jours

Au cours des deux derniers jours, Yann LeCun, lauréat du prix Turing, a fait une légère dépression nerveuse.

Depuis que ChatGPT est devenu un grand succès, Microsoft a été très fort avec OpenAI.

Google, qui a été giflé, n'a rien dit sur le « risque de réputation ».

Tous ses modèles de langage, qu'il s'agisse de LaMDA, DeepMind's Sparrow et Apprentice Bard, peuvent être accélérés et mis sur les étagères. Il a ensuite investi près de 400 millions de dollars américains dans Anthropic, dans l'espoir de soutenir rapidement son propre OpenAI. (Je veux aussi ce que Microsoft a)

Cependant, il y a une personne qui voit Microsoft et Google prendre les devants, mais ne peut que sauter partout avec anxiété.

Cette personne est le scientifique en chef de l'IA de Meta, Yann LeCun.

Il était très contrarié sur Twitter : "ChatGPT est plein de bêtises, mais vous l'êtes si tolérant, mais mon Galactica n'est sorti que depuis trois jours, et vous l'avez grondé hors ligne."

Je ne vous dirai pas qui est contrarié

En tant que l'un des trois géants de l'apprentissage profond et lauréat du prix Turing, chaque mouvement de LeCun est très accrocheur.

Le 27 janvier, lors d'un petit rassemblement de médias et de dirigeants chez Zoom, LeCun a donné une évaluation surprenante de ChatGPT : « En ce qui concerne la technologie sous-jacente, ChatGPT n'est pas une grande innovation. Bien qu'aux yeux du public, c'est révolutionnaire, mais nous savons que c'est juste un produit bien conçu, c'est tout." "En plus de Google et Meta, il y en a six autres startups qui ont fondamentalement des technologies très similaires"

De plus, il a également dit que le Transformer. L'architecture utilisée par ChatGPT a été proposée par Google, et la méthode d'auto-supervision qu'elle utilisait était exactement ce qu'il préconisait à l'époque chez OpenAI.

Dès que ces propos sont sortis, le public était en émoi. Sam Altman, PDG d'Open AI, semble avoir directement licencié LeCun à cause de cette déclaration.

Ensuite, LeCun a continué à parler à tous les fans.

Le 28 janvier, LeCun a tweeté : « Les grands modèles de langage n'ont pas d'intuition physique, ils sont formés sur le texte. S'ils peuvent récupérer des réponses à des questions similaires à partir de leurs immenses mémoires associatives, ils peuvent réussir les questions d'intuition physique. Mais leurs réponses peuvent aussi être complètement fausses. "

Le 4 février, LeCun a de nouveau tweeté, disant plus crûment "Sur la voie de l'IA au niveau humain, les grands modèles de langage sont un chemin tortueux."

Dès qu'il a dit cela, les internautes se sont enthousiasmés et se sont précipités vers la zone de commentaires pour laisser des messages.

LeCun a ajouté plus tard : "Les LLM qui s'appuient sur la régression automatique et la prédiction de la réponse du mot suivant sont une mauvaise voie à suivre, car ils ne peuvent ni planifier ni raisonner

."

"Mais Transformer pré-entraîné SSL est la solution, car le système réel dans lequel il se trouve a la capacité de raisonner, de planifier et d'apprendre

LeCun a donné un exemple intéressant : il l'est." participant Pendant le podcast, j'ai montré la réponse de ChatGPT Cela semblait raisonnable, mais c'était tellement faux. Cependant, après que le modérateur ait lu la réponse de ChatGPT, il n'a pas immédiatement réalisé que c'était faux.

LeCun a expliqué : "Notre façon de penser et de percevoir le monde nous permet d'anticiper ce qui est sur le point de se produire. C'est la base pour nous d'acquérir le bon sens, et LLM n'a pas cette capacité

." Il a encore tweeté : "Avant de pouvoir créer une IA au niveau humain, nous devons créer une IA au niveau chat/chien. Et maintenant, nous ne pouvons même plus faire cela. Il nous manque quelque chose de très important. Vous savez, même un chat de compagnie a plus de bon sens et de compréhension du monde que n'importe quel grand modèle de langage. » Dans la zone de message, certains internautes ont critiqué LeCun sans ménagement : « Vous vous trompez ? J'ai personnellement testé que le taux d'erreur de Galactica est proche de 100 %, alors que le taux d'erreur de ChatGPT est de 100 %. près de 15 %."

En réponse aux critiques des internautes, LeCun a de nouveau tweeté pour exprimer son attitude : "Je n'ai jamais dit que les grands modèles de langage étaient inutiles. En fait, chez Meta, nous avons également lancé le Galactica. modèle, mais il n'a pas autant de succès que ChatGPT. ChatGPT est plein de bêtises, mais vous le tolérez tellement, mais mon Glacatica vient de sortir. En trois jours, vous m'avez grondé jusqu'à ce que je sois hors ligne. "

En réponse, certains internautes dans la zone de commentaires ont dit sarcastiquement : "Vous êtes génial. Pourquoi ne retournez-vous pas au laboratoire et ne me dites pas ce que vous avez dit ? Les choses sont faites."

LeCun a répondu : "Aujourd'hui, c'est dimanche, et le débat sur Twitter est mon passe-temps préféré du week-end."

Mon modèle n'a vécu que 3 jours

LeCun est naturellement bouleversé.

À la mi-novembre de l'année dernière, le laboratoire FAIR de Meta a proposé un modèle Galactica, capable de générer des articles, de générer des entrées d'encyclopédie, de répondre à des questions, d'effectuer des tâches multimodales de formules chimiques et de séquences de protéines, et bien plus encore.

Le document généré par Galactica

LeCun l'a également tweeté et loué, disant qu'il s'agit d'un modèle formé sur la base de la littérature académique. Donnez-lui un paragraphe et il générera une structure. .Thèse complète.

Cependant, parce que Galactica était plein de mensonges, ce n'était que trois jours après sa mise en ligne, et il a été trollé hors ligne par les internautes.

LeCun a retweeté Papers avec l'avis de Code et a dit comme une « grande rancune » : « Maintenant que nous ne pouvons plus jouer tranquillement avec Galactica, êtes-vous heureux ? quelques jours, mais les utilisateurs de l'époque avaient l'impression d'être face à un ennemi redoutable.

Certains internautes ont mis en garde : réfléchissez à la raison pour laquelle les étudiants utiliseront cet outil "d'écriture sur papier".

Certains internautes ont déclaré : "Les réponses du modèle Galactica sont pleines d'erreurs et de biais, mais son ton est très confiant et autoritaire. C'est terrible."

Ma Kus s'est également dit préoccupé par le fait que des modèles linguistiques aussi vastes pourraient être utilisés par les étudiants pour tromper les enseignants.

Cette formule familière et ce goût familier sont vraiment touchants : la panique et le doute provoqués par Galactica n'étaient-ils pas exactement ce que ChatGPT a vécu plus tard ?

En regardant cette période de l'histoire se répéter, mais avec une fin complètement différente, on ne peut pas dire que LeCun soit si amer sans raison.

Alors pourquoi ChatGPT peut-il devenir de plus en plus populaire au milieu du bruit des doutes, mais Galactica ne peut qu'être misérablement grondé et mis hors ligne ?

Tout d'abord, Galactica a été proposé par Meta selon lequel les grandes entreprises sont confrontées à plus de « risques de réputation » que les petites startups comme OpenAI.

De plus, la stratégie de positionnement des produits d'OpenAI est très intelligente. D'après le nom de ChatGTP, son concept principal est le chat.

Vous pouvez discuter avec lui de connaissances et de papiers, mais comme il s'agit de « chat », vous pouvez naturellement laisser tomber. Qui stipule que le chat doit porter sur des choses « précises » et « rigoureuses » ?

Mais Glactica est différent. Sa définition officielle est : "C'est un modèle pour la recherche scientifique." "C'est une intelligence artificielle formée avec les connaissances scientifiques humaines. Vous pouvez l'utiliser comme une nouvelle interface pour accéder et manipuler notre connaissance de l'univers. »

Bien sûr, cela vous prépare à une grande surprise.

Bien que d'un point de vue technique, ChatGPT n'ait pas beaucoup d'innovation, du point de vue du fonctionnement du produit, OpenAI a fait un très bon travail.

Pourquoi LLM dit-il des bêtises ?

Alors, pourquoi les grands modèles linguistiques disent-ils des bêtises ?

Dans un article apprécié par LeCun, l'auteur explique : « J'ai essayé d'utiliser ChatGPT pour m'aider à rédiger des articles de blog, mais ils se sont tous soldés par un échec. La raison est simple : ChatGPT crée souvent beaucoup de faux « faits » ".

Le langage naturel n'est pas synonyme de connaissance

Vous savez, LLM consiste à ressembler à un humain dans une conversation avec d'autres humains, et ils atteignent très bien cet objectif. Mais le fait est que paraître naturel et évaluer l’exactitude de l’information sont deux choses complètement différentes.

Alors, comment résoudre ce problème ?

Par exemple, nous pouvons utiliser une machine qui a codé la compréhension de la physique - le moteur physique :

• Modifier LLM afin qu'il puisse reconnaître qu'on lui pose une question sur la physique
• Convertir le problème en une question physique scène
• Utilisez un moteur physique pour simuler la scène
• Utilisez des mots pour décrire le résultat de la scène

Pour le "problème du faux papier", nous pouvons également utiliser des corrections similaires.

C'est-à-dire que ChatGPT reconnaît qu'on lui a posé une question sur un article scientifique, ou qu'il est en train d'écrire quelque chose sur un article, et l'oblige à consulter une base de données fiable avant de continuer.

Mais attention, si vous faites cela, cela signifie que vous avez greffé une « pensée » supplémentaire spécifique sur le LLM. Et il y a tout un tas de circonstances particulières dont il faut tenir compte. À ce stade, les ingénieurs humains savaient d’où venait la vérité, mais pas le LLM.

De plus, à mesure que les ingénieurs greffent de plus en plus de ces correctifs, il devient de plus en plus clair que le LLM n'est pas une forme d'intelligence artificielle générale.

Quelle que soit l'intelligence humaine, nous savons tous qu'elle est bien plus que la simple capacité de bien parler.

Les nombreuses utilisations du langage humain

Pourquoi les humains se parlent-ils ou écrivent-ils des choses les uns pour les autres ?

L'un des objectifs est de transmettre directement des informations factuelles, telles que "Je suis dans le magasin", "Il n'est pas branché", etc., mais c'est loin d'être la seule raison pour laquelle nous utilisons le langage :

• Persuasion, demande, ordre, instruction
• Transmettre des émotions
• Divertir les autres (y compris des romans, des blagues, etc.), se divertir
• Tricherie (mentir)
• Établir des relations (se connecter avec des amis, flirter)

...

Voir Il s'avère que les finalités de la communication humaine sont très diverses. De plus, nous n’indiquons généralement pas le but de ce que nous écrivons, et les auteurs et les lecteurs ont des perceptions différentes du rôle de ces contenus.

Si ChatGPT veut devenir un diffuseur de faits digne de confiance, il devra peut-être apprendre à différencier les différents objectifs de l'écriture humaine pour laquelle il a été formé.

C'est-à-dire qu'il devra apprendre à ne pas prendre les conneries au sérieux, à distinguer la persuasion et la propagande de l'analyse objective, à juger de manière indépendante la crédibilité d'une source par rapport à sa popularité, etc.

C'est une astuce très difficile, même pour les humains. Des études ont montré que les fausses informations se propagent sur Twitter plusieurs fois plus rapidement que les informations exactes – souvent plus incendiaires, divertissantes ou apparemment inédites.

La question est donc : pourquoi l’intelligence artificielle générative fonctionne-t-elle si bien sur le code informatique ? Pourquoi la précision dans l'écriture du code fonctionnel ne se traduit-elle pas par la précision dans la communication des faits ?

Une réponse possible à cette question est que le code informatique est fonctionnel et non communicatif. Écrire un morceau de code avec une grammaire correcte effectuera automatiquement certaines tâches, tandis qu'écrire une phrase avec une grammaire correcte n'aboutira pas nécessairement à quelque chose.

De plus, il est facile de limiter le corpus de formation du code informatique au « bon » code, c'est-à-dire au code qui remplit parfaitement son objectif. En revanche, il est presque impossible de produire un corpus de textes qui remplisse son objectif.

Ainsi, afin de se former pour être un diffuseur de faits digne de confiance, LLLM doit accomplir une tâche bien plus difficile que de s'entraîner à créer un code informatique fonctionnel.

Bien que je ne sache pas à quel point il est difficile pour les ingénieurs de construire un LLM capable de distinguer les faits des absurdités, c'est une tâche difficile même pour les humains.

Marcus : La réconciliation du siècle

La série de remarques de LeCun a amené tout le monde à se demander : n'est-ce pas ce que dirait Marcus ?

Les internautes chauds (chi) passionnés (gua) ont @Marcus, attendant avec impatience ses commentaires pointus à ce sujet.

Marcus, qui souffre de GPT depuis longtemps, était naturellement ravi et a immédiatement transmis le message de LeCun et a commenté « 100 évanouissements ».

Marcus a également posté sur son blog, passant en revue sa "relation amour-haine" avec LeCun.

Marcus a dit que lui et LeCun étaient de vieux amis depuis de nombreuses années, mais qu'ils se sont retournés l'un contre l'autre à cause de quelques mots qu'ils ont dit à propos du Galactica.

En fait, Marcus et LeCun sont en guerre l'un contre l'autre depuis plusieurs années, et ce n'est pas seulement à cause de la mise hors ligne du Galactica.

Différent du profil relativement bas des deux autres lauréats du prix Turing, Bengio et Hinton, ces dernières années, LeCun est également célèbre dans le cercle de l'IA pour son activité sur les réseaux sociaux. De nombreux emplois ont été promus sur Twitter dès qu'ils ont échoué à Arxiv.

Marcus, qui est également très médiatisé, a toujours considéré Twitter comme son terrain de jeu. Lorsque la publicité de LeCun entre en conflit avec les opinions de Marcus, aucune des parties n'a l'intention de se retenir.

Sur les réseaux sociaux, on peut dire qu'ils ont atteint le point où ils se disputent chaque fois qu'ils se disputent. Ils se parlent si grossièrement qu'ils pourraient même commencer à se battre lorsqu'ils se rencontrent. .

Et en parlant de Liang Zi, après que LeCun ait remporté le prix Turing avec Hinton et Bengio en 2019, il y avait une photo de groupe sur laquelle Marcus se tenait à l'origine à côté de LeCun, mais sur la photo partagée par LeCun, Marcus a été impitoyablement coupé. désactivé.

Cependant, la naissance de ChatGPT a tout changé.

ChatGPT est devenu viral et Galactica a été retiré du marché trois jours plus tard. Marcus était naturellement heureux de voir la folle performance de LeCun contre LLM.

Comme le dit le proverbe, l'ennemi de mon ennemi est mon ami. Que les remarques de LeCun soient une révélation après l'échec de son propre produit, ou qu'il soit jaloux de la situation actuelle des produits compétitifs de premier ordre, Marcus est prêt. pour mettre de l'huile sur le feu.

Marcus pense que lui et LeCun sont d'accord sur bien plus que le battage médiatique et les limites du LLM. Ils pensent tous les deux que Cicéron mérite plus d’attention.

Enfin, Marcus @ la personne qui comprend tout et a dit : "Il est temps d'apporter des avantages à la famille."

On peut dire que la guerre des réprimandes lancée par LeCun sur Twitter a non seulement donné à Marcus un homme très fort dans son armée anti-GPT, mais a également donné aux deux l'occasion de se serrer la main et de faire la paix. .

En regardant les choses de cette façon, Marcus est peut-être le gagnant ultime.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!