Le journal de LeCun a été accusé de « lavage » ? Le père du LSTM a écrit avec colère : Copiez mon travail et marquez-le comme original.

​Yann Lecun, lauréat du prix Turing, étant l'un des trois géants de l'industrie de l'IA, les articles qu'il a publiés sont naturellement étudiés comme la « Bible ».

Cependant, récemment, quelqu'un a soudainement critiqué LeCun pour "être assis sur la même longueur d'onde" : "Ce n'est rien de plus que de reformuler mon point de vue fondamental."

Se pourrait-il...

Oui, cette personne n'est autre que Jürgen Schmidhuber, le "Père du LSTM".

Schmidhuber a déclaré que l'article de LeCun ne mentionnait pas de résultats importants de 1990 à 2015. Les « principaux résultats originaux » mentionnés dans l'article incluent « des sous-objectifs d'apprentissage, des représentations abstraites prévisibles, multiples. Ils ont également publié des concepts tels que " une échelle de temps".

Le mot rehash utilisé dans le tweet original est d'exprimer l'idée originale d'une autre manière sans innovation, ce qui est une véritable "rehash".

Dans le même temps, il a également publié un long article répertoriant les preuves en détail. Bien entendu, cela ne peut être considéré que comme une déclaration unilatérale de Schmidhuber.

Cependant, les internautes ne l’ont visiblement pas acheté.

"Auparavant, vous étiez un poids lourd dans la communauté de l'IA, mais vous êtes désormais célèbre pour avoir affirmé que les résultats académiques de chacun étaient plagiés à partir de vos idées."

"Vous avez inventé les réseaux de neurones, les transformateurs et les LSTMS. Ensuite, le papier toilette et les tranches de pain ont également été inventés par votre famille."

Alors, c'est quoi ?

Voyons d'abord les tenants et les aboutissants de l'affaire.

Le 14 juin 2022, un "tabloïd scientifique" appelé Science Tabloid de Schmidhuber (je parle de vous, MIT Technology Review) a publié un rapport de LeCun, qui développait son nouveau concept d'AGI.

Le 27 juin, Yann LeCun a publié l'article "A Path Towards Autonomous Machine Intelligence" qu'il préparait depuis plusieurs années, le qualifiant de "travail qui indique l'orientation future du développement de l'IA".

Cet article aborde systématiquement la question de "comment les machines peuvent apprendre comme les animaux et les humains". Il fait plus de 60 pages. Les amis intéressés peuvent le lire.

LeCun a déclaré que cet article ne reflète pas seulement ses réflexions sur l'orientation générale du développement de l'IA dans les 5 à 10 prochaines années, mais aussi sur ce qu'il prévoit de rechercher au cours des prochaines années et espère inspirer davantage de personnes dans le domaine de l'IA. domaine à étudier ensemble.

Peut-être en raison de l'influence croissante du journal de LeCun, Schmidhuber a finalement décidé de publier un long article écrit par lui-même le 7 juillet, accusant avec colère LeCun de plagier son idée.

Schmidhuber a déclaré qu'avant la publication publique de l'article, le "tabloïd scientifique" avait envoyé une ébauche du rapport (encore confidentiel) et espérait qu'il pourrait faire quelques commentaires à ce sujet.

Schmidhuber a donc écrit une "plainte" avec éloquence, affirmant que l'article de LeCun était fondamentalement une réplique de son travail précédent et qu'il n'était pas cité.

Sans surprise, ses commentaires sont tombés en disgrâce.

LeCun vient de réitérer mon travail sans citation !

Schmidhuber a déclaré dans ce long article qu'il espère que les lecteurs pourront étudier les articles originaux et juger par eux-mêmes du contenu scientifique de ces commentaires, et espère également que son travail sera reconnu et reconnu.

LeCun a déclaré au début de l'article que bon nombre des idées décrites dans cet article ont été (presque toutes) proposées par de nombreux auteurs dans différents contextes et sous différentes formes. Schmidhuber a rétorqué que, malheureusement, la majeure partie du contenu de cet article est simplement. comme le nôtre, les articles rédigés depuis 1990 sont « comme du déjà vu » et ne comportent aucun signe de citation.

Jetons d’abord un coup d’œil aux preuves (parties) de son attaque contre LeCun cette fois.

Preuve 1 :

LeCun : La recherche actuelle sur l'intelligence artificielle doit résoudre trois défis principaux : (1) Comment les machines peuvent-elles apprendre à représenter le monde, à prédire et à prendre des mesures principalement par l'observation (2) Machines Comment raisonner et planifier (3) d'une manière compatible avec l'apprentissage basé sur le gradient Comment les machines apprennent à représenter la perception (3a) et la planification d'action (3b) de manière hiérarchique, à plusieurs niveaux d'abstraction et à plusieurs échelles de temps

Schmidhuber : Ces questions ont été abordées en détail dans une série d'articles publiés en 1990, 1991, 1997 et 2015.

En 1990, le premier travail sur les réseaux de neurones artificiels (NN) basés sur des gradients pour la planification à long terme, l'apprentissage par renforcement (RL) et l'exploration par curiosité artificielle a été publié.

Il décrit la combinaison de deux réseaux de neurones récurrents (RNN, le NNN le plus puissant), appelé contrôleur et modèle mondial.

Parmi eux, le modèle mondial apprend à prédire les conséquences des actions du contrôleur. Le contrôleur peut utiliser le modèle mondial pour planifier plusieurs pas de temps à l'avance et sélectionner une séquence d'actions qui maximise la récompense prévue.

Concernant la réponse à la perception hiérarchique (3a) basée sur les réseaux de neurones, ce problème est au moins partiellement résolu par mon "premier machine d'apprentissage profond - Neural Sequence Blocker" publié en 1991.

Il utilise l'apprentissage non supervisé et le codage prédictif dans des hiérarchies profondes de réseaux de neurones récurrents (RNN) pour trouver "les meilleures caractéristiques des longues séquences de données" à plusieurs niveaux d'abstraction et à plusieurs échelles de temps (exactement ce dont LeCun a écrit) représentation interne".

Concernant la réponse à la planification d'action hiérarchique (3b) basée sur les réseaux de neurones, ce problème a été au moins partiellement résolu en 1990 avec mon article sur l'apprentissage par renforcement hiérarchique (HRL).

Preuve 2 :

LeCun : Puisque les deux sous-modules du module de coût sont différentiables, le gradient d'énergie peut être rétropropagé à travers d'autres modules, notamment le module monde, le module performance et le module perception. .

Schmidhuber : C'est exactement ce que j'ai publié en 1990, citant l'article "System Identification with Feedforward Neural Networks" publié en 1980.

En 2000, mon ancien postdoc Marcus Hutter a même publié une méthode théoriquement optimale, générale et non différenciable pour l'apprentissage des modèles et des contrôleurs du monde. (Voir aussi les AGI autoréférentielles mathématiquement optimales appelées machines de Gödel)

Preuve 3 :

LeCun : L'architecture du module de mémoire à court terme peut être similaire à un réseau de mémoire clé-valeur.

Schmidhuber : Cependant, il a omis de mentionner que j'ai publié le premier "réseau de mémoire clé-valeur" de ce type en 1991, lorsque j'ai décrit le traitement de séquence "Fast Weight Controllers" ou Fast Weight Programmers (FWP). FWP possède un réseau neuronal lent qui apprend par rétropropagation à modifier rapidement les poids rapides d'un autre réseau neuronal.

Preuve 4 :

LeCun : Les principales contributions originales de cet article sont : (I) Une architecture cognitive holistique dans laquelle tous les modules sont différenciables et beaucoup d'entre eux sont formés de manière différenciable. (II) H-JEPA : modèles qui prédisent des architectures hiérarchiques non génératives du monde qui apprennent des représentations à plusieurs niveaux d'abstraction et à plusieurs échelles de temps. (III) Une série de paradigmes d'apprentissage auto-supervisés non contrastés qui produisent des représentations à la fois informatives et prévisibles. (IV) Utiliser H-JEPA comme base d'un modèle mondial prédictif pour la planification hiérarchique sous incertitude.

À cet égard, Schmidhuber a également relu un par un selon les quatre modules répertoriés par LeCun, et a donné des points qui chevauchent son article.

À la fin de l'article, il a déclaré que le but de cet article n'est pas d'attaquer les articles publiés ou les idées reflétées par leurs auteurs. Le point clé est que ces idées ne sont pas aussi « originales » que celles écrites dans l'article de LeCun.

Il a dit que beaucoup de ces idées ont été avancées grâce aux efforts de moi et de mes collègues. Sa « principale contribution originale » que LeCun propose maintenant est en fait indissociable de mes décennies de contributions à la recherche. J'espère que les lecteurs pourront juger par eux-mêmes. de mes commentaires.

Du père du LSTM à...

En fait, ce n'est pas la première fois que cet homme prétend que d'autres ont plagié ses résultats.

Dès septembre de l'année dernière, il a posté sur son blog que les résultats des articles sur les réseaux neuronaux les plus cités sont basés sur les travaux réalisés dans mon laboratoire :

"Inutile de dire que le LSTM, il y en a d'autres. Les célèbres travaux pionniers d'aujourd'hui, comme comme ResNet, AlexNet, GAN et Transformer, sont tous liés à mon travail. La première version de certains travaux a été réalisée par moi, mais maintenant ces personnes ne suivent pas l'éthique martiale et leurs citations ne sont pas standardisées. il y a un problème avec la perception actuelle de l'attribution de ces résultats. "Bien que l'oncle soit très en colère, je dois dire que Jürgen Schmidhuber est quelque peu bouleversé au fil des années. Ils sont tous deux des personnalités de premier plan dans le domaine de l’IA et ont réalisé de nombreuses réalisations révolutionnaires, mais la réputation et la reconnaissance qu’ils ont reçues semblent toujours bien en deçà des attentes.

Surtout en 2018, lorsque les trois géants du deep learning : Yoshua Bengio, Geoffrey Hinton et Yann LeCun ont remporté le Turing Award, de nombreux internautes se sont interrogés : pourquoi le Turing Award n'a-t-il pas été attribué à Jürgen Schmidhuber, le père du LSTM ? Il est également maître dans le domaine du deep learning.

En 2015, trois grands esprits, Bengio, Hinton et LeCun, ont publié conjointement une critique sur Nature, et le titre s'appelait directement "Deep Learning".

L'article part de la technologie d'apprentissage automatique traditionnelle, résume l'architecture et les méthodes principales de l'apprentissage automatique moderne, décrit l'algorithme de rétropropagation pour la formation de l'architecture de réseau multicouche, ainsi que la naissance du réseau neuronal convolutif, de la représentation distribuée et du traitement du langage. comme les réseaux de neurones récurrents et leurs applications, etc.

Moins d'un mois plus tard, Schmidhuber a publié une critique sur son blog.

Schmidhuber a déclaré que cet article le rendait très mécontent car l'article entier citait à plusieurs reprises les propres résultats de recherche des trois auteurs, sans mentionner les contributions antérieures d'autres pionniers de l'apprentissage profond.

Il estime que les « Trois géants du Deep Learning » qui ont remporté le prix Turing sont devenus des voleurs avides du crédit des autres et pensant qu'ils sont intéressés. Ils utilisent leur statut dans le monde pour se flatter et réprimer leurs prédécesseurs. .

En 2016, Jürgen Schmidhuber a eu un face-à-face avec le "Père du GAN" Ian Goodfellow dans le Tutoriel de la conférence NIPS.

À cette époque, alors que Goodfellow parlait de comparer GAN avec d'autres modèles, Schmidhuber s'est levé et l'a interrompu avec des questions.

La question de Schmidhuber était très longue et a duré environ deux minutes. Le contenu principal était de souligner qu'il avait proposé le PM en 1992, puis de parler de nombreux principes, processus de mise en œuvre, etc., et enfin de l'image. était épuisé. Dakimi : Pouvez-vous me dire s'il y a des similitudes entre votre GAN et mon PM ?

Goodfellow n'a pas montré de faiblesse : nous avons déjà fait part du problème que vous avez mentionné à plusieurs reprises dans des e-mails, et je vous ai répondu publiquement il y a longtemps. Je ne veux pas perdre la patience du public à cette occasion.

Attendez, attendez...

Peut-être que ces "opérations de miel" de Schmidhuber peuvent s'expliquer par un email de LeCun :

"Jürgen est trop obsédé par la reconnaissance de tout le monde et dit toujours qu'il ne comprend pas. Il a a gagné beaucoup de choses. Presque habituellement, il se lève toujours à la fin de chaque discours et dit qu'il est responsable des résultats qui viennent d'être présentés. De manière générale, ce comportement est déraisonnable.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!