ルカン氏の論文は「ウォッシング」で告発された？ LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。

チューリング賞受賞者のヤン・レクン氏は、AI分野の三大巨人の一人として、彼の発表した論文は当然「バイブル」として研究されています。

しかし、最近、突然誰かが飛び出してきて、ルカンの「地べたに座っている」ことを批判しました。「それは私の中心的な視点を言い換えているだけです。」

#もしかして...

##はい、この人は「 LSTMの父」ユルゲン・シュミットフーバー。

シュミットフーバー氏は、ルカン氏の論文では 1990 年から 2015 年までの重要な結果について言及していないと述べました。記事内で言及されている「主な元の結果」には「学習」が含まれています。サブ目標、予測可能な抽象表現、および複数の時間スケール。

元の推奨事項で使用されている「焼き直し」という言葉は、元のアイデアを革新なしに別の方法で表現することを意味し、これは適切な「洗浄」です。

同時に、証拠を詳細に列挙した長い記事も投稿した。もちろん、これはシュミットフーバーの一方的な発言としか考えられない。

#しかし、ネチズンは明らかにそれを購入しませんでした。

「あなたはかつて AI コミュニティの重鎮でしたが、今ではみんなの学術的成果があなたのアイデアを盗用したと主張することで有名になりました。」

「あなたはニューラル ネットワーク、変圧器、LSTMS を発明しました。その後、トイレット ペーパーやスライスしたパンもあなたの家族によって発明されました。」

それで、それは何ですか?

まず、この問題の詳細を見てみましょう。

2022 年 6 月 14 日、Schmidhuber の Science Tabloid (MIT Technology Review のことを話しています) と呼ばれる「科学タブロイド」に、AGI. Conception に関する新しい研究について詳しく説明した LeCun によるレポートが掲載されました。

6 月 27 日、Yann LeCun は数年間保存していた論文「自律型マシン インテリジェンスへの道」を発表し、それを「将来の発展を指摘するもの」と呼びました。 AIの方向性を「する」。

この論文は、「機械が動物や人間のようにどのように学習できるか」という問題について体系的に述べています。60 ページ以上の長さです。興味のある方はぜひ読んでみてください。

LeCun 氏は、この記事は今後 5 ～ 10 年の AI 開発の一般的な方向性についての彼の考えであるだけでなく、今後数年間で研究する予定であることについても述べており、より多くの人々にインスピレーションを与えることを望んでいると述べました。 AI業界に参加する研究。

おそらくルカンの論文の影響力が増大したため、シュミットフーバーはついに7月7日に自ら書いた長い論文を出版することを決定し、ルカンが自分のアイデアを盗用したと怒って非難した。

シュミットフーバー氏は、記事が掲載される前に、「科学タブロイド紙」が報告書の草稿（まだ機密）を送ってきたので、これについてコメントを残してほしいと述べた。

そこでシュミットフーバーは雄弁に「苦情」を書き、ルカンの論文は基本的に彼の以前の著作の複製であり、引用されていないと述べた。

予想通り、彼のコメントは不評となった。

LeCun は引用せずに私の研究を繰り返しただけです。

シュミットフーバーはこの長い記事の中で、読者が原論文を研究し、これらのコメントの科学的内容を自分で判断してほしいと述べ、また、彼の研究が評価され評価されることを望んでいると述べた。

LeCun は論文の冒頭で、この論文で説明されているアイデアの多くは (ほぼすべて) 多くの著者によってさまざまな文脈とさまざまな形で提示されたものであると述べましたが、シュミットフーバーは、残念ながら論文のほとんどは、内容は1990年以降の私たちの論文と「類似」しており、引用マークはありません。

まずは今回のルカン攻撃の証拠（一部）を見てみましょう。

証拠 1:

LeCun: 今日の人工知能研究では、次の 3 つの主要な課題を解決する必要があります: (1) 機械はどのようにして世界を表現することを学習できるか? 、主に観察を通じて予測することを学び、行動することを学ぶ (2) 機械が勾配ベースの学習と互換性のある方法でどのように推論し計画を立てることができるか (3) 機械が階層的な方法で、複数の抽象化レベルでどのようにそれを行うことができるか認識 (3a) と行動計画 (3b) の表現を大規模に学習

シュミットフーバー: これらの問題は、1990 年、1991 年、1997 年、2015 年に出版された一連の論文で詳しく取り上げられています。

1990 年に、長期計画と強化学習 (RL) および人工好奇心による探索のための勾配ベースの人工ニューラル ネットワーク (NN) に関する最初の研究が発表されました。

これは、コントローラーとワールド モデルと呼ばれる 2 つのリカレント ニューラル ネットワーク (RNN、最も強力な NNN) の組み合わせについて説明します。

その中で、ワールド モデルはコントローラーのアクションの結果を予測することを学習します。コントローラーはワールド モデルを使用して、事前にいくつかのタイム ステップを計画し、予測された報酬を最大化するアクション シーケンスを選択できます。

ニューラル ネットワークに基づく階層的知覚に対する答え (3a) に関して、この質問は少なくとも部分的には、私の 1991 年の出版物「最初の深層学習マシン - ニューラル シーケンス」からインスピレーションを受けています。アナライザー「ブロッカー」ソリューション。

リカレント ニューラル ネットワーク (RNN) の深い階層で教師なし学習と予測コーディングを使用して、「長いデータ シーケンスの内部表現」を見つけます。

ニューラル ネットワークに基づく階層的行動計画 (3b) に対する答えは、1990 年に階層強化学習 (HRL) に関する私の論文によって少なくとも部分的に解決され、この問題は解決されました。

証拠 2:

LeCun: コスト モジュールの両方のサブモジュールは微分可能であるため、そのため、エネルギー勾配は他のモジュール、特にワールド モジュール、パフォーマンス モジュール、知覚モジュールを通じて逆伝播できます。

シュミットフーバー: これはまさに私が 1980 年に発表した「フィードフォワード ニューラル ネットワークによるシステム識別」論文を引用して 1990 年に発表したものです。

2000 年、私の元博士研究員 Marcus Hutter は、ワールド モデルとコントローラーを学習するための、理論的に最適で一般的な微分不可能な方法を発表しました。 (ゲーデル マシンと呼ばれる数学的に最適な自己参照 AGI も参照)

証拠 3:

LeCun: 短期記憶モジュールアーキテクチャは、キーと値のメモリ ネットワークに似ている可能性があります。

シュミットフーバー: しかし、彼は、私が 1991 年にシーケンス処理「高速ウェイト コントローラー」または高速ウェイト プログラマー (FWP) について説明したときに、そのような「キーと値のメモリ ネットワーク」を最初に公開したことについて言及しませんでした。 FWP には、バックプロパゲーションを通じて学習し、別のニューラル ネットワークの高速な重みを迅速に変更する低速ニューラル ネットワークがあります。

証拠 4:

LeCun: この論文の主な独自性(I) すべてのモジュールが微分可能であり、その多くがトレーニング可能な全体的な認知アーキテクチャ。 (II) H-JEPA: 複数の抽象レベルと複数の時間スケールで表現を学習する世界の非生成階層アーキテクチャを予測するモデル。 (III) 有益かつ予測可能な表現を生成する一連の非対照的な自己教師あり学習パラダイム。 (IV) 不確実性の下での階層計画のための予測世界モデルの基礎として H-JEPA を使用します。

この点に関して、シュミットフーバー氏もルクン氏が挙げた4つのモジュールを一つ一つ校正し、論文と重複する点を挙げた。

記事の最後で、彼は、この記事の焦点は、出版された論文やその著者によって反映されたアイデアを攻撃することではないと述べました。重要な点は、これらのアイデアはルカンの本に書かれているほど「オリジナル」ではないということです。紙。

彼は、これらのアイデアの多くは私と私の同僚の努力によって提案されたと述べました。ルカンが現在提案している彼の「主な独自の貢献」は、実際には私の数十年にわたる研究貢献と切り離せないものです。私のコメントの妥当性を自分で判断してください。

LSTM の父から...

実は、この叔父が自分の結果が他人に盗用されたと主張したのはこれが初めてではありません。

すでに昨年 9 月の時点で、彼は自身のブログに、最も引用されているニューラル ネットワークの論文結果は私の研究室で完了した研究に基づいていると投稿しました:

「言うまでもなく、LSTM、そしてResNet、AlexNet、GAN、Transformer など、今日有名な他の先駆的な作品はすべて私の作品に関連しています。一部の作品の最初のバージョンは私によって作成されましたが、今ではこれらの人々はそうではありません。武道倫理の強調と不規則な引用により、叔父はとても怒っていますが、ユルゲン・シュミットフーバーはここ数年、確かに少々不幸だったと言わざるを得ません。彼らは両方とも AI 分野の上級人物であり、多くの画期的な成果を上げていますが、彼らが受けている評判と認識は常に期待をはるかに下回っているようです。

特に 2018 年に、深層学習の 3 人の巨人、ヨシュア ベンジオ、ジェフリー ヒントン、ヤン ルカンがチューリング賞を受賞したとき、多くのネチズンは、なぜ LSTM にチューリング賞が授与されなかったのか疑問に思いました。彼はディープラーニングの分野の達人でもあります。

2015 年に、Bengio、Hinton、LeCun という 3 人の偉大な頭脳が共同で Nature にレビューを投稿し、そのタイトルはそのまま「ディープ ラーニング」と呼ばれていました。

この記事は、従来の機械学習テクノロジーから始まり、最新の機械学習の主なアーキテクチャと手法を要約し、多層ネットワーク アーキテクチャをトレーニングするためのバックプロパゲーション アルゴリズムと、畳み込みニューラル ネットワーク、分散表現、および言語の誕生について説明します。処理、リカレント ニューラル ネットワークとそのアプリケーションなど。

それから 1 か月も経たないうちに、シュミットフーバーは自身のブログに批判を投稿しました。

シュミットフーバー氏は、他の先駆者が深層学習について以前から見解を持っていたのに、記事全体で 3 人の著者自身の研究結果が何度も引用されているため、この記事には非常に不満を感じたと述べました。は全く言及されていない。

彼は、チューリング賞を受賞した「深層学習の 3 人の巨人」は、他人の名誉を貪り、私利私欲を考える泥棒になったと信じています。彼らは、世界における地位を利用して互いに媚び合っています。そして彼らの上級学者を抑圧します。

2016年、ユルゲン・シュミットフーバーはNIPSカンファレンスのチュートリアルで「GANの父」イアン・グッドフェローと真っ向から対決しました。

その時、グッドフェローが GAN と他のモデルの比較について話していると、シュミットフーバーが立ち上がって質問を遮りました。

シュミットフーバー氏の質問は約 2 分間と非常に長く、主な内容は彼が 1992 年に PM を提案したことを強調し、その後それについて多くを語った。 、実装プロセスなど、最後の図は次のことを示しています: あなたの GAN と私の PM の間に類似点があるかどうか教えていただけますか?

グッドフェローは弱みを見せませんでした: あなたが言及した問題については、これまで何度も電子メールで伝えてきましたし、私もかなり前に公の場で返答しました。この件で視聴者の忍耐を無駄にしたくありません。機会。

待て、待て...

おそらく、シュミットフーバーのこれらの「ハニー作戦」は、ルクンからのメールで説明できるだろう:

「ユルゲンはみんなに、自分は執着しすぎていると言った」認められて、自分に値するものはあまり受け取っていないと常に言います。ほぼ習慣的に、彼は他の人のスピーチの最後に必ず立ち上がって、今提示された結果に対して責任があると言います。一般的に言えば、この行動それは無理です。」

以上がルカン氏の論文は「ウォッシング」で告発された？ LSTM の父は怒って、「私の作品をコピーしてオリジナルとしてマークしてください」と書きました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。