Big models have their own understanding of language! MIT paper reveals the 'thought process' of large models

大きなモデルは、現実世界についての独自の理解を形成することができます!

MITの研究によると、モデルの能力が高まるにつれて、現実の理解は単なる模倣を超えたものになる可能性があります。

たとえば、大型モデルが匂いを嗅いだことがない場合、それは匂いを理解できないことを意味しますか？

研究により、理解を容易にするためにいくつかの概念を自発的にシミュレートできることが判明しました。

この研究は、将来、大規模なモデルが言語と世界をより深く理解できることが期待されることを意味します この論文は、トップカンファレンスである ICML 24 に採択されました。

この論文の著者は、MIT コンピューター人工知能研究所 (CSAIL) の中国人博士課程学生 Charles Jin とその指導教員 Martin Rinard 教授です。

研究では、著者は大規模なモデルにコードテキストのみを学習するように依頼したところ、モデルがその背後にある意味を徐々に理解していることがわかりました。

リナード教授は、この研究は現代の人工知能の中核となる問題に直接取り組んでいると述べました -

大規模モデルの能力は単に大規模な統計的相関によるものなのか、それともそうでしょうか彼らが取り組む現実世界の問題について有意義な理解を生み出すということは本当ですか?

△出典：MIT公式ウェブサイト

同時に、この研究は多くの議論を引き起こしました。

一部のネチズンは、大きなモデルは人間とは異なる言語を理解するかもしれないが、この研究は少なくともモデルがトレーニングデータを記憶するだけではないことを示していると述べました。

大規模モデルに純粋なコードを学習させよう

大規模モデルが意味レベルの理解を生み出すことができるかどうかを調査するために、著者は、プログラム コードとそれに対応する入力と出力で構成される合成データ セットを構築しました。

これらのコード プログラムは、Karel と呼ばれる教育言語で書かれており、主に 2D グリッド世界でナビゲートするロボットのタスクを実装するために使用されます。

このグリッドの世界は 8x8 のグリッドで構成されており、各グリッドには障害物、マーカー、またはオープン スペースを含めることができます。ロボットはグリッド間を移動し、マーカーの配置/ピックアップなどの操作を実行できます。

カレル言語には、move (1 歩進む)、turnLeft (左に 90 度回転)、turnRight (右に 90 度回転)、pickMarker (マーカーを拾う)、putMarker (マーカーを配置) の 5 つの原始操作が含まれています。オブジェクト）、プログラムはこれらの基本的な操作のシーケンスで構成されます。

著者らは、各プログラムの長さが 6 ～ 10 の 500,000 個のカレル プログラムを含むトレーニング セットをランダムに生成しました。

各トレーニング サンプルは、5 つの入力状態、5 つの出力状態、および完全なプログラム コードの 3 つの部分で構成されます。入力状態と出力状態は特定の形式の文字列にエンコードされます。

このデータを使用して、著者らは標準の Transformer アーキテクチャの CodeGen モデルのバリアントをトレーニングしました。

トレーニング プロセス中、モデルは各サンプルの入出力情報とプログラム プレフィックスにアクセスできますが、プログラム実行の完全な軌跡と中間状態を確認することはできません。

トレーニング セットに加えて、著者はモデルの汎化パフォーマンスを評価するために 10,000 個のサンプルを含むテスト セットも構築しました。

言語モデルがコードの背後にあるセマンティクスを把握しているかどうかを研究し、同時にモデルの「思考プロセス」を深く理解するために、著者は一連の検出器を設計しました。線形分類器と単一/二重隠れ層 MLP を含む組み合わせ。

検出器の入力は、プログラムトークンの生成過程における言語モデルの隠れた状態であり、予測ターゲットは、プログラムトークンに対するロボットの向きや偏差を含む、プログラム実行の中間状態です。初期位置とは、変位（位置）と障害物に正面を向いているかどうか（障害物）の 3 つの特性です。

生成モデルのトレーニング プロセス中、著者は 4000 ステップごとに上記の 3 つの特徴を記録し、検出器のトレーニング データ セットを形成するために生成モデルの隠れた状態も記録しました。

大規模モデル学習の 3 段階

言語によって生成されたプログラムの多様性、複雑さ、その他の指標を観察することによってモデル トレーニング プロセスが変化するにつれて、著者はトレーニング プロセスを 3 つのステージに分割します -

喃語 (ナンセンス) ステージ: 出力プログラムは反復性が高く、検出器の精度は不安定です。

文法習得段階: プログラムの多様性が急速に増加し、生成精度がわずかに増加し、混乱が減少します。これは、言語モデルがプログラムの構文構造を学習したことを示しています。

意味獲得段階: プログラムの多様性と構文構造の習熟度は安定していますが、生成精度と検出器のパフォーマンスは大幅に向上しており、言語モデルがプログラムの意味を学習していることを示しています。

Specifically, the Babbling stage occupies the first 50% of the entire training process. For example, when the training reaches about 20%, no matter what specification is input, the model will only generate a fixed program - "pickMarker" Repeat 9 times.

The grammar acquisition stage is at 50% to 75% of the training process. The model’s perplexity on the Karel program has dropped significantly, indicating that the language model has begun to better adapt to the statistical characteristics of the Karel program, but the generated The accuracy of the program has not improved much (from about 10% to about 25%), and it still cannot complete the task accurately.

The semantic acquisition stage is the final 25%, and the accuracy of the program has improved dramatically, from about 25% to more than 90%, and the generated program can accurately complete the given task.

Further experiments found that the detector can not only predict the synchronized time step at time t, but also predict the program execution status of subsequent time steps.

For example, assume that the generative model generates token "move" at time t and will generate "turnLeft" at time t+1.

At the same time, the program state at time t is that the robot is facing north and is located at coordinates (0,0), while the robot at time t+1 will be that the robot will be facing west, with the position unchanged.

If the detector can successfully predict from the hidden state of the language model at time t that the robot will face the west at time t+1, it means that the hidden state is already included before generating "turnLeft" The status change information brought by this operation.

This phenomenon shows that the model does not only have a semantic understanding of the generated program part, but at each step of generation, it has already anticipated and planned the content to be generated next, showing that Develop preliminary future-oriented reasoning abilities.

But this discovery has brought new questions to this research-

Is the accuracy improvement observed in the experiment really an improvement in the generative model? , or is it the result of the detector's own inference?

In order to resolve this doubt, the author added a semantic detection intervention experiment.

The basic idea of the experiment is to change the semantic interpretation rules of program operations, which are divided into two methods: "flip" and "adversarial".

"flip" is a forced reversal of the meaning of the instruction. For example, "turnRight" is forcibly interpreted as "turn left". However, only "turnLeft" and "turnRight" can perform this kind of reversal; # #

"adversarial" randomly scrambles the semantics corresponding to all instructions. The specific method is as shown in the table below.

If the hidden state of the generative model only encodes the syntactic structure of the program, rather than the semantic information, then the detector should still be able to learn from the hidden state Equivalent performance to extract these changed semantic information.

On the contrary, if the detector performance drops significantly, it means that the performance improvement shown by the detector is indeed because the hidden state of the generative model encodes the actual semantics.

The experimental results show that under the two new semantics, the performance of the detector has dropped significantly.

It is especially more obvious in the "adversarial" mode, which is also consistent with the feature that the semantics in this mode are significantly different from the original semantics.

These results strongly rule out the possibility that the detector "learns semantic mapping by itself", further confirming that the generative model indeed grasps the meaning of the code.

Paper address:

https://icml.cc/virtual/2024/poster/34849

Reference link:

# # [ 1 ] https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814

[ 2 ] https://www.reddit.com/r/LocalLLaMA/comments/1esxkin/llms_develop_their_own_understanding_of_reality/

The above is the detailed content of Big models have their own understanding of language! MIT paper reveals the 'thought process' of large models. For more information, please follow other related articles on the PHP Chinese website!