Chen Danqi チームによる新作: Llama-2 コンテキストが 128k に拡張され、10 倍のスループットに必要なメモリは 1/6 のみ

Chen Danqi チームは、新しい LLMコンテキスト ウィンドウ拡張機能をリリースしました。メソッド:

これは、トレーニングに 8,000 トークン ドキュメントのみを使用し、Llama-2 ウィンドウを次のように拡張できます。 128k。

最も重要なことは、このプロセスでは、モデルは元のメモリ の 1/6 のみを必要とし、モデルは 10 倍のスループットを得ることができるということです。

トレーニング コストを削減することもできます :

の一部だけで完成します。 チームは次のように述べています:

安価で効果的な

ロング コンテキスト機能を提供することを願っています。

現在、モデルとコードはHuggingFaceとGitHubで公開されています。

2 つのコンポーネントを追加するだけです

このメソッドは

と呼ばれ、正式名は「Parallel Encoding Context Extension#」です。 ##（並列エンコーディングによるコンテキスト拡張）」。 軽量フレームワークとして、事前トレーニングされたディレクティブ微調整 モデルのコンテキスト ウィンドウを拡張するために使用できます。

事前トレーニングされたデコーダー専用言語モデルの場合、CEPE は 2 つの小さなコンポーネントを追加することでそれを拡張します。

コンテキストはブロック エンコードされます。

1 つはクロスアテンション モジュール で、エンコーダの表現に焦点を当てるためにデコーダの各層に挿入されます。

完全なアーキテクチャは次のとおりです。

ここで、クロスアテンション層は主に、デコーダ モデルにおけるセルフアテンション層とフィードフォワード層の間のエンコーダ表現に焦点を当てています。

CEPE は、ラベルを付ける必要のないトレーニング データを慎重に選択することで、モデルが長いコンテキスト機能を備え、ドキュメントの検索にも優れています。

著者は、このような CEPE には主に 3 つの大きな利点があると紹介しています。

制約を受けないため位置エンコーディング 代わりに、制約はセグメント内にエンコードされたコンテキストを持ち、各セグメントは独自の位置エンコーディングを持ちます。

同時に、クロスアテンションはエンコーダーの最後の層の表現のみに焦点を当てているため、デコーダーのみを使用する言語モデルは、各トークンのキーと値のペアをそれぞれのトークンにキャッシュする必要があります。層なので、比較すると、CEPE に必要なメモリが大幅に削減されます。
(3) トレーニング コストの削減

完全な微調整方法とは異なり、CEPE は大規模なデコーダー モデルをフリーズしたまま、エンコーダーとクロスアテンションのみを調整します。 著者は、7B デコーダを 400M エンコーダとクロスアテンション レイヤー (合計 14 億パラメータ) を備えたモデル

チームは CEPE を Llama-2 に適用し、200 億トークンを使用してフィルタリングされたバージョンの RedPajama でトレーニングします (Llama-2 の事前トレーニング予算のみ 1) %)

perplexity## を達成します。メモリ使用量が減り、スループットが向上します。

コンテキストが 128k (トレーニング長の 8k をはるかに超える) に増加すると、低メモリ状態のままで CEPE の複雑さは減少し続けます。

対照的に、Llama-2-32K と YARN-64K は、トレーニング期間を超えて一般化できないだけでなく、メモリ コストの大幅な増加も伴います。

第 2 に、

検索機能

が強化されます。

取得したコンテキストを使用することで、CEPE はモデルの複雑さを効果的に改善でき、そのパフォーマンスは RePlug よりも優れています。

段落 k=50 (トレーニングは 60) であっても、CEPE は複雑さを改善し続けることに注目する価値があります。