RLHFなしでGPT-4/Llama2の性能を大幅に向上、北京大学チームがアライナーアライメントの新たなパラダイムを提案

背景

大規模言語モデル (LLM) は強力な機能を実証していますが、攻撃的な応答や虚偽の情報など、予測不可能で有害な出力を生成する可能性もあります。個人情報の漏洩はユーザーや社会に損害を与えます。 これらのモデルの動作が人間の意図や価値観と一致していることを確認することは緊急の課題です。

ヒューマンフィードバックに基づく強化学習 (RLHF) はソリューションを提供しますが、複雑なトレーニング アーキテクチャ、パラメーターに対する感度の高さ、報酬モデルに直面しています。さまざまな環境での不安定性など、複数の課題に直面しています。データセット。これらの要因により、RLHF テクノロジーは実装が困難になり、効果的かつ再現可能になります。 #これらの課題を克服するために、北京大学チームは新しい効率的なアライメント パラダイムを提案しました。Aligner

、これは 中心となるのは、整列された回答と整列されていない回答の間の修正された残差を学習することです。 これにより、面倒な RLHF プロセスをバイパスします。 Aligner は、残差学習とスケーラブルな監視のアイデアを活用して、調整プロセスを簡素化します。 Seq2Seq モデルを使用して暗黙的な残差を学習し、レプリケーションと残差補正ステップを通じてアライメントを最適化します。

複数のモデルをトレーニングする必要がある RLHF の複雑さと比較して、Aligner の利点は、位置合わせするモデルの後にモジュールを追加するだけで位置合わせを達成できることです。さらに、必要な計算リソースは、上流モデルのサイズではなく、主に目的の位置合わせ効果に依存します。実験により、Aligner-7B を使用すると GPT-4 の有用性とセキュリティが大幅に向上し、有用性が 17.5%、セキュリティが 26.9% 向上することが証明されました。これらの結果は、Aligner が効率的かつ効果的な位置合わせ方法であり、モデルのパフォーマンス向上のための実現可能なソリューションを提供することを示しています。

さらに、著者は、Aligner フレームワークを使用して、弱いモデル (Aligner-13B) の監視信号を通じて強いモデル (Llama-70B) のパフォーマンスを強化し、 を達成しました。弱から強 一般化は、スーパーアラインメントのための実用的なソリューションを提供します。

文書アドレス: https://arxiv.org/abs/2402.02416

• プロジェクトのホームページとオープンソースのアドレス: https://aligner2024.github.io
• タイトル: アライナー: 効率的なアライメントの達成弱から強の矯正
• アライナーとは何ですか?

ベースCore Insight について:

一致していない回答を修正することは、一致した回答を生成するよりも簡単です。

一致していない回答を修正することは、一致した回答を生成するよりも簡単です。

Aligner は、効率的なアライメント手法として、次の優れた機能を備えています。

自己回帰 Seq2Seq モデルとして、Aligner Train は、 Query-Answer-Correction (Q-A-C) データセットを使用して、整列された回答と整列されていない回答の違いを学習し、より正確なモデルの整列を実現します。たとえば、70B LLM を調整する場合、Aligner-7B はトレーニング パラメーターの量を大幅に削減します。これは、DPO の 16.67 分の 1、RLHF の 30.7 分の 1 です。

Aligner パラダイムは、弱いものから強いものへの一般化を実現し、多数のパラメータを持つ Aligner モデルと少数のパラメータを持つ Aligner モデルを使用して、多数の信号を細かく制御する LLM を使用します。パラメータを調整することで、強力なモデルのパフォーマンスが大幅に向上します。たとえば、Aligner-13B の監督下で Llama2-70B を微調整すると、その有用性と安全性がそれぞれ 8.2% と 61.6% 向上しました。
Aligner のプラグ アンド プレイの性質とモデル パラメーターの影響を受けないため、パラメーターを取得できない GPT3.5、GPT4、Claude2 などのモデルを位置合わせできます。 Aligner-7B は、たった 1 回のトレーニング セッションで、クローズド ソース、オープンソース、セキュア/非セキュアの調整モデルを含む 11 のモデルを調整し、有用性と安全性を向上させます。その中で、Aligner-7B は GPT-4 の有用性と安全性をそれぞれ 17.5% と 26.9% 大幅に向上させます。
• アライナーの全体的なパフォーマンス

著者はさまざまなサイズのアライナー (7B、13B、70B ) を示しています。 API ベースのモデルとオープンソース モデル (セキュリティに準拠したモデルと非セキュリティに準拠したモデルを含む) の両方でパフォーマンスを向上させることができます。一般に、モデルが大きくなるにつれて、Aligner のパフォーマンスは徐々に向上し、修正中に提供できる情報の密度が徐々に増加します。これにより、修正された回答がより安全で役立つものになります。

アライナー モデルをトレーニングするにはどうすればよいですか?

1.クエリと回答 (Q-A) データの収集

著者はさまざまなオープン ソース データ セットからクエリを取得します。 , Stanford Alpaca、ShareGPT、HH-RLHF などが共有する会話が含まれます。これらの質問は、後続の回答と修正された回答の生成のために、重複パターンの削除と品質フィルタリングのプロセスを受けます。未修正の回答は、Alpaca-7B、Vicuna-(7B,13B,33B)、Llama2-(7B,13B)-Chat、Alpaca2-(7B,13B) などのさまざまなオープンソース モデルを使用して生成されました。

2. 回答の修正

著者は GPT-4、Llama2-70B-Chat、および手動アノテーションを使用して、大規模言語モデルの 3H 基準 (有用性、安全性、誠実さ) は、Q-A データ セット内の回答を修正するために使用されます。

すでに基準を満たしている回答については、そのままにしておきます。変更プロセスは、Seq2Seq モデルのトレーニングの制約を確立する一連の明確に定義された原則に基づいており、回答をより有用かつ安全なものにすることに重点を置いています。回答の分布は、修正の前後で大きく変化します。次の図は、データセットに対する修正の影響を明確に示しています:

3. モデルのトレーニング

上記のプロセスに基づいて、作成者は新しい改訂データセット を構築しました。ここで、 はユーザーの問題、 は質問に対する元の回答、 は確立された原則に基づいて修正された回答です。

モデルのトレーニング プロセスは比較的単純です。著者らは、元の回答 が整列された回答に再分配されるように、 によってパラメータ化された条件付き Seq2Seq モデル をトレーニングします。

上流の大規模言語モデルに基づくアライメント回答生成プロセスは次のとおりです:

トレーニング損失

2 番目の項目は、Aligner パラメーターとは関係がありません。Aligner のトレーニング目標は、次のように導出できます:

次の図は、Aligner の中間プロセスを動的に示しています:

Aligner はトレーニング中であり、どの推論段階も上流モデルのパラメーターにアクセスする必要がないことは注目に値します。 Aligner の推論プロセスでは、ユーザーの質問と、上流の大規模言語モデルによって生成された最初の回答を取得し、人間の価値観とより一致する回答を生成するだけで済みます。

直接の回答ではなく既存の回答を修正することで、Aligner は人間の価値観に簡単に合わせることができ、モデルの機能に対する要件が大幅に軽減されます。

#アライナー vs 既存のアライメント パラダイム

アライナー vs SFT

## Aligner とは対照的に、SFT は、Query 意味空間から Answer 意味空間へのクロスドメイン マッピングを直接作成します。この学習プロセスは、上流のモデルに依存して、意味空間内のさまざまなコンテキストを推論およびシミュレートしますが、これは学習よりもはるかに困難です。信号を変更します。

アライナーのトレーニング パラダイムは、残差学習 (残差補正) の一種と考えることができます。著者は、アライナーで「コピー (修正)」学習パラダイムを作成しました。したがって、Aligner は本質的に、応答意味空間から修正された応答意味空間への残差マッピングを作成します。ここで、2 つの意味空間は分布的により近くなります。

この目的を達成するために、著者は Q-A-C トレーニング データセットからさまざまな割合で Q-A-A データを構築し、アイデンティティ マッピング学習 (コピー マッピングとも呼ばれます) ( と呼ばれます) を実行するように Aligner をトレーニングしました。 Hot 前のステップ)。これに基づいて、Q-A-C トレーニング データセット全体がトレーニングに使用されます。この残差学習パラダイムは、ニューラル ネットワークの積層が深すぎることによって引き起こされる勾配消失の問題を解決するために ResNet でも使用されます。実験結果では、予熱率が 20% のときにこのモデルが最高のパフォーマンスを達成できることがわかりました。

Aligner 対 RLHF

RLHF は人間の嗜好データセットで報酬モデル (RM) をトレーニングし、この報酬を利用しますこのモデルは、LLM が人間の好ましい動作と一致するように、PPO アルゴリズムの LLM を微調整するために使用されます。

具体的には、報酬モデルは最適化のために人間の嗜好データを離散数値空間から連続数値空間にマッピングする必要がありますが、テキスト空間モデルで強力な一般化能力を持つ Seq2Seq と比較して、この種の数値報酬モデルはテキスト空間での一般化能力が弱いため、さまざまなモデルに対する RLHF の影響が不安定になります。

Aligner は、Seq2Seq モデルをトレーニングすることで、整列された応答と整列されていない応答の違い (残留誤差) を学習するため、RLHF プロセスを効果的に回避し、RLHF よりも優れた結果を達成します。より一般化可能なパフォーマンス。

アライナーとプロンプト エンジニアリング

プロンプト エンジニアリングは、LLM の機能を刺激する一般的な方法です。この方法には、プロンプトの設計が難しい、モデルごとに異なる設計を実行する必要がある、最終的な効果はモデルの機能に依存する、などの重要な問題がいくつかあります。タスクを解決するには十分な量のコンテキストを必要とする場合があり、コンテキストを無駄にします。ウィンドウ、小さなモデルの限られたコンテキスト ウィンドウはプロンプト ワード エンジニアリングの効果に影響し、大規模なモデルの場合、長すぎるコンテキストを占有するとトレーニングのコストが大幅に増加します。

Aligner 自体は、あらゆるモデルの位置合わせをサポートでき、1 回のトレーニングの後、元のモデルのコンテキスト ウィンドウを占有することなく、11 の異なるタイプのモデルを位置合わせできます。 Aligner を既存のプロンプト ワード エンジニアリング手法とシームレスに組み合わせて、1 1>2 効果を達成できることは注目に値します。

一般: アライナーには次の大きな利点があります:

1. アライナーのトレーニングがより簡単です。 RLHF の複雑な報酬モデル学習およびこのモデルに基づく強化学習 (RL) 微調整プロセスと比較して、Aligner の実装プロセスはより直接的で操作が簡単です。 RLHF に含まれる複数のエンジニアリング パラメーター調整の詳細と、RL アルゴリズムの固有の不安定性とハイパーパラメーターの感度を振り返ると、Aligner はエンジニアリングの複雑さを大幅に簡素化します。

#2.Aligner はトレーニング データが少なく、アライメント効果が明らかです。 20,000 データに基づいて Aligner-7B モデルをトレーニングすると、GPT-4 の有用性が 12%、セキュリティが 26% 向上し、Vicuna 33B モデルの有用性が 29% 向上し、 45.3 % のセキュリティですが、RLHF では、この効果を達成するためにより多くの設定データと洗練されたパラメータ調整が必要です。

3.アライナーはモデルの重みに触れる必要はありません。 RLHF はモデルの調整に効果的であることが証明されていますが、モデルの直接トレーニングに依存しています。 RLHF の適用性は、GPT-4 などの非オープンソース API ベースのモデルと、ダウンストリーム タスクでの微調整要件に直面すると制限されます。対照的に、Aligner はモデルの元のパラメータを直接操作する必要がなく、独立した位置合わせモジュールで位置合わせ要件を外部化することで柔軟な位置合わせを実現します。

4.アライナーはモデル タイプに依存しません。 RLHF フレームワークでは、さまざまなモデル (Llama2、Alpaca など) を微調整するには、嗜好データの再収集が必要なだけでなく、報酬モデルのトレーニングと RL のトレーニング パラメーターの調整も必要になります。段階。アライナーは、1 回のトレーニングを通じてあらゆるモデルのアライメントをサポートできます。たとえば、Aligner-7B は、修正されたデータセットで 1 回トレーニングするだけで、11 の異なるモデル (オープンソース モデル、GPT などの API モデルを含む) を調整し、有用性と安全性の観点からパフォーマンスを 21.9% および 23.8% 向上させることができます。それぞれ。

5.アライナーのトレーニング リソースに対する要求はより柔軟です。 RLHF 70B モデルの微調整は依然として非常に計算負荷が高く、実行するには数百枚の GPU カードが必要です。 RLHF 法では、モデル パラメーターの数に等しい報酬モデル、アクター モデル、批評家モデルの追加の読み込みも必要になるためです。したがって、単位時間あたりのトレーニング リソース消費量の点で、RLHF は実際には事前トレーニングよりも多くのコンピューティング リソースを必要とします。

これに対して、Aligner はより柔軟なトレーニング戦略を提供し、ユーザーは実際のコンピューティング リソースに基づいて Aligner のトレーニング規模を柔軟に選択できます。たとえば、70B モデルのアライメント要件の場合、ユーザーは実際に利用可能なリソースに基づいてさまざまなサイズのアライナー モデル (7B、13B、70B など) を選択し、ターゲット モデルの効果的なアライメントを実現できます。

この柔軟性により、コンピューティング リソースの絶対的な需要が削減されるだけでなく、限られたリソースの下で効率的に調整できる可能性もユーザーに提供されます。

#弱から強への一般化

#弱から強への一般化 議論される問題は、強いモデルのパフォーマンスを向上させるために、弱いモデルのラベルを使用して強いモデルをトレーニングできるかどうかです。 OpenAI は、このアナロジーを使用して SuperAlignment の問題を解決し、具体的には、グラウンド トゥルース ラベルを使用して弱いモデルをトレーニングします。

OpenAI 研究者はいくつかの予備実験を実施しました。たとえば、テキスト分類 (テキスト分類) のタスクでは、トレーニング データセットを前半の入力と後半の入力の 2 つの部分に分割しました。ラベルは弱いモデルをトレーニングするために使用されますが、トレーニング データの後半には、弱いモデルによって生成された入力ラベルのみが保持されます。強いモデルをトレーニングするときに、弱いモデルによって生成された弱いラベルのみが、強いモデルに監視信号を提供するために使用されます。

真値ラベルを使用して弱いモデルをトレーニングする目的は、弱いモデルが対応するタスクを解決できるようにすることですが、入力は弱いラベルと入力を生成するために使用されます。弱いモデルをトレーニングするために使用されるものは同じではありません。このパラダイムは、「教育」の概念、つまり、弱いモデルを使用して強いモデルをガイドするという概念に似ています。

著者は、Aligner の特性に基づいて、新しい弱から強への一般化パラダイムを提案します。

著者の核心は、アライナーに「巨人の肩の上に立つ監視者」としての役割を果たしてもらうことだ。 「巨人」を直接監視する OpenAI の方法とは異なり、Aligner は弱い補正から強い補正を通じてより強力なモデルを修正し、その過程でより正確なラベルを提供します。

具体的には、Aligner のトレーニング プロセス中に、修正されたデータには GPT-4、ヒューマン アノテーター、およびより大きなモデルのアノテーションが含まれます。続いて、作成者は Aligner を使用して新しい Q-A データセットに弱いラベル (つまり、修正) を生成し、その弱いラベルを使用して元のモデルを微調整します。

実験結果は、このパラダイムがモデルの位置合わせパフォーマンスをさらに向上できることを示しています。

#実験結果

Aligner vs SFT/RLHF/DPO

著者は Aligner のクエリを使用しています -解答修正トレーニング データ セット。それぞれ SFT/RLHF/DPO メソッドを通じて Alpaca-7B を微調整します。

パフォーマンス評価を実行する場合、オープンソースの BeaverTails および HarmfulQA テスト プロンプト データ セットが使用され、微調整されたモデルによって生成された回答と元の Alpaca-7B モデルに対する回答が使用されます。生成された回答は、有用性とセキュリティの観点から比較すると次のとおりです:

実験結果は、Aligner が SFT と比較できることを示しています/RLHF/DPO このような成熟した LLM アライメント パラダイムには明らかな利点があり、有用性と安全性の両方の指標において大幅に優れています。

特定の実験ケースを分析すると、RLHF/DPO パラダイムを使用して微調整されたアライメント モデルは、セキュリティを向上させるために保守的な答えを生成する傾向があることがわかりますが、セキュリティを考慮することはできません。有用性を向上させるプロセス、セックス、回答内の危険な情報の増加につながります。

アライナーとプロンプト エンジニアリング

##同じ上流モデルにおける Aligner-13B と CAI/自己批判手法の比較パフォーマンスの向上に関する実験結果を以下の図に示します。 Aligner-13B は、CAI/自己批判手法よりも有用性とセキュリティの両方で GPT-4 を向上させます。これは、Aligner パラダイムが一般的に使用されているプロンプト エンジニアリング手法よりも多くの利点があることを示しています。 . 明らかな利点。

CAI プロンプトは、実験での推論中にのみ使用され、答えを自己修正することを奨励します。これも自己調整の形式の 1 つです。

さらに、著者らはさらなる調査も行い、Aligner を介して CAI 手法を使用して回答を修正し、前の回答を直接比較した後、アライナー後の実験結果を下の図に示します。

方法 A：CAI アライナー 方法 B：CAI のみ

アライナーを使用して CAI を修正します。回答の 2 回目の改訂により、回答はセキュリティを失うことなく有用性の点で大幅に改善されました。これは、アライナーが単独で使用された場合に高い競争力を発揮するだけでなく、他の既存のアライメント方法と組み合わせてそのパフォーマンスをさらに向上させることもできることを示しています。

#弱から強への一般化

メソッド: 弱から強へ-strong トレーニング データ セットは (q, a, a') トリプルで構成されます。ここで、q は Aligner トレーニング データ セット - 50K からの質問を表し、a は Alpaca-7B モデルによって生成された回答を表し、a' は Aligner を表します。 -7B にアライメントの答え (q、a) が与えられました。グラウンド トゥルース ラベルとして a' のみを利用する SFT とは異なり、RLHF および DPO トレーニングでは、a' は a よりも優れていると見なされます。

著者は、Aligner を使用して新しい Q-A データセットの元の回答を修正し、修正された回答を弱いラベルとして使用し、これらの弱いラベルを監視信号として使用して、より大きなモデルをトレーニングしました。 . .このプロセスは、OpenAI のトレーニング パラダイムに似ています。

著者は、SFT、RLHF、DPO の 3 つの方法を通じて、弱いラベルに基づいて強いモデルをトレーニングします。上の表の実験結果は、上流モデルが SFT を通じて微調整されると、Aligner-7B および Aligner-13B の弱いラベルにより、すべてのシナリオで Llama2 シリーズの強力なモデルのパフォーマンスが向上することを示しています。

展望: アライナーの潜在的な研究方向性

革新的なアライメント方法として、アライナーには大きな研究の可能性があります。この論文の中で、著者は次のようないくつかの Aligner アプリケーション シナリオを提案しました:

1. マルチターン対話シナリオのアプリケーション。 複数ラウンドの会話では、報酬が少ないという課題が特に顕著です。質疑応答会話 (QA) では、スカラー形式の監視信号は通常、会話の終了時にのみ利用可能です。

このスパース性の問題は、複数ラウンドの対話 (継続的な QA シナリオなど) でさらに増幅され、強化学習ベースのヒューマン フィードバック (RLHF) が効果的になることが困難になります。複数のラウンドにわたる対話の調整を改善するアライナーの可能性を調査することは、さらなる探求に値する領域です。

#2. 人間の価値観と報酬モデルの調整。 人間の好みに基づいて報酬モデルを構築し、大規模言語モデル (LLM) を微調整する多段階のプロセスでは、LLM が人間の特定の価値観と確実に一致するようにするという大きな課題があります。 (例: 公平性、共感など) 挑戦。

値アライメント タスクをモデル外部の Aligner アライメント モジュールに渡し、特定のコーパスを使用して Aligner をトレーニングすることにより、値アライメントに関する新しいアイデアが提供されるだけでなく、Aligner が有効になります。特定の値を反映するようにモデルの出力を設定します。

3. MoE-Aligner のストリーミングおよび並列処理。 アライナーを特化して統合することで、複数のハイブリッド セキュリティと価値調整のニーズを満たす、より強力で包括的なハイブリッド エキスパート (MoE) アライナーを作成できます。同時に、Aligner の並列処理機能をさらに改善して推論時間のロスを減らすことは、実現可能な開発の方向性です。

#4. モデルのトレーニング中の融合。 特定の重み層の後に Aligner 層を統合することにより、モデルのトレーニング中の出力へのリアルタイム介入を実現できます。この方法は、アライメントの効率を向上させるだけでなく、モデルのトレーニング プロセスを最適化し、より効率的なモデルのアライメントを実現するのにも役立ちます。

チーム紹介

この研究は、人工知能研究所の AI セキュリティおよびガバナンス センターのヤン ヤオドンの研究チームによって独自に完了されました。北京大学の情報部。このチームは、オープンソースの 100 万レベルの安全アライメント優先データセット BeaverTails (NeurIPS 2023) や大規模言語モデル用の安全アライメント アルゴリズム SafeRLHF (ICLR 2024 Spotlight) など、大規模言語モデルのアライメント テクノロジに深く関わっています。複数のオープンソース モデルで採用されています。業界初の人工知能アライメントに関する包括的なレビューを執筆し、リソース Web サイト www.alignmentsurvey.com (原文をクリックすると直接ジャンプします) と組み合わせて、フィードバックからの学習、分布シフトの下での学習、保証の 4 つの視点を体系的に説明しました。 、ガバナンス、以下の AI 調整の問題。アライメントとスーパーアライメントに関するチームの見解は、Sanlian Life Weekly の 2024 年第 5 号の表紙に掲載されました。