大規模モデルのスコアリングのベンチマークは信頼できるものですか? Anthropic が次の大きな評価に向けて登場

ラージ モデル (LLM) が普及している現在の時代では、AI システムの評価が重要な部分になってきています。評価プロセス中にどのような困難に遭遇しますか? Anthropic の記事でその答えが明らかになりました。私たち。 。

現段階では、人工知能 (AI) が社会に与える影響に関する議論のほとんどは、信頼性、公平性、悪用の可能性など、AI システムの特定の属性に起因していると考えられます。 . .しかし、現在の問題は、多くの研究者が、堅牢で信頼性の高いモデル評価を構築することがいかに難しいかを十分に理解していないことです。現在の既存の評価キットの多くは、さまざまな面で性能が制限されています。

AI スタートアップの Anthropic は最近、公式 Web サイトに「AI システムの評価における課題」という記事を投稿しました。記事では、AIシステムをより深く理解するためにAIシステムの評価を構築するのに長い時間を費やしたと書いています。

記事のアドレス: https://www.anthropic.com/index/evaluating-ai-systems

この記事では主に次の側面について説明します :

• 複数選択評価;

• BIG-bench や HELM などのサードパーティ評価フレームワークを使用します;

• モデルが有益か有害かをスタッフに測定させます。

• ドメインの専門家に関連する脅威のレッド チーム分析 (レッド チーム) を実施させます。

• 生成 AI を使用して評価方法を開発します;

• 非営利団体と協力して、モデルに害がないかをレビューします。

多肢選択評価の課題

多肢選択評価は簡単そうに見えるかもしれませんが、実際はそうではありません。この記事では、MMLU (マルチタスク言語理解の測定) および BBQ (QA のバイアス ベンチマーク) ベンチマークに関するモデルの課題について説明します。

MMLU データ セット

MMLU は、数学、歴史、法律などをカバーする 57 個の多肢選択式の質問と回答のタスクを含む英語評価データ セットです。現在主流の LLM 評価データ セットです。精度が高いほど、モデルの能力は強力になります。ただし、この記事では、MMLU の使用には 4 つの課題があることがわかりました:

1. MMLU は広く使用されているため、この状況は避けられず、トレーニング プロセス中にモデルに MMLU データを組み込むことが容易になります。学生がテストを受ける前に問題を見るのと同じで、不正行為です。

2. 選択肢を (A) から (1) に変更したり、選択肢と回答の間に余分なスペースを追加したりするなど、単純な書式変更には注意してください。これにより、推定精度が約 5% float になる可能性があります。

3. 一部の開発者は、少数ショット学習や思考連鎖推論など、MMLU スコアを向上させる方法をターゲットにしています。したがって、研究室間で MMLU スコアを比較する場合には細心の注意を払う必要があります。

4.MMLU は慎重に校正されていない可能性があります。一部の研究者は、MMLU でラベルのエラーや答えられない質問の例を発見しました。

上記の問題があるため、この簡易かつ標準化された評価を行う際には、事前に判断し、考える必要があります。この記事では、MMLU の使用時に遭遇する課題が他の同様の多肢選択評価にも一般的に当てはまることを示します。

BBQ

多肢選択評価では、一部の AI の危険性を測定することもできます。具体的には、これらの危険を独自のモデルであるクロードで測定するために、Anthropic の研究者らは、母集団におけるモデルの偏りを評価するために使用される一般的なベンチマークである BBQ ベンチマークを使用しました。このベンチマークをいくつかの同様の評価と比較した結果、この記事では、BBQ が社会的偏見の適切な尺度となると確信しています。この作業には数か月かかりました。

この記事は、BBQの実施が予想以上に難しいことを示しています。 1 つ目は、BBQ の動作するオープンソース実装が見つからなかったため、Anthropic の優秀なエンジニアが評価を実行してテストするのに 1 週​​間かかりました。精度の観点から評価される MMLU とは異なり、BBQ のバイアス スコアは、定義、計算、解釈するためのニュアンスと経験を必要とします。

BBQ バイアス スコアの範囲は -1 ～ 1 で、1 は重大なステレオタイプ バイアスを示し、0 はバイアスがないことを示し、-1 は重大な反ステレオタイプ バイアスを示します。 BBQ を実装した後、この論文では一部のモデルのバイアス スコアが 0 であることがわかりました。この結果も研究者らを楽観視させており、偏ったモデルの出力を減らすことに進歩があったことを示しています。

サードパーティ評価フレームワーク

最近、サードパーティが評価スイートを積極的に開発しています。これまでのところ、Anthropic はこれらのプロジェクトのうち、BIG-bench とスタンフォード大学の HELM (言語モデルの全体的評価) の 2 つに参加しています。第三者による評価は有用であるように見えますが、どちらのプロジェクトも新たな課題に直面しています。

BIG-bench

BIG-bench は、450 人を超える研究者が共同で完了した 204 の評価で構成されており、科学から社会推論まで幅広いトピックをカバーしています。 Anthropic 氏は、このベンチマークを使用する際にいくつかの課題に直面したと述べています。BIG-bench をインストールするために、多くの時間を費やしました。 BIG-bench は MMLU ほどプラグアンドプレイではありません。BBQ を使用するよりも実装に手間がかかります。

BIG-bench は効果的に拡張できず、204 件の評価すべてを完了するのは非常に困難です。したがって、使用されているインフラストラクチャで適切に動作するように書き直す必要があり、これは膨大な作業負荷となります。

さらに、実装プロセス中に、この記事では評価にいくつかのバグがあり、使用するのに非常に不便であることが判明したため、Anthropic 研究者はこの実験の後、それを放棄しました。

HELM: 上から下まで一連の評価を計画する

BIG-bench は「ボトムアップ」作業であり、誰でも任意のタスクを送信でき、その後に専門の主催者チームによる限定的なレビュー。 HELM は「トップダウン」アプローチを採用しており、専門家がモデルの評価に使用するタスクを決定します。

具体的には、HELM は、精度、堅牢性、公平性などの標準的な指標を使用して、推論シナリオや虚偽の情報を含むシナリオなどの複数のシナリオでモデルを評価します。 Anthropic は、HELM 開発者にモデルでベンチマークを実行するための API アクセスを提供します。

BIG ベンチと比較して、HELM には 2 つの利点があります。1) 大規模なエンジニアリング作業を必要としない、2) 専門家に依存して特定の高品質の評価を選択して解釈できる。

ただし、HELM にはいくつかの課題もあります。他のモデルの評価に機能する方法が、Anthropic のモデルにも機能するとは限りませんし、その逆も同様です。たとえば、Anthropic の Claude ファミリーのモデルは、Human/Assistant 形式と呼ばれる特定のテキスト形式に従うようにトレーニングされています。 Anthropic はモデルを評価する際に、内部的にこの特定の形式に従います。この形式に従わない場合、クロードは時々異常な回答をし、標準の評価指標の結果の信頼性が低くなります。

さらに、HELM は完了までに長い時間がかかり、新しいモデルの評価には数か月かかる場合があり、外部関係者との調整とコミュニケーションが必要になります。

人工知能システムは、人々とのオープンで動的な対話を目的として設計されています。では、実際のアプリケーションに近いモデルを評価するにはどうすればよいでしょうか?

A/B テスト用のクラウドソーサー

現在、この分野は主に (ただし独占的ではありません) 1 つの基本的な人間による評価、つまりクラウドソーシング プラットフォームの A/B テストに依存しています。このモデルでは、人々が 2 つのモデルと率直な対話を行い、その応答がモデル A または B のどちらにより有益であるか無害であるかを選択し、有用性または無害性に従ってモデルをランク付けします。この評価方法の利点は、現実の環境に対応し、さまざまなモデルをランク付けできることです。

ただし、この評価方法にはいくつかの制限があり、実験には費用と時間がかかります。

まず、このアプローチでは、サードパーティのクラウドソーシング プラットフォームと提携して料金を支払い、モデルのカスタム Web インターフェイスを構築し、A/B テスター向けの詳細な手順を設計し、結果のデータを分析して保存する必要があります。クラウドソーシング業者を雇用することで生じる倫理的課題に対処します。

無害なテストの場合、実験には人々が有害な出力にさらされるリスクも伴います。人間による評価の結果は、人間の評価者の創造性、モチベーション、テスト対象のシステムの潜在的な欠陥を特定する能力のレベルなど、人間の評価者の特性によっても大きく異なる場合があります。

さらに、有用性と無害性の間には固有の緊張関係があります。システムは、「申し訳ありませんが、お手伝いできません」などの役に立たない応答を提供することで、被害を軽減することができます。

有用なものと無害なものの間の適切なバランスは何でしょうか?モデルが有用であり、十分に無害であることを示す指標値は何ですか?多くの疑問点については、その分野の研究者が答えを見つけるためにさらに多くの作業を行う必要があります。

詳細については、元の記事を参照してください。

^{元のリンク: https://www.anthropic.com/index/evaluating-ai-systems}

以上が大規模モデルのスコアリングのベンチマークは信頼できるものですか? Anthropic が次の大きな評価に向けて登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。