OpenAI はオープン ソースです: Transformer 自動デバッグ ツールは GitHub でオンラインです

最近、オープンソース化が不十分だとよく批判されてきたOpenAIが、突如オープンソース化した。

今朝早く、OpenAI 機械学習研究者の Jan Leike 氏は、OpenAI が Transformer の内部構造を分析するために使用されている独自の内部ツールを公開したと発表しました。

GitHub リンク: https://github.com/openai/transformer-debugger

このプロジェクトは開始されてから数時間しか経っていないため、あまり宣伝されていませんが、スターの数は急速に増えています。

Transformer Debugger の概要

Transformer Debugger (TDB) は、OpenAI のアラインメント チーム (Superalignment) によって開発されました。ユーザーが小さな言語モデルの特定の動作を調べるのを支援するために開発されたツール。このツールは、自動解釈技術とスパース オートエンコーダの特性を組み合わせていることがわかります。

具体的には、TDB を使用すると、コードを記述する前に迅速な探索が可能になり、フォワード パスに介入してモデルの特定の動作にどのような影響を与えるかを確認できるようになります。 TDB を使用すると、「なぜモデルはこのプロンプト (プロンプト) でトークン B ではなくトークン A を出力するのですか?」または「なぜ注意ヘッド H がこのプロンプトでトークン T に注意を払うのですか?」などの質問に答えることができます。

このアプローチには、行動に寄与する特定のコンポーネント (ニューロン、アテンションヘッド、オートエンコーダーの潜在変数など) を特定し、自動的に生成された説明を提示することでこれらのコンポーネントの最も強力な活性化の原因を分析し、その関係を追跡することが含まれます。コンポーネント間の接続を発見し、Transformer のデバッグを支援します。

OpenAI は、TDB の機能の概要と、論文「Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small 」の論文で TDB の使用方法を示すいくつかのビデオをリリースしました。 in:

今回の OpenAI のオープン ソース コンテンツには次のものが含まれます:

• Neuron viewer: TDB のホストに使用する React アプリケーション個々のモデル コンポーネント (MLP ニューロン、アテンション ヘッド、および両方のオートエンコーダー 潜在) に関する情報を含むページも含まれます。
• アクティベーション サーバー: トピック モデルで推論を実行し、TDB にデータを提供するバックエンド サーバー。また、パブリック Azure ストレージ バケットからデータを読み取り、提供します。
• モデル: アクティベーションをキャプチャするフックを備えた、GPT-2 モデルとそのオートエンコーダー用の単純な推論ライブラリ。
• クリーン化された活性化データセット: MLP ニューロン、アテンション ヘッド、およびオートエンコーダー 潜在を含む上位の活性化データセットの例。

インストール設定

以下の手順に従ってリポジトリをインストールしてください。この前に、python/pip とnode/npm が必要であることに注意してください。

必須ではありませんが、OpenAI は操作に仮想環境を使用することをお勧めします。

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

環境をセットアップした後、次の手順に従ってください:

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

TDB アプリケーションを実行するには、指示に従ってアクティベーション サーバー バックエンドとニューロン ビューア フロントエンドをセットアップする必要があります。

変更を確認するには、次の手順を実行する必要があります:

• pytest を実行します;
• mypy --cnotallow=mypy.ini;
• アクティベーション サーバーと Neuron Viewer を実行し、TDB や Neuron Viewer ページなどの基本的な機能が引き続き動作することを確認します。

Jan Leike 氏は、TDB はまだ初期段階の研究ツールであると述べ、OpenAI はオープンソースを通じてより多くの人々に利益をもたらしたいと考えており、コミュニティがその上に構築し続けることを楽しみにしていますと述べました。 。 改善する。