OpenAI開源了：Transformer自動Debug工具上線GitHub

最近常被吐槽不夠開源的 OpenAI，突然開放了一次。

今天一早，OpenAI 機器學習研究員 Jan Leike 宣布，OpenAI 開放了自己內部一直用於分析 Transformer 內部結構的工具。

GitHub 連結：https://github.com/openai/transformer-debugger

該計畫開放才幾個小時，雖然沒有經過太多宣傳，star 數量上漲得也挺快。

Transformer Debugger 介紹

Transformer Debugger (TDB) 是由OpenAI 的對齊團隊（Superalignment）開發的一款工具，旨在幫助使用者檢查小型語言模型的特定行為。據了解，該工具結合了自動可解釋性技術和稀疏自動編碼器的特性。

具體來說，TDB 能夠在需要編寫程式碼之前進行快速探索，並能夠幹預前向傳遞，幫助人們查看它是如何影響模型特定行為的。 TDB 可用來回答諸如「為什麼模型在此提示（prompt）中輸出token A 而不是token B？」之類的問題或「為什麼注意力頭H 會在這個提示下關注token T？」

#其方法包括識別對行為有貢獻的特定組件（如神經元、注意力頭、自動編碼器隱變量），透過展示自動生成的解釋來分析導致這些組件最強烈激活的原因，以及追蹤元件之間的連接，從而幫助人們發現聯繫，進而協助進行Transformer的調試工作。

OpenAI 放出了幾段影片概述了TDB 的能力，並展示瞭如何使用它來進行論文《Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small 》中的工作：

本次，OpenAI 的開源內容包括：

• Neuron viewer：一個React 應用程序，用於託管TDB 以及包含有關各個模型組件（MLP 神經元、注意力頭和兩者的自動編碼器latents）資訊的頁面。
• Activation server：對主題模型進行推理，為 TDB 提供資料的後端伺服器。它還從公共 Azure 儲存桶讀取和提供資料。
• Models：GPT-2 模型及其自動編碼器的簡單推理庫，帶有捕獲激活的 hook。
• 整理好的激活資料集：包含 MLP 神經元、注意力頭和自動編碼器 latents 的頂級激活資料集範例。

安裝設定

請依照下列步驟安裝儲存庫。請注意，在此之前你需要 python/pip 以及 node/npm。

雖然不是必要，但OpenAI 建議使用虛擬環境進行操作：

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

#設定好環境後，請請按照以下步驟操作：

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

要執行TDB 應用程序，你需要按照說明設定啟動伺服器後端和神經元檢視器前端。

要驗證更改，你需要：

• #運行pytest；
• 運行mypy —cnotallow=mypy.ini;
• 運行啟動伺服器和神經元檢視器，並確認TDB 和神經元檢視器頁面等基本功能仍然有效。

Jan Leike 表示，TDB 目前仍然是一個早期階段的研究工具，OpenAI 希望透過開源的方式讓更多人受益，並期待社群在其基礎上不斷改進。