OpenAI est open source : l'outil de débogage automatique de Transformer est en ligne sur GitHub

OpenAI, qui a souvent été critiqué ces derniers temps pour ne pas être assez open source, l'a soudainement ouvert.

Tôt ce matin, Jan Leike, chercheur en apprentissage automatique à OpenAI, a annoncé qu'OpenAI avait ouvert ses propres outils internes qui ont été utilisés pour analyser la structure interne de Transformer.

Lien GitHub : https://github.com/openai/transformer-debugger

Le projet n'est ouvert que depuis quelques heures Bien qu'il n'ait pas été beaucoup médiatisé, le nombre d'étoiles. a augmenté assez rapidement.

Introduction à Transformer Debugger

Transformer Debugger (TDB) est un outil développé par l'équipe d'alignement d'OpenAI (Superalignment) pour aider les utilisateurs à vérifier le comportement spécifique des petits modèles de langage. Il est entendu que l'outil combine les caractéristiques de la technologie d'interprétabilité automatique et des auto-encodeurs clairsemés.

Plus précisément, TDB permet une exploration rapide avant que le code ne doive être écrit et peut intervenir dans la passe avant pour aider à voir comment cela affecte un comportement spécifique du modèle. TDB peut être utilisé pour répondre à des questions telles que « Pourquoi le modèle génère-t-il le jeton A au lieu du jeton B dans cette invite (invite) ? » ou « Pourquoi la tête d'attention H se concentre-t-elle sur le jeton T dans cette invite ? » Ces méthodes incluent l'identification de composants spécifiques qui contribuent au comportement (par exemple, les neurones, les têtes d'attention, les variables latentes de l'auto-encodeur), l'analyse des causes de l'activation la plus forte de ces composants en présentant des explications générées automatiquement et le traçage des connexions entre les composants, aidant ainsi les gens à découvrir les connexions et à les aider. dans le débogage de Transformer.

OpenAI a publié plusieurs vidéos décrivant les capacités de TDB et montrant comment l'utiliser pour effectuer le travail dans l'article "Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small" :

This À l'heure actuelle, le contenu open source d'OpenAI comprend :

Neuron viewer : une application React pour héberger TDB et contenant des informations sur divers composants du modèle (neurones MLP, têtes d'attention et latents d'encodeur automatique pour les deux) Page d'informations.

• Serveur d'activation : un serveur backend qui effectue des inférences sur des modèles de sujets et fournit des données pour TDB. Il lit et sert également les données des compartiments de stockage Azure publics.
• Modèles : Une bibliothèque d'inférence simple pour les modèles GPT-2 et leurs auto-encodeurs, avec des hooks pour capturer les activations.
• Ensembles de données d'activation nettoyés : exemples des principaux ensembles de données d'activation contenant des neurones MLP, des têtes d'attention et des latents d'auto-encodeur.
• Configuration de l'installation

Veuillez suivre les étapes ci-dessous pour installer le référentiel. Veuillez noter qu'avant cela, vous avez besoin de python/pip et de node/npm.

Bien que cela ne soit pas nécessaire, OpenAI recommande d'utiliser un environnement virtuel pour les opérations :

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

Pour vérifier les modifications, vous devez :

exécuter pytest ;

• exécuter mypy --cnotallow=mypy.ini
• exécuter le serveur d'activation et le visualiseur de neurones et confirmer TDB et neuron Basic ; des fonctionnalités telles que la page Meta Viewer sont toujours disponibles.
• Jan Leike a déclaré que TDB est encore un outil de recherche à ses débuts. OpenAI espère profiter à davantage de personnes grâce à l'open source et attend avec impatience que la communauté continue de s'améliorer sur cette base.