OpenAI ialah sumber terbuka: Alat nyahpepijat automatik Transformer berada dalam talian di GitHub

OpenAI, yang sering dikecam kebelakangan ini kerana tidak cukup open source, tiba-tiba membukanya.

Awal pagi ini, penyelidik pembelajaran mesin OpenAI Jan Leike mengumumkan bahawa OpenAI telah membuka alatan dalamannya sendiri yang telah digunakan untuk menganalisis struktur dalaman Transformer.

Pautan GitHub: https://github.com/openai/transformer-debugger

Projek itu baru dibuka untuk beberapa jam walaupun tidak banyak dihebahkan, jumlah bintang telah meningkat dengan agak cepat.

Pengenalan kepada Transformer Debugger

Transformer Debugger (TDB) ialah alat yang dibangunkan oleh pasukan penjajaran OpenAI (Superalignment) untuk membantu pengguna menyemak tingkah laku khusus model bahasa kecil. Difahamkan bahawa alat itu menggabungkan ciri-ciri teknologi kebolehtafsiran automatik dan pengekod auto jarang.

Secara khusus, TDB mendayakan penerokaan pantas sebelum kod perlu ditulis dan boleh campur tangan dalam hantaran hadapan untuk membantu seseorang melihat cara ia mempengaruhi tingkah laku tertentu model. TDB boleh digunakan untuk menjawab soalan seperti "Mengapa model mengeluarkan token A dan bukannya token B dalam gesaan ini (prompt) atau "Mengapa kepala perhatian H memfokuskan pada token T dalam gesaan ini?"

Kaedah ini termasuk mengenal pasti komponen khusus yang menyumbang kepada tingkah laku (cth. neuron, kepala perhatian, pembolehubah pendam autoenkoder), menganalisis perkara yang menyebabkan pengaktifan paling kuat bagi komponen ini dengan mempersembahkan penjelasan yang dijana secara automatik, dan mengesan sambungan antara komponen, dengan itu membantu orang menemui sambungan dan membantu. dalam menyahpepijat Transformer.

OpenAI mengeluarkan beberapa video yang menggariskan keupayaan TDB dan menunjukkan cara menggunakannya untuk melaksanakan kerja dalam kertas kerja "Kebolehtafsiran di Alam Liar: Litar untuk Pengenalan Objek Tidak Langsung dalam GPT-2 kecil":

Ini masa, kandungan sumber terbuka OpenAI termasuk:

• Pemapar neuron: aplikasi React untuk mengehos TDB dan mengandungi maklumat tentang pelbagai komponen model (neuron MLP, kepala perhatian dan pendam autoenkoder untuk kedua-duanya) Halaman maklumat.
• Pelayan pengaktifan: Pelayan bahagian belakang yang melakukan inferens pada model topik dan menyediakan data untuk TDB. Ia juga membaca dan menyediakan data daripada baldi storan Azure awam.
• Model: Pustaka inferens mudah untuk model GPT-2 dan pengekod autonya, dengan cangkuk untuk menangkap pengaktifan.
• Set Data Pengaktifan Dibersihkan: Contoh set data pengaktifan teratas yang mengandungi neuron MLP, kepala perhatian dan pendam autoenkoder.

Persediaan Pemasangan

Sila ikut langkah di bawah untuk memasang repositori. Sila ambil perhatian bahawa sebelum ini anda memerlukan python/pip dan nod/npm.

Walaupun tidak perlu, OpenAI mengesyorkan menggunakan persekitaran maya untuk operasi:

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

Selepas menyediakan persekitaran anda, ikuti langkah berikut:

anda perlukan aplikasi TDB arahan untuk menyediakan bahagian belakang pelayan pengaktifan dan bahagian hadapan pemapar neuron. . ciri seperti halaman pemapar meta masih tersedia.