OpenAI는 오픈 소스입니다. Transformer 자동 디버그 도구는 GitHub에서 온라인으로 제공됩니다.

최근 오픈소스가 부족하다는 비판을 자주 받았던 OpenAI가 갑자기 오픈했습니다.

오늘 아침 OpenAI 머신러닝 연구원인 Jan Leike는 OpenAI가 Transformer의 내부 구조를 분석하는 데 사용되는 자체 내부 도구를 공개했다고 발표했습니다.

GitHub 링크: https://github.com/openai/transformer-debugger

프로젝트가 공개된 지 몇 시간밖에 되지 않았지만, 별 수는 많습니다. 상당히 빠르게 증가했습니다.

Transformer Debugger 소개

Transformer Debugger(TDB)는 사용자가 작은 언어 모델의 특정 동작을 확인할 수 있도록 OpenAI 정렬 팀(Superalignment)에서 개발한 도구입니다. 이 도구는 자동 해석 기술과 희소 자동 인코더의 특성을 결합한 것으로 이해됩니다.

특히 TDB는 코드를 작성하기 전에 신속한 탐색을 가능하게 하며 정방향 전달에 개입하여 모델의 특정 동작에 어떤 영향을 미치는지 확인하는 데 도움을 줄 수 있습니다. TDB를 사용하여 "이 프롬프트(프롬프트)에서 모델이 토큰 B 대신 토큰 A를 출력하는 이유는 무엇입니까?" 또는 "이 프롬프트에서 주의 헤드 H가 토큰 T에 초점을 맞추는 이유는 무엇입니까?"

IT 방법에는 행동에 기여하는 특정 구성 요소(예: 뉴런, 주의 헤드, 자동 인코더 잠재 변수)를 식별하고, 자동으로 생성된 설명을 제시하여 이러한 구성 요소를 가장 강력하게 활성화하는 원인을 분석하고, 구성 요소 간의 연결을 추적하여 사람들이 연결을 발견하고 지원하도록 돕습니다. Transformer 디버깅 중.

OpenAI는 "Interpretability in the Wild: a Circuit for Indirect Object Identification in GPT-2 small" 논문에서 TDB의 기능을 설명하고 TDB를 사용하여 작업을 수행하는 방법을 보여주는 여러 비디오를 공개했습니다.

This 현재 OpenAI의 오픈 소스 콘텐츠에는 다음이 포함됩니다.

• Neuron 뷰어: TDB를 호스팅하고 다양한 모델 구성 요소(MLP 뉴런, 주의 헤드 및 둘 다에 대한 자동 인코더 잠복)에 대한 정보를 포함하는 React 애플리케이션 정보 페이지입니다.
• 활성화 서버: 토픽 모델에 대한 추론을 수행하고 TDB에 데이터를 제공하는 백엔드 서버입니다. 또한 공용 Azure Storage 버킷에서 데이터를 읽고 제공합니다.
• 모델: 활성화를 캡처하는 후크가 포함된 GPT-2 모델 및 해당 자동 인코더를 위한 간단한 추론 라이브러리입니다.
• 정리된 활성화 데이터 세트: MLP 뉴런, 주의 헤드 및 자동 인코더 잠재성을 포함하는 상위 활성화 데이터 세트의 예입니다.

설치 설정

저장소를 설치하려면 아래 단계를 따르세요. 그 전에는 python/pip와 node/npm이 필요하다는 점에 유의하세요.

필요하지는 않지만 OpenAI는 작업에 가상 환경을 사용할 것을 권장합니다.

# If you're already in a venv, deactivate it.deactivate# Create a new venv.python -m venv ~/.virtualenvs/transformer-debugger# Activate the new venv.source ~/.virtualenvs/transformer-debugger/bin/activate

환경을 설정한 후 다음 단계를 따르세요.

git clone git@github.com:openai/transformer-debugger.gitcd transformer-debugger# Install neuron_explainerpip install -e .# Set up the pre-commit hooks.pre-commit install# Install neuron_viewer.cd neuron_viewernpm installcd ..

TDB 애플리케이션을 실행하려면 팔로우가 필요합니다. 활성화 서버 백엔드 및 뉴런 뷰어 프런트엔드를 설정하는 지침입니다.

변경 사항을 확인하려면:

• run pytest;
• run mypy --cnotallow=mypy.ini
• 활성화 서버와 뉴런 뷰어를 실행하고 TDB 및 뉴런 기본을 확인하세요. 메타 뷰어 페이지와 같은 기능은 계속 사용할 수 있습니다.

Jan Leike는 TDB가 아직 초기 단계의 연구 도구라고 말했습니다. OpenAI는 오픈 소스를 통해 더 많은 사람들에게 혜택을 주기를 희망하며 이를 기반으로 커뮤니티가 지속적으로 개선되기를 기대합니다.