OpenAI, ChatGPT 업그레이드 계획 공개: 발견한 모든 버그가 수정되고 있습니다.

OpenAI의 사명은 인공 일반 지능(AGI)이 모든 인류에게 이익이 되도록 보장하는 것입니다. 그래서 우리는 AGI를 구현하면서 구축하는 AI 시스템의 동작과 그 동작이 결정되는 방식에 대해 많이 생각합니다.

ChatGPT를 출시한 이후 사용자들은 정치적으로 편견이 있거나 불쾌감을 줄 수 있다고 생각되는 결과물을 공유했습니다. 많은 경우에 우리는 제기된 우려 사항이 타당하다고 믿으며 우리가 해결하고자 하는 우리 시스템의 실제 한계를 확인합니다. 그러나 동시에 ChatGPT의 결과를 형성하기 위해 시스템과 정책이 함께 작동하는 방식과 관련된 몇 가지 오해도 확인했습니다.

블로그의 주요 내용은 다음과 같습니다.

• ChatGPT의 동작 방식
• ChatGPT의 기본 동작 개선 계획
• 더 많은 시스템 사용자 정의를 허용합니다.
• 우리는 대중이 우리의 결정에 대해 더 많은 의견을 가질 수 있도록 노력할 것입니다.

우리의 최우선 과제

일반 소프트웨어와 달리 우리 모델은 대규모 신경망입니다. 이들의 행동은 명시적으로 프로그래밍된 것이 아니라 광범위한 데이터를 통해 학습됩니다. 덜 적절한 비유를 사용하자면, 이 과정은 일반적인 프로그래밍보다 개를 훈련시키는 것과 더 유사합니다. 먼저 모델은 '사전 학습' 단계를 거칩니다. 이 단계에서 모델은 대량의 인터넷 텍스트(및 대량의 의견)에 노출되어 문장의 다음 단어를 예측하는 방법을 학습합니다. 다음은 시스템 동작의 범위를 좁히기 위해 모델을 "미세 조정"하는 두 번째 단계입니다.

현재로서는 이 과정이 완벽하지 않습니다. 때로는 미세 조정 프로세스가 우리의 의도(안전하고 유용한 도구를 생성하려는 의도)와 사용자의 의도(주어진 입력에 대한 응답으로 유용한 출력을 얻으려는 의도)를 모두 충족하지 못하는 경우가 있습니다. AI 시스템이 더욱 강력해짐에 따라 AI 시스템을 인간의 가치에 맞추는 방식을 개선하는 것이 우리 회사의 우선순위가 되었습니다.

두 가지 주요 단계: 사전 훈련 및 미세 조정

ChatGPT를 구축하는 두 가지 주요 단계는 다음과 같습니다.

먼저, 모델을 "사전 훈련"하고 빅 데이터 세트의 다음 단계는 인터넷의 일부를 포함하는 콘텐츠를 예측합니다. 그들은 "She did left to __."라는 문장을 완성하는 법을 배울 수도 있습니다. 수십억 개의 문장을 통해 학습함으로써 우리 모델은 문법, 세계에 대한 많은 사실 및 일부 추론 능력을 마스터합니다. 그들은 또한 수십억 개의 문장에 존재하는 편견 중 일부를 배웠습니다.

그런 다음 우리가 제공하는 지침을 따르는 인간 검토자가 만든 더 좁은 데이터 세트에서 이러한 모델을 "미세 조정"합니다. 미래의 사용자가 시스템에 입력할 수 있는 모든 정보를 예측할 수 없기 때문에 ChatGPT에서 접하게 될 모든 입력에 대한 자세한 지침을 작성하지 않았습니다. 대신, 검토자가 다양한 예시 입력에 대해 가능한 모델 출력을 검토하고 평가하는 데 사용하는 몇 가지 범주를 가이드에 간략하게 설명합니다. 그런 다음 사용 중에 모델은 특정 사용자가 제공한 광범위한 특정 입력에 응답하기 위해 리뷰어 피드백을 일반화합니다.

시스템 개발에서 리뷰어의 역할 및 OpenAI 전략

경우에 따라 리뷰어에게 특정 유형의 출력에 관한 지침을 제공할 수 있습니다(예: "불법 콘텐츠에 대한 요청을 완료하지 마십시오"). 다른 경우에는 리뷰어와 공유하는 지침이 더 높은 수준입니다(예: "논란의 여지가 있는 주제에 대해 어느 한쪽의 입장을 취하지 마십시오"). 중요한 것은 리뷰어와의 작업이 일회성 작업이 아니라 지속적인 관계라는 것입니다. 이 관계 동안 우리는 그들의 전문 지식으로부터 많은 것을 배웠습니다.

미세 조정 프로세스의 가장 큰 부분은 검토자와 강력한 피드백 루프를 유지하는 것입니다. 여기에는 매주 회의를 통해 그들이 가질 수 있는 질문을 해결하거나 지침에 대한 추가 설명이 포함됩니다. 이 반복적인 피드백 프로세스는 시간이 지남에 따라 모델을 점점 더 좋게 만들기 위해 모델을 훈련하는 방법입니다.

편향 해결

AI 시스템의 경우 편향 문제는 오랫동안 존재해 왔으며 많은 연구자들이 이에 대해 우려를 표명해 왔습니다. 우리는 이 문제를 해결하고 우리의 의도와 진행 상황을 공개하기 위해 최선을 다하고 있습니다. 현장에서의 진행 상황을 표현하기 위해 여기서는 정치 및 논쟁과 관련된 주제에 대한 몇 가지 지침을 공유합니다. 지침에는 검토자가 특정 정치 집단을 선호해서는 안 된다고 명시되어 있습니다. 그럼에도 불구하고 편견이 생길 수 있습니다.

가이드라인 주소: https://cdn.openai.com/snapshot-of-chatgpt-model-behavior-guidelines.pdf

차이는 항상 존재하지만, 우리는 통과 이 블로그는 몇 가지 지침과 함께 우리가 편견에 대해 어떻게 생각하는지에 대한 더 깊은 이해를 제공할 것입니다. 우리는 기술 기업이 철저한 조사를 견딜 수 있는 정책을 책임감 있게 개발해야 한다고 굳게 믿습니다.

저희는 이러한 가이드라인의 명확성을 개선하기 위해 지속적으로 노력하고 있으며, ChatGPT 출시를 통해 지금까지 배운 내용을 바탕으로 검토자에게 편견과 관련된 잠재적인 함정과 문제는 물론 논쟁의 여지가 있는 데이터에 대한 정보를 제공할 것입니다. 주제에 대한 보다 명확한 설명. 또한 지속적인 투명성 이니셔티브의 일환으로 우리는 개인 정보 보호 규칙 및 규범을 위반하지 않는 방식으로 리뷰어에 대한 집계 통계를 공유하기 위해 노력하고 있습니다. 이는 시스템 출력에 대한 잠재적 편견의 또 다른 원인이기 때문입니다.

규칙 보상, 헌법 AI(원래 인공지능 방법) 등의 발전을 바탕으로 현재 미세 조정 프로세스를 더 쉽게 이해하고 제어할 수 있게 만드는 방법을 연구하고 있습니다.

미래 방향: 시스템 빌딩 블록

우리의 사명을 달성하기 위해 우리는 더 많은 사람들이 AI와 AGI를 사용하고 혜택을 누릴 수 있도록 최선을 다하고 있습니다. 우리는 이러한 목표를 달성하려면 최소한 세 가지 구성 요소가 필요하다고 믿습니다.

1. 기본 동작 개선: AI 시스템을 즉시 사용할 수 있어 최대한 많은 사용자가 찾을 수 있기를 바랍니다. 우리의 AI 시스템이 실제로 유용하다고 생각하며 기술 분야의 우리가 그 가치를 이해하고 존중한다고 생각합니다.

이를 위해 우리는 ChatGPT가 다양한 입력에 응답할 때 갖는 미묘한 편견을 줄이기 위해 연구 및 엔지니어링에 투자했습니다. ChatGPT는 출력해야 할 콘텐츠 출력을 거부하는 경우도 있고, 출력하지 말아야 할 콘텐츠를 출력하는 경우도 있습니다. 우리는 ChatGPT가 두 영역 모두에서 개선될 가능성이 있다고 믿습니다.

또한 시스템이 종종 "일을 만들어내는" 등 AI 시스템의 다른 측면에도 개선의 여지가 있습니다. 이 문제에 대한 사용자 피드백은 ChatGPT를 개선하는 데 매우 중요합니다.

2. AI 가치를 광범위하게 정의합니다. 우리는 AI가 개인에게 유용한 도구이므로 각 사용자가 몇 가지 제약 조건을 적용하여 맞춤 설정할 수 있어야 한다고 믿습니다. 이를 기반으로 우리는 사용자가 ChatGPT 동작을 쉽게 사용자 정의할 수 있도록 ChatGPT 업그레이드를 개발하고 있습니다.

이는 일부 사람들이 크게 동의하지 않는 결과가 다른 사람들에게 표시된다는 의미이기도 합니다. 이러한 균형을 맞추는 것은 엄청난 도전입니다. 왜냐하면 사용자 정의를 극단적으로 하면 우리 기술의 악의적인 사용으로 이어질 수 있고 AI의 성능을 맹목적으로 증폭시킬 수 있기 때문입니다.

따라서 시스템 동작에는 항상 몇 가지 제한 사항이 있습니다. 문제는 이러한 경계가 무엇인지 정의하는 것입니다. 우리가 이 모든 결정을 스스로 내리려고 하거나 단일한 단일 AI 시스템을 개발하려고 한다면 과도한 권력 집중을 피하겠다는 약속을 이행하지 못할 것입니다.

3. 공개 입력(기본값 및 하드 경계): 과도한 권력 집중을 방지하는 한 가지 방법은 ChatGPT와 같은 시스템을 사용하거나 영향을 받는 사람들이 차례로 시스템 규칙에 영향을 미칠 수 있도록 허용하는 것입니다.

저희는 기본값과 하드 경계가 중앙 집중화되어야 한다고 믿으며, 구현하기는 어렵지만 최대한 많은 관점을 포함하는 것이 목표입니다. 출발점으로 우리는 "레드팀 구성"의 형태로 우리 기술에 대한 외부 의견을 구합니다. 우리는 또한 최근 AI 교육(우리가 배포하는 특히 중요한 맥락)에 대한 대중의 의견을 요청하기 시작했습니다.

결론

위의 세 가지 구성 요소를 결합하면 다음과 같은 프레임워크를 생각해 낼 수 있습니다.

때로 실수를 할 때도 있지만, 실수할 때 모델과 시스템을 배우고 반복합니다. 또한 우리를 주의 깊게 지켜봐 주신 ChatGPT 사용자와 다른 분들께도 감사의 말씀을 전하고 있으며, 앞으로 몇 달 안에 이 세 가지 영역의 작업에 대해 더 많은 정보를 공유하게 되어 기쁘게 생각합니다.

위 내용은 OpenAI, ChatGPT 업그레이드 계획 공개: 발견한 모든 버그가 수정되고 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!