대형 모델(LLM)이 보편화되면서 AI 시스템 평가가 중요한 부분이 되었습니다. 평가 과정에서 어떤 어려움에 직면하게 될까요? Anthropic의 기사가 이에 대한 답을 보여줍니다.
이 단계에서 인공 지능(AI)이 사회에 미치는 영향을 둘러싼 대부분의 논의는 진정성, 공정성, 남용 가능성 등과 같은 AI 시스템의 특정 속성에 기인할 수 있습니다. 그러나 이제 문제는 많은 연구자들이 강력하고 신뢰할 수 있는 모델 평가를 구축하는 것이 얼마나 어려운지 완전히 깨닫지 못한다는 것입니다. 오늘날의 기존 평가 키트 중 상당수는 다양한 측면에서 성능이 제한되어 있습니다.
AI 스타트업 Anthropic은 최근 공식 홈페이지에 "AI 시스템 평가의 과제"라는 글을 게재했습니다. 기사에는 AI 시스템을 더 잘 이해하기 위해 AI 시스템 평가를 구축하는 데 오랜 시간을 보냈다고 적혀 있습니다.
기사 주소: https://www.anthropic.com/index/evaluating-ai-systems
이 기사에서는 주로 다음 측면을 논의합니다.
객관식 평가
BIG-bench 및 HELM과 같은 파티 평가 프레임워크
직원이 모델이 유용한지 유해한지 측정하도록 합니다.
도메인 전문가가 관련 위협에 대한 레드팀 분석을 수행하도록 합니다(레드팀). 평가 방법을 개발하는 AI
비영리 단체와 협력하여 피해 모델을 검토합니다.
객관식 평가가 간단해 보일 수도 있지만 그렇지 않습니다. 이 기사에서는 MMLU(멀티태스크 언어 이해 측정) 및 BBQ(QA를 위한 바이어스 벤치마크) 벤치마크에 대한 모델의 과제에 대해 설명합니다.
MMLU 데이터 세트MMLU는 수학, 역사, 법률 등 57개의 객관식 문답 문제가 포함된 영어 평가 데이터 세트로, 현재 주류 LLM 평가 데이터 세트입니다. 정확도가 높을수록 모델의 능력이 강해집니다. 하지만 이 기사에서는 MMLU를 사용하는 데 네 가지 과제가 있음을 발견했습니다. 1. MMLU가 널리 사용되기 때문에 이러한 상황은 불가피하며 모델이 학습 과정에서 MMLU 데이터를 통합하는 것이 더 쉽습니다. 학생들이 시험을 보기 전에 문제를 보는 것과 마찬가지로 부정행위입니다.
2. 옵션을 (A)에서 (1)로 변경하거나 옵션과 답변 사이에 공백을 추가하는 등의 간단한 서식 변경에 민감합니다. 이러한 관행으로 인해 평가 정확도가 약 5% 변동될 수 있습니다.
3. 일부 개발자는 퓨샷 학습이나 사고 연쇄 추론과 같이 MMLU 점수를 향상시키는 방법을 목표로 삼았습니다. 따라서 실험실 간 MMLU 점수를 비교할 때는 세심한 주의가 필요합니다.
4.MMLU는 신중하게 교정되지 않았을 수 있습니다. 일부 연구원은 MMLU에서 라벨 오류 또는 답변할 수 없는 질문의 예를 발견했습니다.
위의 문제로 인해 간단하고 표준화된 평가를 실시할 때에는 사전 판단과 사고가 필요합니다. 이 기사에서는 MMLU를 사용할 때 직면하는 문제가 일반적으로 다른 유사한 객관식 평가에도 적용된다는 것을 보여줍니다.
BBQ객관식 평가를 통해 일부 AI 위험도 측정할 수 있습니다. 특히 Anthropic의 연구원인 Claude는 자체 모델에서 이러한 위험을 측정하기 위해 모집단에 대한 모델 편향을 평가하는 데 사용되는 공통 벤치마크인 BBQ 벤치마크를 사용했습니다. 이 벤치마크를 여러 유사한 평가와 비교한 후, 이 기사에서는 BBQ가 사회적 편견에 대한 좋은 척도를 제공한다고 확신합니다. 작업에는 몇 달이 걸렸습니다. 이 기사는 BBQ를 구현하는 것이 예상보다 훨씬 어렵다는 것을 나타냅니다. 첫 번째는 작동 중인 BBQ의 오픈 소스 구현을 찾을 수 없었고 Anthropic의 최고의 엔지니어들이 평가를 수행하고 테스트하는 데 일주일이 걸렸다는 것입니다. 정확성 측면에서 평가되는 MMLU와 달리 BBQ의 편향 점수는 정의, 계산 및 해석을 위한 뉘앙스와 경험이 필요합니다.
BBQ 편견 점수 범위는 -1부터 1까지입니다. 여기서 1은 상당한 고정관념 편견을 나타내고, 0은 편견이 없음을 나타내고, -1은 상당한 반대 고정관념 편견을 나타냅니다. BBQ를 구현한 후 본 논문에서는 일부 모델의 편향 점수가 0이라는 사실을 발견했습니다. 이 결과는 연구자들을 낙관적으로 만들어 편향된 모델 출력을 줄이는 데 진전이 있음을 나타냅니다.
제3자 평가 프레임워크최근에는 제3자가 평가 제품군을 적극적으로 개발해 왔습니다. 지금까지 Anthropic은 BIG-bench와 스탠포드 대학의 HELM(Holistic Evaluation of Language Models)이라는 두 가지 프로젝트에 참여했습니다. 제3자 평가가 유용해 보이지만 두 프로젝트 모두 새로운 과제에 직면해 있습니다.
BIG-benchBIG-bench는 과학부터 사회 추론까지 다양한 주제를 다루는 450명 이상의 연구원이 공동으로 완성한 204개의 평가로 구성됩니다. Anthropic은 이 벤치마크를 사용할 때 몇 가지 문제에 직면했다고 말했습니다. BIG 벤치를 설치하기 위해 많은 시간을 보냈습니다. BIG-bench는 MMLU만큼 플러그 앤 플레이가 아닙니다. BBQ를 사용하는 것보다 구현하는 데 더 많은 노력이 필요합니다. BIG 벤치는 효과적으로 확장할 수 없으며 204개의 평가를 모두 완료하는 것은 매우 어렵습니다. 따라서 사용된 인프라와 잘 작동하도록 다시 작성해야 하는데 이는 엄청난 작업량입니다. 또한 구현 과정에서 본 글에서는 평가에서 일부 버그가 발견되어 사용하기 매우 불편한 점이 발견되어 이번 실험 이후 인류연구원들은 이를 포기했습니다. HELM: 하향식 평가 세트 관리 BIG-bench는 누구나 작업을 제출할 수 있는 "상향식" 노력으로, 전문 조직자 그룹의 제한된 검토를 받습니다. HELM은 전문가가 모델 평가에 사용할 작업을 결정하는 "하향식" 접근 방식을 채택합니다. 구체적으로 HELM은 정확성, 견고성, 공정성 등의 표준 지표를 사용하여 추론 시나리오, 잘못된 정보가 포함된 시나리오 등 다양한 시나리오에서 모델을 평가합니다. Anthropic은 HELM 개발자에게 모델에 대한 벤치마크를 실행할 수 있는 API 액세스를 제공합니다. BIG-bench에 비해 HELM에는 두 가지 장점이 있습니다. 1) 광범위한 엔지니어링 작업이 필요하지 않습니다. 2) 전문가가 특정 고품질 평가를 선택하고 해석할 수 있습니다. 그러나 HELM에는 몇 가지 과제도 있습니다. 다른 모델을 평가하는 데 효과적인 방법이 Anthropic 모델에서는 반드시 작동하지 않을 수도 있으며 그 반대의 경우도 마찬가지입니다. 예를 들어, Anthropic의 Claude 모델 제품군은 Human/Assistant 형식이라는 특정 텍스트 형식을 따르도록 훈련되었습니다. Anthropic은 모델을 평가할 때 내부적으로 이 특정 형식을 따릅니다. 이 형식을 따르지 않으면 Claude는 때때로 특이한 답변을 제공하여 표준 평가 지표 결과의 신뢰성을 떨어뜨립니다. 또한 HELM을 완료하는 데 오랜 시간이 걸리고 새 모델을 평가하는 데 수개월이 걸릴 수 있으며 외부 당사자와의 조정 및 커뮤니케이션이 필요합니다. 인공 지능 시스템은 사람들과의 개방적이고 역동적인 상호 작용을 위해 설계되었습니다. 그렇다면 모델을 실제 적용에 더 가깝게 평가하는 방법은 무엇일까요? A/B 테스트를 위해 크라우드소싱된 인력 현재 이 분야에서는 주로(배타적이지는 않지만) 한 가지 기본적인 인간 평가 유형, 즉 두 사람이 상호 작용하는 크라우드소싱 플랫폼의 A/B 테스트에 의존합니다. 모델을 선택하고 모델 A 또는 B의 응답이 더 유용한지 또는 무해한지 선택하고 유용성 또는 무해성에 따라 모델의 순위를 매깁니다. 이 평가 방법의 장점은 실제 환경에 대응하고 다양한 모델의 순위를 매길 수 있다는 것입니다. 그러나 이 평가 방법에는 몇 가지 제한 사항이 있으며 실험을 실행하는 데 비용과 시간이 많이 걸립니다. 먼저, 이 접근 방식에는 타사 크라우드소싱 플랫폼과의 파트너십 및 비용 지불, 모델에 대한 사용자 정의 웹 인터페이스 구축, A/B 테스터를 위한 세부 지침 설계, 결과 데이터 분석 및 저장, 채용 문제 해결이 필요합니다. 크라우드소싱 노동자들이 제기한 것이다. 무해한 테스트의 경우 실험은 사람들을 유해한 출력에 노출시킬 위험도 있습니다. 인간 평가의 결과는 인간 평가자의 창의성 수준, 동기 부여 및 테스트 중인 시스템의 잠재적 결함을 식별하는 능력을 포함하여 인간 평가자의 특성에 따라 크게 달라질 수도 있습니다. 또한 유용한 것과 무해한 것 사이에는 본질적인 긴장감이 있습니다. "죄송합니다. 도와드릴 수 없습니다."와 같은 도움이 되지 않는 응답을 제공함으로써 시스템의 유해성을 줄일 수 있습니다. 유익한 것과 무해한 것 사이의 적절한 균형은 무엇입니까? 모델이 유용하고 충분히 무해하다는 것을 나타내는 지표 값은 무엇입니까? 많은 질문에 대해 해당 분야의 연구자들은 답을 찾기 위해 더 많은 노력을 기울여야 합니다. 자세한 내용은 원문을 참고해주세요. 원본 링크: https://www.anthropic.com/index/evaluating-ai-systems
위 내용은 대형 모델의 점수를 매기기 위한 벤치마크는 신뢰할 수 있습니까? Anthropic은 큰 평가를 받고 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
