대형 모델이 벤치마크 평가에 속지 않도록 하세요! 테스트 세트가 사전 훈련에 무작위로 포함되어 점수가 잘못 높아 모델이 바보가 됩니다.

“대형 모델이 벤치마크 평가에 속지 않도록 하세요.”

인민대학교 정보대학원, 힐하우스 인공지능대학원, 일리노이대학교 어바나-샴페인 캠퍼스의 최신 연구 제목입니다.

연구에 따르면 벤치마크 테스트의 관련 데이터가 실수로 모델 교육에 사용되는 경우가 점점 더 많아지고 있는 것으로 나타났습니다.

사전 학습 코퍼스에는 공개된 텍스트 정보가 많이 포함되어 있고, 평가 벤치마크도 이 정보를 기반으로 하기 때문에 이러한 상황은 불가피합니다.

이제 대형 모델이 더 많은 공개 데이터를 수집하려고 함에 따라 문제는 더욱 악화되고 있습니다.

이런 종류의 데이터 중복은 매우 해롭다는 것을 아셔야 합니다.

모델의 일부 부분에 대해 잘못된 높은 테스트 점수를 초래할 뿐만 아니라 모델의 일반화 능력이 저하되고 관련 없는 작업의 성능이 급락하게 됩니다. 실제 적용에서는 대형 모델이 "해를 끼칠" 수도 있습니다.

그래서 이번 연구에서는 공식적으로 경고를 발령하고, 구체적으로 여러 시뮬레이션 테스트를 통해 유발될 수 있는 실제 위험을 검증했습니다.

대형 모델이 "질문을 놓치는" 것은 매우 위험합니다.

이 연구에서는 주로 극단적인 데이터 유출을 시뮬레이션하여 대형 모델의 영향을 테스트하고 관찰합니다.

데이터 유출에는 네 가지 극단적인 방법이 있습니다.

• MMLU의 훈련 세트 사용
• MMLU를 제외한 모든 테스트 벤치마크의 훈련 세트 사용
• 모든 훈련 세트 + 테스트 프롬프트 사용
• 모든 훈련 세트, 테스트 세트 사용 그리고 테스트 프롬프트(이것은 가장 극단적인 경우입니다. 실험적 시뮬레이션일 뿐이며 일반적인 상황에서는 발생하지 않습니다.)

그런 다음 연구원들은 4개의 대형 모델을 "중독"한 다음 서로 다른 벤치마크에서 성능을 관찰했습니다. 주로 질의응답, 추론, 독해 등의 과제 수행 능력을 평가합니다.

사용된 모델은 다음과 같습니다:

• GPT-Neo(1.3B)
• phi-1.5(1.3B)
• OpenLLaMA(3B)
• LLaMA-2(7B)

LLaMA(13B/30B)도 사용 /65B)를 대조군으로 사용합니다.

결과에 따르면 대형 모델의 사전 학습 데이터에 특정 평가 벤치마크의 데이터가 포함되어 있으면 해당 평가 벤치마크에서는 더 나은 성능을 발휘하지만 관련 없는 다른 작업에서는 성능이 저하되는 것으로 나타났습니다.

예를 들어, MMLU 데이터 세트로 훈련한 후 여러 대형 모델의 점수는 MMLU 테스트에서 향상되었지만 상식 벤치마크 HSwag 및 수학 벤치마크 GSM8K의 점수는 떨어졌습니다.

이는 대형 모델의 일반화 능력에 영향을 미친다는 것을 보여줍니다.

반면, 관련 없는 시험에서 거짓으로 높은 점수를 받을 수도 있습니다.

위에서 언급한 것처럼 대형 모델을 "포이즌"하는 데 사용된 4개의 훈련 세트에는 소량의 중국 데이터만 포함되어 있습니다. 그러나 대형 모델이 "포이즌"된 후 C3(중국 벤치마크 테스트)의 점수가 모두 높아졌습니다.

이번 인상은 무리입니다.

이런 종류의 학습 데이터 유출로 인해 모델 테스트 점수가 비정상적으로 더 큰 모델의 성능을 초과할 수도 있습니다.

예를 들어, phi-1.5(1.3B)는 RACE-M 및 RACE-H에서 LLaMA65B보다 더 나은 성능을 발휘하며, 후자는 전자보다 크기가 50배 더 ​​큽니다.

그런데 이런 점수 상승은 의미가 없습니다, 그냥 속임수일 뿐입니다.

더 심각한 것은 데이터가 유출되지 않은 작업에도 영향을 미치고 성능이 저하된다는 점입니다.

아래 표에서 볼 수 있듯이 코드 태스크 HEval에서는 두 대형 모델 모두 점수가 크게 하락했습니다.

데이터가 동시에 유출된 후, 대형 모델의 미세 튜닝 개선은 유출이 없는 상황에 비해 훨씬 뒤떨어졌습니다.

데이터 중복/유출이 발생하는 상황에 대해 본 연구에서는 다양한 가능성을 분석합니다.

예를 들어 대규모 모델 사전 학습 코퍼스와 벤치마크 테스트 데이터는 공개 텍스트(웹페이지, 논문 등)를 사용하므로 중복이 불가피합니다.

그리고 현재 대규모 모델 평가는 로컬에서 수행되거나 API 호출을 통해 결과를 얻습니다. 이 방법은 일부 비정상적인 수치 증가를 엄격하게 확인할 수 없습니다.

그리고 현재 대형 모델의 사전 훈련 코퍼스는 모든 당사자에게 핵심 비밀로 간주되며 외부 세계에서는 평가할 수 없습니다.

이로 인해 대형 모델이 실수로 "중독"되는 결과가 발생했습니다.

이 문제를 피하는 방법은 무엇입니까? 연구팀은 몇 가지 제안도 내놨다.

어떻게 피하나요?

연구팀은 세 가지 제안을 했습니다.

첫째, 실제 상황에서는 데이터 중복을 완전히 피하기 어렵기 때문에 대형 모델은 보다 종합적인 평가를 위해 여러 벤치마크 테스트를 사용해야 합니다.

둘째, 대규모 모델 개발자의 경우 데이터의 민감도를 낮추고 훈련 코퍼스의 세부 구성을 공개해야 합니다.

셋째, 벤치마크 관리자에게는 벤치마크 데이터 소스를 제공하고, 데이터 오염 위험을 분석하고, 보다 다양한 프롬프트를 사용하여 다중 평가를 수행해야 합니다.

그러나 연구팀은 이 연구에는 여전히 일정한 한계가 있다고 밝혔습니다. 예를 들어 다양한 수준의 데이터 유출에 대한 체계적인 테스트가 없으며 시뮬레이션을 위한 사전 훈련에서 데이터 유출을 직접 도입하지 못합니다.

이 연구는 중국 인민대학교 정보학부, 힐하우스 인공지능학부, 일리노이대학교 어바나-샴페인 캠퍼스의 많은 학자들이 공동으로 수행한 것입니다.

연구팀에서는 데이터 마이닝 분야에서 두 명의 유명 인사인 Wen Jirong과 Han Jiawei를 발견했습니다.

원지롱 교수는 현재 중국 런민대학교 인공지능학부 학장이자 중국 런민대학교 정보학부 학장입니다. 주요 연구 방향은 정보 검색, 데이터 마이닝, 기계 학습, 대규모 신경망 모델의 훈련 및 응용입니다.

한자웨이 교수는 데이터 마이닝 분야의 전문가입니다. 그는 현재 일리노이대학교 어바나-샴페인 캠퍼스 컴퓨터공학과 교수이자 미국컴퓨터학회 학술위원이자 IEEE 학술위원입니다.

논문 주소: https://arxiv.org/abs/2311.01964.

위 내용은 대형 모델이 벤치마크 평가에 속지 않도록 하세요! 테스트 세트가 사전 훈련에 무작위로 포함되어 점수가 잘못 높아 모델이 바보가 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!