'건초더미에서 바늘찾기'가 나왔습니다! Goose Factory에서 '별 세기'를 통해 텍스트 길이를 더욱 정확하게 측정할 수 있게 되었습니다.

대형 모델의 긴 텍스트 능력을 테스트하는 새로운 방법이 있습니다!

Tencent MLPD Lab은 새로운 오픈 소스 "Counting Stars" 방법을 사용하여 전통적인 "건초 더미 속의 바늘" 테스트를 대체합니다.

반대로, 새로운 방법 은 긴 종속성을 처리하는 모델의 능력 을 검사하는 데 더 많은 관심을 기울이고 모델 평가가 더 포괄적이고 정확합니다.

이 방법을 사용하여 연구진은 GPT-4와 국내 유명 키미채팅에 대해 '별 세기' 테스트를 진행했습니다.

결과적으로 서로 다른 실험 조건에서 두 모델은 각각의 장점과 단점이 있지만 둘 다 강력한 긴 텍스트 기능을 보여줍니다.

Δ가로축은 2를 밑으로 하는 로그 좌표입니다

그럼 "별 세기"는 어떤 테스트인가요?

'건초 더미에서 바늘 찾기'보다 더 정확함

먼저, 연구원들은 테스트 중에 긴 텍스트를 선택하여 최대 128k까지 길이를 늘렸습니다.

그런 다음 다양한 시험 난이도 요구 사항에 따라 전체 텍스트가 N개의 단락으로 나뉘고 그 안에 "별"이 포함된 M개의 문장이 삽입됩니다 .

실험 중에 연구원들은 "빨간 저택의 꿈"을 맥락 텍스트로 선택하고 "꼬마 펭귄이 x개의 별을 세었다"와 같은 문장을 추가했는데, 각 문장의 x가 달랐습니다.

그런 다음 모델은 그러한 문장을 모두 찾아 모든 숫자를 출력하고 그 안의 숫자만 JSON 형식으로 출력하도록 요청받습니다.

연구원들은 모델의 출력을 얻은 후 이 숫자를 Ground Truth와 비교하고 최종적으로 모델 출력의 정확도를 계산합니다.

이전의 "건초 더미 속의 바늘" 테스트와 비교할 때 이 "별 개수 세기" 방법은 긴 종속성을 처리하는 모델의 능력을 더 잘 반영합니다.

간단히 말하면, "건초 더미"에 여러 개의 "바늘"을 삽입한다는 것은 여러 단서를 삽입한 다음 대형 모델이 일련의 여러 단서를 찾아 추론하고 최종 답을 얻도록 하는 것을 의미합니다.

그러나 실제 "건초 더미에서 많은 바늘 찾기" 테스트에서는 모델이 질문에 올바르게 대답하기 위해 모든 "바늘"을 찾을 필요가 없으며 때로는 마지막 바늘만 찾으면 되는 경우도 있습니다.

하지만 "별 개수"는 다릅니다. 각 문장의 "별" 개수가 다르기 때문에 모델은 질문에 올바르게 답하려면 모든 별을 찾아야 합니다.

간단해 보이지만 적어도 다중 "바늘" 작업의 경우 "별 세기"는 모델의 긴 텍스트 기능을 더 정확하게 반영합니다.

그렇다면, 가장 먼저 'Counting Stars' 테스트를 받은 대형 모델은 누구였나요?

GPT-4와 키미는 구별이 불가능합니다

이번 테스트에 참가한 대형 모델은 GPT-4와 장문 기능으로 유명한 국내 대형 모델인 키미입니다.

"별" 개수와 텍스트 세분성이 모두 32일 때 GPT-4의 정확도는 96.8%에 도달하고 Kimi는 86.4%에 도달합니다.

하지만 "별"을 64개로 늘렸을 때 키미의 정확도는 93.1%로 GPT-4를 89.7%로 넘어섰습니다.

16개로 줄였을 때도 키미의 성능이었습니다. GPT-4보다 약간 낫습니다.

분할의 세분화도 모델의 성능에 어느 정도 영향을 미칩니다. "별"도 32번 나타나면 세분화가 32에서 16으로 변경됩니다. GPT-4의 점수는 증가한 반면 Kimi는 감소했습니다.

위 테스트에서 "별"의 수가 순차적으로 증가했다는 점에 유의해야 하지만 연구원들은 이 경우 대형 모델이 "게으름"을 좋아한다는 것을 곧 발견했습니다. -

모델이 별의 수가 증가하면 구간 내의 숫자가 무작위로 생성되더라도 대형 모델의 민감도가 증가하는 것으로 나타났습니다.

예: 모델은 24, 10, 3, 1145, 9, 114514

보다 3, 9, 10, 24, 1145, 114514의 증가 수열에 더 민감합니다. 그래서 연구원들은 의도적으로 순서를 변경했습니다. 중단되고 다시 테스트되었습니다.

교란 이후 GPT-4와 Kimi의 성능은 크게 떨어졌지만 정확도는 8.6%포인트 차이로 여전히 60% 이상이었습니다.

한 가지 더

이 방법의 정확성은 아직 테스트하는 데 시간이 필요할 수 있지만 이름이 정말 좋다고 말씀드리고 싶습니다.

△영어 노래 Counting Stars 가사

네티즌들은 대형 모델에 대한 연구가 점점 더 마법처럼 변하고 있다는 사실에 한숨을 쉬지 않을 수 없습니다.

그러나 마술 뒤에는 사람들이 대규모 모델의 장기 컨텍스트 처리 기능과 성능을 완전히 이해하지 못한다는 사실도 보여줍니다.

몇일 전, 다수의 대형 모델 제조사들이 모델 출시를 발표했습니다 (모두 컨텍스트 창을 기반으로 한 것은 아니지만) 최대 수천만 개의 매우 긴 텍스트를 처리할 수 있지만 실제 성능은 여전히 ​​​​낮습니다. 알려지지 않은.

Counting Stars의 등장은 이러한 모델의 실제 성능을 이해하는 데 도움이 될 수 있습니다.

그럼 다른 어떤 모델의 테스트 결과도 보고 싶으신가요?

논문 주소: https://arxiv.org/abs/2403.11802
GitHub: https://github.com/nick7nlp/Counting-Stars