Mistral-Medium이 실수로 유출되었나요? 목록에 오른 이 신비한 모델은 AI 커뮤니티에서 많은 논의를 불러일으켰습니다.

"이제 Perplexity Labs의 Miqu와 Mistral-Medium이 동일한 모델이라는 것을 100% 확신합니다."

최근 "Mistral-Medium 모델 유출"에 관한 뉴스가 모두의 관심을 끌었습니다.

루머에 따르면 'Miqu'라는 새로운 모델에 대해 유출된 소식은 언어 모델의 감성 지능을 평가하는 벤치마크인 EQ-Bench와 관련이 있다고 합니다. 관련 자료에 따르면 EQ-Bench와 MMLU의 상관관계는 약 0.97, Arena Elo와의 상관관계는 약 0.94인 것으로 나타났다. 흥미롭게도 Miqu는 이번 벤치마크 평가에서 GPT-4를 제외한 모든 대형 모델을 직접 능가하며 점수는 Mistral-Medium에 매우 가깝습니다. 이 소식은 광범위한 관심과 토론을 불러일으켰습니다.

^{이미지 출처: https://x.com/N8Programs/status/1752441060133892503?s=20}

오픈 소스 주소: https://huggingface.co/miqudev/miqu-1-70b

이러한 강력한 모델에 대해 프로젝트 게시자는 신비한 사람입니다.

누군가 "당신을 만든 사람"이라고 물었고 Miqu는 직접적으로 "나는 Mistral Al 팀에 의해 만들어졌습니다."라고 말했습니다.

누군가 두 모델 모두에게 동일한 테스트 문제를 보냈고, 받은 답변은 모두 러시아어로 표시되었습니다. 테스터는 "표준 퍼즐을 아는 것 같지만 장난꾸러기라면 러시아어로 답하도록 조정하는 것은 불가능하다"고 의심을 더했다.

번역 과정에서 표현이 거의 똑같았다. .

미쿠는 어디서 왔나요? 정말 미스트랄-미디엄인가요?

이틀 동안 진행된 뜨거운 토론에서 많은 개발자들이 두 모델을 비교한 결과 다음과 같은 가능성이 제시되었습니다.

1. Miqu는 Mistral-Medium입니다. 2. Miqu는 실제로 MistralAI의 모델입니다. 그러나 일부 초기 MoE 실험 버전 또는 기타 버전은

3입니다. Miqu는 Llama2의 미세 조정된 버전입니다.

앞서 첫 번째 가능성을 지지하는 개발자들이 제시한 이유를 소개했습니다. 사건이 전개됨에 따라 더 많은 개발자가 암호 해독 작업에 참여하고 두 모델에 대해 더 심층적인 테스트를 수행했습니다. 늦게까지 깨어 있던 Reddit 사용자가 실시한 테스트에 따르면 Miqu는 MistralAI 모델의 초기 버전에 더 가깝습니다.

개발자는 4개의 전문 독일어 온라인 데이터 보호 교육/시험에 모델을 적용했습니다. 테스트 데이터, 문제 및 모든 지침은 독일어로 되어 있고, 캐릭터 카드는 영어로 되어 있습니다. 이는 번역 기술과 언어 간 이해를 테스트합니다.

구체적인 테스트 방법은 다음과 같습니다.

정보를 제공하기 전에 모델에게 독일어로 지시합니다. "몇 가지 정보를 제공하겠습니다. 이 정보에 주의해 주세요. 하지만 대답할 때는 "OK"를 눌러 확인하세요. 이해하셨나요? 더 이상 말하지 마세요. "모델의 지시 사항 이해 및 실행 능력을 테스트하는 것입니다.
주제에 대한 모든 정보를 제공한 후 모델에게 질문하세요. 첫 번째 질문과 마지막 질문은 동일하지만 보기 순서와 문자(X/Y/Z)가 변경되는 객관식 질문(A/B/C)입니다. 각 시험에는 4~6개의 질문이 포함되어 있으며 총 18개의 객관식 문제가 있습니다.
모델이 제시한 정답 수를 기준으로 순위가 매겨지며, 강좌 정보 제공 후 답변을 먼저 고려하고, 동점일 경우 사전 정보 제공 없이 맹목적으로 답변합니다. 모든 테스트는 독립적인 단위이며 각 테스트 간에 컨텍스트가 지워지고 세션 간에 메모리나 상태가 유지되지 않습니다.
자세한 테스트 보고서는 다음과 같습니다.

miqudev/miqu-1-70b GGUF Q5_K_M, 32K context, Mistral 형식: 4+4+4+5=17/18 배수에 대해 정답만 제공됩니다. 선택 질문. 사전 정보 없이 질문에 답하고 정답을 제시하세요: 4+3+1+5=13/18. 지시대로 "OK"로 데이터 입력이 확인되지 않았습니다.

테스트 중에 개발자는 Miqu가 Mixtral과 많은 유사점을 가지고 있음을 발견했습니다. 뛰어난 이중 언어 철자법 및 문법, 답글에 메모 및 댓글 추가.

그러나 이번 개발자 테스트에서 Miqu는 Mixtral-8x7B-Instruct-v0.1(4비트)보다 성능이 나빴고 Mistral Small and Medium보다 여전히 뛰어났습니다. 하지만 Mixtral 8x7B Instruct보다 별로 좋지는 않습니다. 개발자는 Miqu가 유출된 MistralAI 모델, 즉 오래된 개념 증명 모델일 수 있다고 추측합니다.

이것은 지금까지 두 번째 주장을 뒷받침하는 가장 상세한 테스트입니다.

그러나 일부 개발자는 Miqu가 MistralAI와 아무 관련이 없으며 아키텍처가 Llama 70B와 "정확히 동일"하고 "전문 하이브리드 모델이 아니기" 때문에 Llama 70B에 더 가깝다고 믿습니다.

마찬가지로 일부 사람들은 테스트 후 Miqu가 실제로 Llama에 더 가깝다는 사실을 발견했습니다.

그러나 점수 차이로 볼 때 Miqu와 Llama 70B는 분명히 동일한 모델이 아닙니다.

그래서 누군가 Miqu가 Llama의 미세 조정 버전이거나 Mistral-Medium의 초기 버전이라고 결론을 내렸습니다.

전자가 사실이라면 Miqu는 Llama 70B에서 미세 조정된 것일 수 있습니다. Mistral-Medium 데이터 세트 :

후자가 사실이라면 Miqu는 Mistral API의 증류일 뿐이며 "미국의 가짜 달 착륙" 수준의 희극일 수 있습니다.

마지막 질문, 유출자가 누구야?

많은 X 플랫폼 사용자들이 제공한 단서에 따르면 유출 의심 모델은 원래 4chan이라는 웹사이트에 게시되었습니다. 이 웹사이트는 사용자가 등록하지 않고도 그래픽 및 텍스트 댓글을 게시할 수 있는 완전한 익명의 실시간 메시징 포럼입니다.

물론 이러한 결론은 주관적입니다. 모든 AI 연구자들에게 이 음모가 끝나려면 "진실"이 필요합니다.

^{참조 링크: https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/}

위 내용은 Mistral-Medium이 실수로 유출되었나요? 목록에 오른 이 신비한 모델은 AI 커뮤니티에서 많은 논의를 불러일으켰습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!