소비자 등급 그래픽 카드를 사용할 수 있습니다! Li Kaifu는 역사상 가장 강력한 코드 수학적 능력을 갖춘 90억 개의 매개변수 Yi 모델을 출시하고 오픈소스화했습니다.

Kai-Fu Lee의 AI 회사인 Zero One에는 또 다른 대형 모델 플레이어가 있습니다:

90억 매개변수 Yi-9B.

이 시리즈에서는 "과학 챔피언"으로 알려져 있습니다. 종합 능력에서 뒤처지지 않고 코드 수학을 "보충"합니다.

비슷한 규모(Mistral-7B, SOLAR-10.7B, Gemma-7B, DeepSeek-Coder-7B-Base-v1.5 등 포함)의 일련의 오픈 소스 모델 중에서 최고의 성능을 발휘합니다 .

오래된 규칙, 릴리스는 오픈 소스입니다. 특히 개발자에게 친숙합니다:

Yi-9B(BF 16) 및 양자화 버전 Yi-9B(Int8)는 소비자급 그래픽 카드에 배포할 수 있습니다.

RTX 4090이나 RTX 3090이면 충분합니다.

심층 증폭 + 다단계 증분 훈련

Zero One Thousand Things의 Yi 제품군은 이전에 Yi-6B 및 Yi-34B 시리즈를 출시했습니다.

둘 다 3.1T 토큰 중국어 및 영어 데이터로 사전 학습되었으며, Yi-9B는 이를 기반으로 0.8T 토큰을 추가하여 학습되었습니다.

데이터 마감일은 2023년 6월입니다.

Yi-9B의 가장 큰 발전은 수학과 코딩에 있다고 처음에 언급했는데, 이 두 가지 능력을 어떻게 향상시킬 수 있을까요?

Zero One Thousand Things 소개:

데이터 양을 늘리는 것만으로는 기대에 미치지 못합니다.

먼저 모델 크기를 Yi-6B를 기반으로 9B로 늘린 다음 다단계 데이터 증분 학습 을 수행합니다.

우선, 모델 크기를 늘리는 방법은 무엇입니까?

한 가지 전제는 분석을 통해 팀이 발견했다는 것입니다.

Yi-6B는 완전히 훈련되었으며 토큰을 아무리 추가해도 훈련 효과가 향상되지 않을 수 있으므로 규모를 확장하는 것이 고려됩니다. (아래 사진의 단위는 TB가 아니라 B입니다)

어떻게 늘리나요? 정답은 심층 증폭입니다.

Zero One Thousand Things 소개:

원래 모델의 너비를 확장하면 더 많은 성능 손실이 발생합니다. 적합한 레이어를 선택하여 모델을 깊이 증폭한 후에는 새 레이어의 입력/출력 코사인이 1.0에 가까워집니다. 즉, 증폭된 모델 성능이 원래 모델의 성능을 유지할 수 있을수록 모델 성능 손실은 작아집니다.

이 아이디어에 따라 Zero Yiwu는 Yi-6B의 상대적으로 뒤쪽에 있는 16개 층(12-28개 층)을 복사하여 48개 층의 Yi-9B를 형성하기로 결정했습니다.

실험에 따르면 Solar-10.7B 모델을 사용하여 중간 16개 레이어(8~24개 레이어)를 복사하는 것보다 이 방법이 더 나은 성능을 발휘하는 것으로 나타났습니다.

둘째, 다단계 훈련 방법은 무엇인가요?

답은 먼저 텍스트와 코드가 포함된 0.4T 데이터를 추가하는 것이지만, 데이터 비율은 Yi-6B와 같습니다.

그런 다음 0.4T의 데이터를 추가하세요. 여기에는 텍스트와 코드도 포함되지만 코드와 수학 데이터의 비율을 높이는 데 중점을 둡니다.

(알고 있듯이 대형 모델에 대해 질문할 때 "단계적으로 생각"하는 트릭과 동일합니다)

이 두 단계가 완료된 후에도 팀은 여전히 ​​두 개의 논문을 참조합니다 (An Empirical Model of Large- 배치 훈련 및 학습률 저하 방지, 배치 크기 증가) 및 매개변수 조정 방법을 최적화했습니다.

즉, 고정된 학습률에서 시작하여 모델 손실이 감소를 멈출 때마다 감소가 중단되지 않고 모델이 더 완벽하게 학습할 수 있도록 배치 크기가 늘어납니다.

결국 Yi-9B에는 실제로 총 88억 개의 매개변수가 포함되어 4k 컨텍스트 길이에 도달했습니다.

Yi 시리즈는 가장 강력한 코딩 및 수학적 능력을 가지고 있습니다

실제 테스트에서 Zero Yiwu는 탐욕스러운 디코딩 생성 방법(즉, 매번 확률 값이 가장 높은 단어를 선택하는 방법)을 사용하여 테스트했습니다.

참여 모델은 DeepSeek-Coder, DeepSeek-Math, Mistral-7B, SOLAR-10.7B 및 Gemma-7B입니다.

(1)DeepSeek-Coder, 국내 심층 검색 회사의 33B 지침 튜닝 버전에 대한 인간의 평가는 GPT-3.5-turbo를 초과하며 7B 버전의 성능은 CodeLlama-34B의 성능에 도달할 수 있습니다.

DeepSeek-Math는 7B 매개변수를 사용하여 GPT-4를 뒤집으며 전체 오픈 소스 커뮤니티에 충격을 주었습니다.

(2)SOLAR-10.7B2023년 12월에 탄생한 대한민국의 Upstage AI는 성능 면에서 Mixtral-8x7B-Instruct를 능가합니다.

(3)Mistral-7B은 최초의 오픈 소스 MoE 대형 모델로 Llama 2 70B 및 GPT-3.5 수준에 도달하거나 심지어 능가합니다.

(4)Gemma-7BGoogle에서 Zero One Wanwu는 다음과 같이 지적했습니다.

유효 매개변수의 양은 실제로 Yi-9B와 동일한 수준입니다.

(둘의 작명 기준이 다릅니다. 전자는 Non-Embedding 매개변수만 사용하고, 후자는 모든 매개변수를 사용하여 반올림합니다.)

결과는 다음과 같습니다.

일단 코딩 작업 측면에서는 Yi-9B의 성능이 DeepSeek-Coder-7B에 이어 2위이고, 나머지 4개는 모두 KO입니다.

수학적 능력 면에서 Yi-9B의 성능은 DeepSeek-Math-7B에 이어 두 번째로 다른 4개를 능가합니다.

전체적인 실력도 나쁘지 않습니다.

비슷한 크기의 오픈소스 모델 중 성능이 가장 뛰어나며, 다른 5개 플레이어를 모두 능가합니다.

마지막으로 상식과 추론 능력이 테스트되었습니다.

결과는 Yi-9B가 Mistral-7B, SOLAR-10.7B 및 Gemma-7B와 동등하다는 것입니다.

그리고 언어 능력은 영어뿐만 아니라 중국어도 널리 호평을 받고 있습니다.

마지막으로 이 글을 읽은 일부 네티즌들은 다음과 같이 말했습니다: 빨리 해보고 싶어요.

DeepSeek에 대해 걱정하는 사람들도 있습니다.

어서 '게임'을 강화하세요. 완전한 지배력이 사라졌습니다==

포털은 여기입니다: https://huggingface.co/01-ai/Yi-9B