오픈 소스 모델이 처음으로 GPT-4를 획득했습니다! Arena의 최신 전투 보고서는 열띤 논쟁을 불러일으켰습니다. Karpathy: 이것이 제가 신뢰하는 유일한 목록입니다.

GPT-4를 이길 수 있는 오픈소스 모델이 등장했습니다!

대형 모델 아레나 최신 전투 보고서:

1040억 매개변수 오픈소스 모델 Command R+가 GPT-4-0314와 공동으로 GPT-4-0613을 제치고 6위에 올랐습니다.

Pictures

이것은 또한 대형 모델 분야에서 GPT-4를이긴 최초의 오픈 웨이트 모델이기도 합니다.

대형 모델 경기장은 Karpathy 마스터가 신뢰하는 유일한 테스트 벤치마크 중 하나입니다.

Pictures

AI 유니콘 Cohere에서 R+를 명령하세요. 이 대형 모델 스타트업의 공동 창업자이자 CEO는 바로 트랜스포머(일명 밀 수확자)의 최연소 작가인 에이든 고메즈다.

사진

이 전투 보고서가 나오자마자 대형 모델 커뮤니티에서는 또 한번 뜨거운 논의가 시작되었습니다.

모두가 기대하는 이유는 간단합니다. 1년 내내 기본 대형 모델이 출시됐는데, 예상외로 2024년에도 풍경은 계속해서 발전하고 변화할 것입니다.

HuggingFace 공동 창립자인 Thomas Wolf는 다음과 같이 말했습니다.

대형 모델 분야의 상황은 최근 크게 바뀌었습니다.

Anthropic의 Claude 3 작품이 비공개 소스 모델을 지배하고 있습니다.

Cohere의 Command R+는 오픈소스 모델 중 가장 강력해졌습니다.

2024년에 인공 지능 팀이 오픈 소스와 비공개 소스 경로 모두에서 이렇게 빠르게 발전할 것이라고는 예상하지 못했습니다.

Pictures

또한 Cohere 머신 러닝 디렉터 Nils Reimers는 주목할 만한 점을 지적했습니다.

Command R+의 가장 큰 특징은 내장된 RAG(Retrieval Augmentation Generation)의 포괄적인 최적화입니다. 대형 모델 경쟁 현장에서는 RAG 등 플러그인 기능은 테스트에 포함되지 않았다.

Pictures

RAG 최적화 모델, 오픈 소스 왕좌에 오르다

Cohere의 공식 포지셔닝에서 Command R+는 "RAG 최적화 모델"입니다.

즉, 1,040억 개의 매개변수를 가진 이 대형 모델은 환각 발생을 줄이기 위한 검색 향상 생성 기술에 깊이 최적화되었으며 기업 수준의 워크로드에 더 적합합니다.

이전에 출시된 Command R과 마찬가지로 Command R+의 컨텍스트 창 길이는 128k입니다.

또한 Command R+에는 다음 기능도 있습니다.

• 영어, 중국어, 프랑스어, 독일어 등을 포함한 10개 이상의 언어를 지원합니다.
• 도구를 사용하여 복잡한 비즈니스 프로세스의 자동화를 완료할 수 있습니다.

From; 테스트 결과, 다국어 지원, RAG, 도구 활용 등 3가지 차원에서 Command R+는 GPT-4 터보 수준에 도달했습니다.

하지만 입력 비용으로 따지면 Command R+의 가격은 GPT-4 터보의 1/3에 불과합니다.

출력 비용 측면에서 Command R+는 GPT-4 터보의 1/2입니다.

Pictures

이것이 많은 네티즌들의 관심을 끌었습니다:

Pictures

그러나 대형 모델 경기장 등 인간의 주관적 평가에서 눈길을 끄는 성능에도 불구하고 일부 네티즌들은 여전히 좀 다른 견해를 내놓았습니다.

HumanEval에서 Command R+의 코딩 성능은 GPT-3.5를 능가하지도 못했으며 두 테스트에서 각각 32위와 33위를 기록했습니다.

최신 버전의 GPT-4 터보가 아무런 긴장감 없이 1위를 차지했습니다.

Pictures

또한 최근 심각한 논문에 등재된 정신지체 벤치마크에서 Command R+의 중국어 능력을 간략하게 테스트했습니다.

사진

어떻게 평가하시겠습니까?

Command R+의 오픈 소스는 학술 연구 전용이며 상업적인 용도로 무료로 사용할 수 없다는 점에 유의하시기 바랍니다.

한 가지 더

마지막으로 밀 자르는 사람에 대해 더 이야기해 보겠습니다.

원탁의 트랜스포머 기사 중 막내인 에이단 고메즈는 연구팀에 합류할 당시 학부생이었습니다. -

그러나 토론토 대학 3학년 때 힌튼 연구소에 합류했습니다.

2018년 Kao Maozi는 Oxford University에 입학하여 그의 논문 파트너처럼 CS 박사 과정 공부를 시작했습니다.

그러나 2019년, 그는 Cohere 창립과 함께 마침내 학교를 그만두고 AI 창업의 물결에 합류하기로 결정했습니다.

Cohere는 주로 기업을 위한 대형 모델 솔루션을 제공하며 현재 가치는 22억 달러에 달합니다.

참조 링크:
[1]//m.sbmmt.com/link/3be14122a3c78d9070cae09a16adcbb1[2]//m.sbmmt.com/link/93fc5aed8c051ce4538e052cfe9f8692