350억 개의 매개변수와 개방형 가중치를 갖춘 Transformer의 저자는 자신의 사업을 시작한 후 새로운 대형 모델을 출시했습니다.

오늘, 트랜스포머의 저자 중 한 명인 에이든 고메즈가 공동 창업한 인공지능 스타트업 코히어(Cohere)가 자체 대형 모델의 출시를 환영했습니다.

Cohere의 최신 출시 모델은 "Command-R"이라는 이름으로 35B 매개변수를 가지며 대규모 생산 작업 부하를 처리하도록 설계되었습니다. 이 모델은 높은 효율성과 높은 정확성의 균형을 통해 "확장 가능" 범주에 속하며 기업 사용자가 개념 증명을 넘어 프로덕션으로 이동할 수 있도록 지원합니다.

Command-R은 RAG(Retrieval Augmented Generation) 및 기타 긴 컨텍스트 작업에 특별히 최적화된 생성 모델입니다. 이 모델은 외부 API와 도구를 결합하여 RAG 애플리케이션의 성능을 향상시키는 것을 목표로 합니다. 업계 최고의 임베딩 및 재정렬 모델과 함께 작동하여 기업 사용 사례에 맞는 뛰어난 성능과 동급 최고의 통합 기능을 제공합니다.

Command-R은 최적화된 변환기 아키텍처를 채택하고 자동 회귀 언어 모델입니다. 사전 훈련이 완료된 후에는 SFT(Supervised Fine-Tuning) 및 선호도 훈련을 통해 모델이 인간의 선호도와 일치하도록 보장하여 더 나은 유용성과 안전성을 달성합니다.

특히 Command-R에는 다음과 같은 기능적 특징이 있습니다.

• RAG 및 도구 사용의 높은 정확성
• 낮은 대기 시간, 높은 처리량
• 더 긴 128k 컨텍스트 및 저렴한 가격
• 10개 주요 언어에 대한 강력한 기능 ​​
• 연구 및 평가를 위해 HuggingFace에서 모델 가중치를 사용할 수 있습니다.

Command-R은 현재 Cohere의 관리형 API에서 사용할 수 있으며 계획에 따라 주요 클라우드 제공업체에서 곧 사용할 수 있을 예정입니다. 이 릴리스는 기업의 대량 채택에 중요한 기능을 발전시키도록 설계된 일련의 모델 중 첫 번째입니다.

현재 코히어에서는 Huggingface에 모델 웨이트를 오픈했습니다. Huggingface 주소 : https://huggingface.co/cohereforai/c4ai-command-r-v01 high-performance 검색 강화 생성 (rag)

reverieval 향상 생성 (RAG) 대규모 언어 모델 배포의 핵심 패턴이 되었습니다. RAG를 통해 기업은 모델에 다른 방법으로는 사용할 수 없는 개인 지식에 대한 액세스 권한을 부여하고, 개인 데이터베이스를 검색하고, 관련 정보를 사용하여 응답을 작성함으로써 정확성과 유용성을 크게 높일 수 있습니다. RAG의 주요 구성 요소는 다음과 같습니다.

검색의 경우 Cohere의 Embed 모델은 수백만, 심지어 수십억 개의 문서를 검색하여 상황적, 의미적 이해를 향상시켜 검색 단계의 유용성과 정확성을 크게 높입니다. 동시에 Cohere의 Rerank 모델은 검색된 정보의 가치를 더욱 높이는 데 도움이 되며 관련성 및 개인화와 같은 맞춤형 지표에 대한 결과를 최적화합니다.
향상된 세대를 위해 Command-R은 가장 관련성이 높은 정보를 식별함으로써 이 정보를 요약, 분석 및 패키지화하고 직원이 업무 효율성을 향상하거나 새로운 제품 경험을 창출하도록 도울 수 있습니다. Command-R은 모델의 출력에 명확한 인용이 포함되어 환각의 위험을 줄이고 원본 자료에서 더 많은 맥락을 제공한다는 점에서 독특합니다.
자체 Embed 및 Rerank 모델을 사용하지 않더라도 Command-R은 확장 가능한 생성 모델 범주에서 다른 모델보다 성능이 뛰어납니다. 그러나 함께 사용하면 리드가 크게 확장되어 더 복잡한 도메인에서 더 높은 성능을 발휘할 수 있습니다.

아래 왼쪽 그림은 유창성, 답변 실용성 및 인용을 고려하여 일련의 기업 관련 RAG 애플리케이션에 대해 전반적인 일대일 인간 선호도 평가를 수행하는 Command-R과 Mixtral을 보여줍니다. 그림의 오른쪽은 Command-R(Embed+Rerank), Command-R과 Llama 2 70B(채팅), Mixtral, GPT3.5-Turbo 및 기타 모델을 Natural Question, TriviaQA 및 벤치마크와 같은 벤치마크에서 비교한 결과를 보여줍니다. 핫팟QA. Cohere의 빅 모델이 선두를 차지했습니다.

강력한 도구 사용

큰 언어 모델은 단순히 텍스트를 추출하고 생성하는 기계가 아니라 작업을 자동화하고 실제 조치를 취할 수 있는 핵심 추론 엔진이어야 합니다. Command-R은 모델이 매우 복잡한 작업을 자동화할 수 있도록 하는 코드 해석기 및 기타 사용자 정의 도구와 같은 도구(API)를 사용하여 이러한 목표를 달성합니다.

도구 사용 기능을 통해 기업 개발자는 Command-R을 엔진으로 전환하여 "데이터베이스 및 소프트웨어 도구와 같은 내부 인프라"는 물론 CRM 및 검색 엔진과 같은 외부 도구의 사용이 필요한 작업 및 워크플로를 지원할 수 있습니다. " 자동화. 이를 통해 여러 시스템에 걸쳐 복잡한 추론과 의사 결정이 필요한 시간 소모적인 수동 작업을 자동화할 수 있습니다.

아래 그림은 검색 도구 사용 시 Command-R과 Llama 2 70B(채팅), Mixtral 및 GPT3.5-turbo 간의 다단계 추론 기능을 비교한 것입니다. 여기에 사용된 데이터 세트는 HotpotQA와 Bamboogle입니다.

다국어 생성 기능

Command-R 모델은 영어, 프랑스어, 스페인어, 이탈리아어, 독일어, 포르투갈어, 일본어, 한국어, 아랍어와 중국어.

또한 Cohere의 Embed 및 Rerank 모델은 기본적으로 100개 이상의 언어를 지원합니다. 이를 통해 사용자는 다양한 데이터 소스에서 답변을 도출하고 언어에 관계없이 모국어로 명확하고 정확한 대화를 전달할 수 있습니다.

아래 그림은 다국어 MMLU 및 FLORES에서 Command-R과 Llama 2 70B(채팅), Mixtral, GPT3.5-turbo를 비교한 것입니다.

더 긴 컨텍스트 및 저렴한 가격

Command-R은 더 긴 컨텍스트 창(128k 토큰)을 지원합니다. 또한 이번 업그레이드는 Cohere의 관리형 API 가격을 낮추고 Cohere 프라이빗 클라우드 배포의 효율성을 크게 높입니다. 더 긴 컨텍스트 창과 더 저렴한 가격을 결합함으로써 Command-R은 추가 컨텍스트가 성능을 크게 향상시킬 수 있는 RAG 사용 사례를 잠금 해제합니다.

구체적인 가격은 다음과 같습니다. Command 버전은 입력 토큰 100만 개에 1달러, 출력 토큰 100만 개는 2달러입니다. Command-R 버전은 입력 토큰 100만 개에 미화 0.5달러, 100만 개의 출력 토큰에 대한 USD입니다.

곧 Cohere는 더 많은 모델 세부 정보를 보여주는 간단한 기술 보고서도 공개할 예정입니다.

블로그 주소: https://txt.cohere.com/command-r/