Mistral AI는 몇 초 만에 GPT-4o를 제치고 Llama 3 70B를 22B로 제치고 첫 번째 코드 모델을 공개했습니다.-일체 포함-php.cn

Mistral AI는 몇 초 만에 GPT-4o를 제치고 Llama 3 70B를 22B로 제치고 첫 번째 코드 모델을 공개했습니다.

WBOY

풀어 주다： 2024-06-01 18:32:04

원래의

457명이 탐색했습니다.

OpenAI를 벤치마킹하는 프랑스 AI 유니콘인 Mistral AI가 새로운 행보를 보였습니다. 최초의 대형 코드 모델인 Codestral이 탄생했습니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

코드 생성 작업을 위해 특별히 설계된 개방형 생성 AI 모델인 Codestral은 지침 및 완성 API 엔드포인트를 공유하여 개발자가 코드를 작성하고 코드와 상호 작용할 수 있도록 돕습니다. Codestral의 코딩 및 영어 능력을 통해 소프트웨어 개발자는 고급 AI 애플리케이션을 설계할 수 있습니다.

Codestral은 매개변수 크기가 22B이며 새로운 Mistral AI Non-Production License를 따릅니다. 연구 및 테스트 목적으로 사용할 수 있지만 상업적인 사용은 금지됩니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

현재 해당 모델은 HuggingFace에서 다운로드 가능합니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

다운로드 주소: https://huggingface.co/mistralai/Codestral-22B-v0.1
무료 평가판 주소: https://t. co/LsgC84GCYw

Mistral AI의 공동 창립자이자 수석 과학자인 Guillaume Lample은 Codestral이 VS Code 플러그인에 쉽게 통합될 수 있다고 말했습니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

일부 사용자는 Codestral을 GPT-4o와 비교했으며 Codestral은 GPT-4o보다 직접적으로 더 빨랐습니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

80개 이상의 프로그래밍 언어에 능숙함

Codestral은 Python, Java, C, C++, JavaScript, Bash 및 기타 인기 있는 프로그래밍 언어를 포함하여 80개 이상의 프로그래밍 언어로 구성된 다양한 데이터 세트에 대해 교육을 받았습니다. Swift나 Fortran과 같은 프로그래밍 언어에서도 잘 작동합니다.

따라서 Codestral은 광범위한 언어 기반을 통해 다양한 코딩 환경 및 프로젝트에서 개발자를 도울 수 있습니다.

Codestral은 능숙하게 코드를 작성하고, 테스트를 작성하고, 중간 채우기 메커니즘을 사용하여 코드 부분을 완성하여 개발자의 시간과 에너지를 절약할 수 있습니다. Codestral을 동시에 사용하면 개발자의 코딩 기술을 향상시키고 오류 및 버그 위험을 줄이는 데 도움이 될 수 있습니다.

코드 생성 성능을 위한 새로운 표준

22B 매개변수 모델인 Codestral은 이전 대형 코드 모델에 비해 코드 생성 성능 및 대기 시간 헤드룸 측면에서 새로운 표준을 설정합니다.

아래 그림 1에서 볼 수 있듯이 Codestral의 컨텍스트 창 길이는 32k, 경쟁 제품인 CodeLlama 70B는 4k, DeepSeek Coder 33B는 16k, Llama 3 70B는 8k입니다. 결과에 따르면 Codestral은 코드 생성 원격 평가 벤치마크인 RepoBench에서 다른 모델보다 성능이 뛰어난 것으로 나타났습니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

Mistral AI는 또한 Codestral을 더 높은 하드웨어 요구 사항이 필요한 기존 코드별 모델과 비교했습니다.

Python에서의 성능. 연구원들은 Codestral의 Python 코드 생성 기능을 평가하기 위해 HumanEval pass@1 및 MBPP sanitized pass@1 벤치마크를 사용했으며, 또한 CruxEval 및 RepoBench EM 벤치마크 평가도 사용했습니다.

SQL 성능. 연구원들은 SQL에서 Codestral의 성능을 평가하기 위해 Spider 벤치마크를 사용했습니다.

다른 프로그래밍 언어에서의 성능. 또한 연구원들은 C++, bash, Java, PHP, Typescript 및 C#을 포함한 6가지 다른 프로그래밍 언어에서 Codestral을 평가하고 이러한 평가의 평균을 계산했습니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

FIM 벤치마크. 연구원들은 또한 코드 조각에 공백이 있을 때 코드를 완성하는 Codestral의 능력을 평가했으며, 주로 Python, JavaScript 및 Java에 대한 실험을 수행했습니다. 그 결과 사용자는 Codestral이 완성한 코드를 즉시 실행할 수 있는 것으로 나타났습니다.

速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型