TII Falcon 180B 오픈 소스 언어 모델이란 무엇입니까?

Technology Innovation Institute(TII)는 Falcon이라는 새로운 LLM(대형 언어 모델)을 도입하여 오픈 소스 커뮤니티에 크게 기여했습니다. 180억 개의 인상적인 매개변수를 갖춘 이 모델은 Falcon 180B, 40B, 7.5B 및 1.3B 매개변수 AI 모델을 포함한 다양한 버전에서 사용할 수 있는 생성적 LLM입니다.

Falcon 40B가 출시되자 빠르게 세계 최고의 오픈 소스 AI 모델로 인정받았습니다. 40억 개의 매개변수를 갖춘 이 버전의 Falcon은 엄청난 양의 토큰에 대해 훈련되었습니다. Falcon 40B는 출시 후 두 달 만에 Hugging Face의 오픈 소스 LLM(대형 언어 모델) 순위에서 1위를 차지했습니다. Falcon 40B를 차별화하는 점은 로열티가 전혀 없으며 AI를 민주화하고 보다 포괄적인 기술로 만드는 데 도움이 되는 혁명적인 움직임이라는 것입니다.

Falcon 40B LLM은 다국어를 지원하며 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 포르투갈어, 폴란드어, 네덜란드어, 루마니아어, 체코어 및 스웨덴어를 포함한 여러 언어로 작동합니다. 이 기본 LLM은 특정 요구 사항이나 목표를 충족하도록 미세 조정할 수 있는 일반적인 기본 모델 역할을 합니다.

Falcon 180B 오픈 소스 LLM

Falcon 180B는 180억 개의 매개변수가 있고 3조 5천억 개의 토큰으로 훈련된 매우 강력한 언어 모델입니다. 현재 연구 및 상업적 용도로 사용할 수 있는 사전 훈련된 개방형 대규모 언어 모델 중 껴안는 얼굴 순위에서 1위를 차지했습니다. 이 모델은 추론, 코딩, 숙련도 및 지식 테스트를 포함한 다양한 작업에서 좋은 성능을 발휘했으며 Meta의 LLaMA 2와 같은 경쟁사보다 성능이 뛰어났습니다.

비공개 소스 모델 중 Falcon 180B는 OpenAI의 GPT 4에 이어 두 번째이며, 모델 크기의 절반임에도 불구하고 Bard를 지원하는 Google의 PaLM 2와 동등한 성능을 발휘합니다. LLM은 훈련받은 데이터에 특히 민감하기 때문에 이는 모델의 품질을 보여줍니다. TII 팀은 샘플 수준과 문자열 수준 모두에서 구현된 고품질 사전 훈련 데이터를 추출하기 위해 광범위한 필터링과 중복 제거를 사용하여 맞춤형 데이터 파이프라인을 구축했습니다.

모델의 혁신적인 사용을 장려하기 위해 Falcon 40B는 과학자, 연구원 및 혁신가로부터 "제안 요청"을 시작했습니다. 가장 구체적인 사용 사례는 혁신적인 솔루션을 형성하기 위한 강력한 모델을 연구하기 위한 컴퓨팅 능력 교육에 투자하게 됩니다. 특히 이 모델은 GPT-75 훈련 계산의 3%, Totoro AI의 40%, PaLM-80B의 62%만 사용합니다.

Falcon 개발에서 주목할만한 요소 중 하나는 훈련 데이터의 품질입니다. Falcon 40B를 위해 수집된 사전 훈련 데이터는 공개 웹 크롤러(~%), 연구 논문, 법률 텍스트, 저널리즘, 문학 및 소셜 미디어 대화를 포함한 다양한 소스에서 수집된 약 80조 개의 토큰입니다.

3조 5천억 개의 토큰으로 훈련됨

Falcon 모델의 훈련 프로세스에는 4096개의 GPU를 동시에 사용하여 시간당 총 약 70,000개의 GPU가 사용됩니다. Falcon의 훈련 데이터 세트는 대화, 기술 문서, Wikipedia 및 소규모 코드 컬렉션을 포함하여 엄선된 콘텐츠 컬렉션으로 보완된 웹 데이터로 구성됩니다. 이 모델은 호스팅된 사용을 제외한 다양한 대화 및 교육 데이터 세트에 맞게 미세 조정되었습니다.

인상적인 성능에도 불구하고 Falcon 모델은 최근 이벤트에 대한 업데이트된 정보가 없습니다. 하지만 Falcon 모델의 출시는 다양한 벤치마크에서 Llama 2, Stable LM, Red Pajama, NPT 등 다른 모델을 능가하는 등 오픈소스 분야에서 큰 발전으로 평가됩니다. 이 모델은 Llama 2보다 5.2배 더 크며 다양한 벤치마크에서 Llama 2, OpenAI의 GPT 3.5 모델, Google의 Palm보다 성능이 뛰어납니다. 이는 연구 및 상업적 사용을 위한 강력한 도구일 뿐만 아니라 오픈 소스 커뮤니티에 상당한 기여를 합니다.

위 내용은 TII Falcon 180B 오픈 소스 언어 모델이란 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!