'GPT-4에 매우 가까운' WizardLM-2, 마이크로소프트가 긴급 철수한 이유는 무엇일까?

얼마 전 Microsoft는 실수를 저질렀습니다. WizardLM-2를 대대적으로 공개했다가 곧 완전히 철회한 것입니다.

복잡한 채팅, 다국어, 추론 및 에이전시에서 향상된 성능을 갖춘 "GPT-4와 완전히 비교할 수 있는" 오픈 소스 대형 모델인 WizardLM-2에 대해 현재 사용 가능한 출시 정보입니다.

이 시리즈에는 WizardLM-2 8x22B, WizardLM-2 70B 및 WizardLM-2 7B의 세 가지 모델이 포함됩니다. 그 중:

• WizardLM-2 8x22B는 매우 복잡한 작업에 대한 내부 평가를 기반으로 한 가장 발전된 모델이자 최고의 오픈 소스 LLM입니다.
• WizardLM-2 70B는 최고 수준의 추론 기능을 갖추고 있으며 이 규모에서 첫 번째 선택입니다.
• WizardLM-2 7B는 10배 더 큰 기존 오픈 소스 선도 모델과 비교할 수 있는 성능으로 가장 빠릅니다. ”

LLaMa 3와 같은 또 다른 오픈 소스 이정표가 될까요?

모두가 모델을 다운로드하느라 바쁜 사이에 팀에서 갑자기 모든 항목을 철회했습니다. 블로그, GitHub, HuggingFace 모두 404를 얻었습니다.

이미지 출처: https://wizardlm.github.io/WizardLM2/

팀 설명:

Huggingface 친구들 여러분 안녕하세요! 죄송합니다. 모델을 삭제했습니다. 몇 달 전 모델을 출시한 지 시간이 좀 지나서 지금은 새로운 출시 과정이 익숙하지 않습니다. 모델 출시 과정에서 꼭 필요한 항목인 독성 테스트를 실수로 빠뜨린 거죠. 이는 현재 모든 신규 모델이 완료해야 하는 단계입니다.

현재 신속하게 테스트를 완료하고 있으며 최대한 빠른 시일 내에 모델을 다시 출시하도록 하겠습니다. 걱정하지 마십시오. 귀하의 관심과 이해에 감사드립니다.

하지만 WizardLM-2에 대한 AI 커뮤니티의 관심과 토론은 멈추지 않았습니다. 몇 가지 의심이 있습니다.

첫째, 삭제된 오픈 소스 프로젝트는 WizardLM-2만이 아닙니다. 이전 WizardMath 및 WizardCoder를 포함하여 팀의 모든 Wizard 시리즈 작업이 사라졌습니다.

둘째, 모델 가중치를 삭제하면 왜 블로그도 삭제되는지 궁금해하시는 분들이 계십니다. 테스트 부분만 빠진 경우에는 완전히 철회할 필요가 없습니다.

팀의 설명은 "관련 규정에 따르면"입니다. 아직 아무도 모릅니다.

셋째, WizardLM 팀이 해고되고 Wizard 시리즈 프로젝트도 강제 철회되었다는 추측도 있습니다. ㅋㅋㅋ

사진출처 : https ://x.com/DavidFSWD/status/1783682898786152470

이제 저자의 이름을 검색했는데 Microsoft 공식 웹 사이트에서 완전히 사라지지 않았습니다.

출처: https://www .microsoft.com/en-us/research/people/qins/

넷째, 일부 사람들은 Microsoft가 이 오픈 소스 모델을 철회했다고 추측합니다. 첫 번째로 성능이 GPT-4에 너무 가깝고 두 번째로 기술적 문제 때문입니다. OpenAI "Crash" 로드맵.

구체적인 경로는 무엇인가요? 원본 블로그 페이지의 기술적인 세부 사항을 살펴볼 수 있습니다.

팀에서는 LLM 교육을 통해 자연에서 인간이 생성한 데이터가 점점 고갈되고 있으며, AI가 세심하게 생성한 데이터와 AI 단계별 지도 모델만이 AI를 더욱 강력하게 만드는 유일한 방법이 될 것이라고 밝혔습니다.

지난 1년 동안 Microsoft 팀은 아래 그림과 같이 완전히 인공 지능으로 구동되는 종합 훈련 시스템을 구축했습니다.

은 대략 여러 섹션으로 나뉩니다.

데이터 전처리:

이 파이프라인을 사용하여 새 소스 데이터의 다양한 속성 분포를 얻습니다. 이는 데이터를 사전에 이해하는 데 도움이 됩니다.

가중 샘플링: 최적의 학습 데이터 분포는 인간 채팅 코퍼스의 자연스러운 분포와 일치하지 않는 경우가 많습니다. 실험 경험을 기반으로 학습 데이터의 각 속성에 대한 가중치를 조정해야 합니다. Evol Lab:

새로운 방법을 사용하면 다양한 에이전트가 자동으로 고품질 지침을 생성할 수 있습니다.

1. Evol-Answer: 모델이 응답을 여러 번 생성하고 다시 작성하도록 안내하여 논리, 정확성 및 친화력을 향상할 수 있습니다.

AI Align AI(AAA):

공동 교육: WizardLM과 다양한 공인 오픈 소스 및 독점 최첨단 모델을 수집한 다음 함께 가르치고 각각을 개선하도록 합니다. 기타 교육 콘텐츠에는 시뮬레이션 채팅, 품질 검토, 개선 제안, 기술 격차 해소 등이 포함됩니다. 자기 교육: WizardLM은 활성화 학습을 통해 지도 학습을 위한 새로운 진화 훈련 데이터와 강화 학습을 위한 선호도 데이터를 생성할 수 있습니다.

1. 학습:
지도 학습.

Phase - DPO: 오프라인 강화학습을 보다 효과적으로 수행하기 위해 선호하는 데이터를 여러 조각으로 나누고 모델을 단계별로 개선합니다.

RLEIF: 온라인 강화 학습에서 보다 정확한 정확성을 달성하기 위해 교육 품질 보상 모델(IRM)과 프로세스 감독 보상 모델(PRM)을 결합한 방법을 사용합니다.
2. 마지막으로 말씀드리고 싶은 것은 어떤 추측도 헛된 일이라는 점입니다. WizardLM-2의 컴백을 기대해 보겠습니다.