「GPT-4に非常に近い」WizardLM-2がMicrosoftによって緊急廃止されたその裏話とは？

少し前、Microsoft は自らの間違いを犯しました。WizardLM-2 を大々的にオープンソース化し、その後すぐにきれいに撤回しました。

WizardLM-2 の現在入手可能なリリース情報。これは、複雑なチャット、多言語、推論、代理店のパフォーマンスが向上した「GPT-4 に真に匹敵する」オープンソースの大規模モデルです。

このシリーズには、WizardLM-2 8x22B、WizardLM-2 70B、WizardLM-2 7B の 3 つのモデルがあります。その中には:

• WizardLM-2 8x22B は最も先進的なモデルであり、非常に複雑なタスク向けの内部評価に基づいた最高のオープンソース LLM です。
• WizardLM-2 70B はトップレベルの推論機能を備えており、この規模での最初の選択肢です。
• WizardLM-2 7B は最速であり、10 倍大きい既存のオープンソースの主要モデルに匹敵するパフォーマンスを備えています。

さらに、人間による好みの評価により、WizardLM-28x22B の機能は「GPT-4-1106 プレビューよりもわずかに遅れていますが、CommandRPlus や GPT4-0314 よりは大幅に強力です。」

LLaMa 3 のような、新たなオープンソースのマイルストーンとなるでしょうか?

みんながモデルのダウンロードに忙しい中、チームは突然すべてを撤回しました。ブログ、GitHub、HuggingFace はすべて 404 になりました。

画像ソース: https://wizardlm.github.io/WizardLM2/

チームの説明は次のとおりです:

Huggingface の友人の皆さん、こんにちは!申し訳ありませんが、モデルを削除しました。数か月前のモデルをリリースしてからしばらく時間が経ったため、新しいリリースのプロセスに慣れていません。モデルのリリース プロセスで必要な項目である毒性試験を誤って省略してしまいました。これは、現在すべての新しいモデルが完了する必要があるステップです。

現在、このテストを迅速に完了しており、できるだけ早くモデルを再リリースする予定です。心配しないでください。ご心配とご理解をいただきありがとうございます。

しかし、WizardLM-2 に対する AI コミュニティの注目と議論は止まらない:

まず、削除されたオープンソース プロジェクトは WizardLM-2 だけではありません。チーム 以前の WizardMath と WizardCoder を含む、すべての Wizard シリーズの作業が終了しました。

次に、モデルの重みを削除すると、なぜブログも削除されるのかと疑問に思う人もいます。テスト部分が欠落しているだけの場合は、完全に撤回する必要はありません。

チームの説明は、「関連する規定によると」です。具体的な規定は何ですか？まだ誰も知りません。

第三に、WizardLM の背後にあるチームが解雇され、Wizard シリーズ プロジェクトの撤退も余儀なくされたのではないかという憶測もあります。

しかし、この推測はチームによって否定されました:

出典: https://x.com/_Mira___Mira_/status/1783716276944486751

画像出典：https ://x.com/DavidFSWD/status/1783682898786152470

そして今、著者の名前を検索すると、Microsoft の公式 Web サイトから完全には消えていません:

出典: https://www .microsoft.com/en-us/research/people/qins/

第 4 に、Microsoft がこのオープン ソース モデルを撤回したのではないかと推測する人もいます。その理由は、第一にパフォーマンスが GPT-4 に近すぎるため、第二に技術的な問題が原因です。 OpenAI「Crash」のロードマップ。

具体的なルートは何ですか？元のブログ ページの技術的な詳細を確認できます。

チームは、LLM トレーニングを通じて、自然界で人間が生成したデータはますます枯渇しており、AI が慎重に作成したデータと AI ステップバイステップ教師付きモデルが、より強力な AI を実現する唯一の方法になると述べました。

過去 1 年間にわたり、Microsoft チームは、以下の図に示すように、人工知能を完全に活用した合成トレーニング システムを構築してきました。

は、大きくいくつかのセクションに分かれています:

データ前処理:

1. データ分析: このパイプラインを使用して、新しいソースデータのさまざまな属性の分布を取得します。データを予備的に理解するのに役立ちます。
2. 重み付けされたサンプリング: 最適なトレーニング データの分布は、人間のチャット コーパスの自然な分布と一致しないことがよくあります。実験の経験に基づいて、トレーニング データの各属性の重みを調整する必要があります。 Evol Lab:

初期の修正により、新しい方法により、さまざまなエージェントが高品質の指示を自動的に生成できるようになります。 Evol-Answer: モデルが応答を複数回生成して書き換えるようにガイドします。これにより、ロジック、正確性、親和性が向上します。

1. AI Align AI (AAA):

共同指導: WizardLM とさまざまな認可されたオープンソースおよび独自の最先端モデルを収集し、一緒に教えてそれぞれを改善します。その他、教育コンテンツには、シミュレーション チャット、品質レビュー、改善提案、スキル ギャップの解消などが含まれます。

独習: WizardLM は、教師あり学習用の新しい進化的トレーニング データと、活性化学習による強化学習用の優先データを生成できます。

1. 学習:

教師あり学習。

フェーズ - DPO: オフライン強化学習をより効果的に実行するために、優先データがさまざまなフラグメントに分割され、モデルが段階的に改善されます。

1. RLEIF: 命令品質報酬モデル (IRM) とプロセス監視報酬モデル (PRM) を組み合わせた手法を使用して、オンライン強化学習でより正確な正しさを実現します。
2. 最後に言いたいのは、どんな憶測も無駄だということです。WizardLM-2 のカムバックを楽しみにしましょう。