Baidu 公式発表: Wenxinyiyan がまもなく登場します。ChatGPT よりも強力かもしれません。

著者 | Xu Jiecheng

2 月 7 日、Baidu の公式公開アカウントは非常に短い発表、「公式発表: Wen Xin からの一言」を発表しました。 Wen Xinyiyan は、Baidu が社内で開発した ChatGPT 風のチャットボットで、英語名は ERNIE Bot であることがわかります。

Baidu 内部関係者によると、Wen Xinyiyan は、Baidu It が提案した知識強化大規模モデル (Ernie) に基づいて拡張されています。は、言語理解、言語生成 (ERNIE 3.0 Titan)、テキストからの画像生成 (ERNIE-ViLG) など、幅広いタスクを実行できる一連の高度な大規模モデルで構成されています。他の言語モデルと比較して、Wenxinyiyan は広範な知識と大量のデータを組み合わせて、並外れた理解と生成能力を生み出すことができます。同社は3月にWen Xinyiyanの内部テストを完了し、その後正式に一般公開する予定だ。

Wen Xinyiyan の実際のパフォーマンスは現時点ではわかりませんが、Baidu の以前のリリースである ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation を通じて、 " 論文では、現在、適用される言語モデル ERNIE 3.0 Titan に関する一般的な情報を入手できます。

論文によると: ERNIE 3.0 Titan は、PaddlePaddle プラットフォーム上で Baidu によってトレーニングされた 1,000 億のパラメータ モデルであり、最大 2,600 億のパラメータが含まれています (ChatGPT は 1,750 億のパラメータを含む GPT3 を使用しています)パラメータ.5モデル）。さらに、Baidu は、ERNIE 3.0 Titan が信頼できる制御可能なテキストを生成できるように、自己監視型敵対的損失と制御可能な言語モデリング損失も設計しました。

コンピューティングのオーバーヘッドと二酸化炭素排出量を削減するために、Baidu は ERNIE 3.0 Titan 用のオンライン蒸留フレームワークも提案しました。このフレームワークでは、教師モデルが生徒の指導と自身のトレーニングを同時に行います。 ERNIE 3.0Titan は、これまでで最大の中国の集中事前トレーニング モデルです。関連する実験結果は、68 個の NLP データ セットに対する ERNIE 3.0 Titan のパフォーマンスが、ChatGPT によって適用される GPT3.5 モデルを含む、現段階で最も高度な言語モデルよりも優れていることを示しています。

ERNIE 3.0 Titan モデル アーキテクチャ図

Wen Xinyiyan 氏は現在プレ版に参加していると報告されています。 -ローンチステージ 最後のスプリントステージでは、関連ニュースの露出により、百度の香港株価も17%以上急騰し、その時価総額は約700億香港ドル増加した。一部の業界関係者の推測によると、Baidu Wenxin Yiyan プロジェクトは、早ければ 2022 年 9 月に研究開発が開始された可能性があります。当時、Baidu CEO の Robin Li 氏は世界人工知能会議で次のように述べました。レベル、人工知能 目覚ましい進歩があり、方向を変えたものさえあります。

ChatGPT によってもたらされた生成 AI の現在の人気を考慮すると、Baidu は将来的にこの分野の市場を切望する国内企業だけではないはずです。市場の観点から見ると、ChatGPT のようなチャットボットの最も明白な価値と実装シナリオは、Baidu の主要な検索ビジネスです。この観点から、この分野で次の技術革命が本当に起こるとすれば、間違いなく百度がリードすることになるだろう。さらに、業界関係者の多くは、Google と Microsoft の進歩のペースを考慮すると、Wen Xinyiyan の公開内部テストの進捗は今後も進む可能性があると考えています。

以上がBaidu 公式発表: Wenxinyiyan がまもなく登場します。ChatGPT よりも強力かもしれません。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。