世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです-AI-php.cn

世界で最も強力なオープンソース MoE モデルが登場。GPT-4 に匹敵する中国語機能を備え、価格は GPT-4-Turbo のわずか 1% 近くです

PHPz

リリース： 2024-05-07 16:13:20

転載

897 人が閲覧しました

従来のコンピューティングを超える能力を備えているだけでなく、より低コストでより効率的なパフォーマンスを実現する人工知能モデルを想像してみてください。これは SF ではありません。世界で最も強力なオープンソース MoE モデルである DeepSeek-V2^[1] がここにあります。

全球最强开源 MoE 模型来了，中文能力比肩 GPT-4，价格仅为 GPT-4-Turbo 的近百分之一

DeepSeek-V2 は、経済的なトレーニングと効率的な推論の特徴を備えた強力な専門家混合 (MoE) 言語モデルです。これは 236B のパラメータで構成され、そのうち 21B は各タグをアクティブにするために使用されます。 DeepSeek 67B と比較して、DeepSeek-V2 はパフォーマンスが強力であると同時に、トレーニングコストを 42.5% 節約し、KV キャッシュを 93.3% 削減し、最大生成スループットを 5.76 倍に増加します。

DeepSeek は、汎用人工知能 (AGI) の性質を探求し、研究、エンジニアリング、ビジネスの統合に取り組んでいる会社です。

DeepSeek-V2 の包括的な機能

現在主流の大規模モデルのリストでは、DeepSeek-V2 は優れたパフォーマンスを発揮します:

中国の包括的な機能 (AlignBench) オープンソースモデルの中で最も強力です: GPT-4-Turbo を使用し、 Wenxin 4.0 などのクローズドソースモデルは評価において同じ階層にあります
英語の総合力 (MT-Bench) は最初の階層にあります: 英語の総合能力 (MT-Bench) は最強のオープンソースモデルと同じ階層にありますLLaMA3-70B、最強のMoEオープンソースモデルMixtral 8x22Bを超える
知識、数学、推論、プログラミングなどのリストでトップにランク
128Kコンテキストウィンドウをサポート

全球最强开源 MoE 模型来了，中文能力比肩 GPT-4，价格仅为 GPT-4-Turbo 的近百分之一

新しいモデル構造

ときAI の可能性は常に探究されています。深く掘り下げていくと、私たちはこう尋ねずにはいられません。インテリジェントな進歩を促進するための鍵は何でしょうか? DeepSeek-V2 は、革新的なアーキテクチャと費用対効果の完璧な組み合わせという答えを提供します。

「DeepSeek-V2は改良版です。合計パラメータ236B、アクティベーション21Bで、最終的に70B～110Bの高密度モデルの能力に達します。同時に、メモリ消費量はわずか1/5～1/です。」 8 カードの H800 マシンでは、100 枚の同じレベルのトークンを入力し、毎秒 50,000 枚以上のトークンを出力できます。これは技術の飛躍であるだけでなく、革命でもあります。コスト管理。「

AI テクノロジーの急速な発展に伴い、今日、DeepSeek-V2 の出現は技術的な進歩を示すだけでなく、インテリジェントアプリケーションの普及の先駆けでもあります。」これにより、AI の敷居が下がり、より多くの企業や個人が効率的なインテリジェントサービスのメリットを享受できるようになります。同時に、それはインテリジェントなアプリケーションの普及の先駆けでもあります。これにより、AI の敷居が下がり、より多くの企業や個人が効率的なインテリジェントサービスのメリットを享受できるようになります。