40%の計算能力のトレーニング効果はGPT-4に匹敵し、DeepMindが共同作成した大規模モデル起業家精神の新たな成果が測定された

大規模モデルの競争では、別のダークホースが登場しました。

Inflection-2.5#​​## は、DeepMind と Mustafa Suleyman の大規模モデル スタートアップによって作成されました。

コンピューティング リソースのわずか 40% をトレーニングに使用するだけで、そのパフォーマンスは GPT-4 の 90% を超え、特にコーディングと数学に優れています。

初期の屈折モデルは、トレーニング中にコンピューティング リソースを 4% しか消費せず、GPT-4 のパフォーマンスの 72% に達しました。

同社は、屈折モデルに基づいて、「高い心の知能」と「パーソナライゼーション」に焦点を当て、中国語もサポートするウェブベースの会話ロボット Pi も発売しました。

Pi の誕生以来、Pi の 1 日のアクティビティは最高で 100 万件に達し、合計 40 億件のメッセージが生成され、平均会話の長さは 33 分に達しました。

基本モデルのこのアップグレードにより、Pi も新しいバージョンを導入しました。

写真

したがって、屈折または円周率が非常に強力であるかどうかに関係なく、量子ビットはいくつかの実際の測定を実施しました。

ログインせずに使用できます

Pi のページを開くと、このようなシンプルなインターフェイスが表示され、ログインせずに直接 [次へ] をクリックできます。

写真

次へ数回続けて、Pi に電話をかける方法を入力します。

写真

その後、音声と推奨トピックを選択し、スキップして、正式なチャット インターフェイスに入ります。

写真

簡単なテストで、Pi が中国語の対話をサポートしていることがわかりました。この場合、まず精神薄弱者のベンチマークを配置します。

最初の質問は、病気のマウスは殺鼠剤を服用すると治りますか? Pi は見事に答えました。

写真

もう一つの「罠」の質問ですが、今回はまだ引っかかりませんでした。

写真

2つの質問の後、劇的な効果はありませんでしたが、中国語をある程度理解できたように感じました。

次に、公式が「特に得意」と主張する数学とコーディングの能力に焦点を当ててみましょう。

最初の質問は、動的プログラミングに関するプログラミングの問題です。

写真

Pi が提供したコードは、この問題をうまく解決しており、明確な説明が付いています。

写真

次に、難易度を上げて、数値の階乗の末尾にゼロがいくつあるかを分析してみましょう。

写真

Pi によって提供されたコードは正しいだけでなく、簡潔かつ効率的であり、LeetCode のユーザーの 73.8% よりも速く実行されます。

画像

最後に、難易度を上げて、合格率 47.5% の問題でテストのコード部分を終了しましょう。

図

コードを読んだ後、Pi の数学的能力をテストし、導関数に関する質問をさせてみましょう:

関数 f(x)=x³ 2x²-1

の極点を求めます。答えは完全に正しく、非常に詳細です。

もちろん、数学が得意になるには論理的思考が不可欠です。そこで、通常の数学の問題に加えて、円周率の論理的思考をテストする古典的な問題も使用しましたが、結果は悪くありませんでした。 。

Pi のパフォーマンスを通して、その背後にある Inflection-2.5 モデルが確かに注目に値することがわかります。

公式自体が公開したテストデータから判断すると、Inflection-2.5 のパフォーマンスは、総合的な機能と個々のサブ項目の点で GPT-4 にほぼ続きます。

数学とコードを例に挙げると、Inflection-2.5 は MATH や HumanEval などのテストにおいてバージョン 1.0 よりも大幅に進歩しました。

これら従来のデータセットに加えて、Inflection はハンガリーの大学入学試験の数学テスト問題や GRE 物理テストにも挑戦し、その結果は GPT-4 とほぼ互角でした。

さらに厄介なことに、大規模なモデルでは理解するのが難しい問題を使用して BIG-Bench データ セットを構築した人々がいます。Inflection-2.5 はその Hard サブセットに挑戦しましたが、結果ははるかに遅れています。 GPT-4 1 ポイント未満。

それでは、Inflection-2.5 の背後にはどのような会社があるのでしょうか?

DeepMind Lianchuang Large Model Entrepreneurship

この会社は Inflection AI と呼ばれ、DeepMind Lianchuang Mustafa Suleyman らによって 2022 年に設立され、現在 70 名以上の従業員がいます。 。

同じく DeepMind の上級研究員、Karen Simonyan がいます。彼は現在 Inflection AI の主任科学者です。

さらに、LinkedIn の共同作成者である Reid Hoffman も Inflection AI の創設に参加しました。

Inflection AI は、設立以来、NVIDIA、Microsoft、Bill Gates などの大手企業から総額 15 億米ドルの資金提供を受けてきました。

現在、屈折ベースの Pi はまだ無料ですが、CEO のスレイマン氏はまた、愛を使って常に発電するのは非現実的であり、長期的には依然として料金が発生するだろうとも述べています。

体験したい友達は急いでください~

ポータル: https://pi.ai