人工知能大規模言語モデルの計算消費電力とコンテキスト長の問題に対する最適解「脳のような科学」を大公開！

SFと科学の一大イベントで、SFは突然現実に輝きます。

最近、深セン高等研究所では、深セン理工大学教育財団とサイエンス・ファンタジー成長基金が、SF と AI の出現をテーマにしたイベントを開催しました。 Luxi Technology と呼ばれる深センのチームは、人工知能の大規模言語モデルである NLM (Neuromorphic Generative Pre-trained Language Model) を初めて公開しました。これは、Transformer に基づいていない大規模な言語モデルです。

国内外の多くの大規模モデルとは異なり、このチームは脳のような科学と脳のような知性を核とし、リカレント ニューラル ネットワークの特性を統合し、ニューラル ネットワークの効率的なコンピューティング特性に触発された大規模な言語モデルを開発します。脳。

さらに驚くべきことは、同じレベルのパラメーターの下でのこのモデルの計算電力消費量は、Transformer アーキテクチャの 1/22 であることです。コンテキストの長さの問題についても、NLM は完璧な答えを出しました。コンテキストの長さのウィンドウは次のとおりです。オープンソース LLM の 2k 制限であるか、他のコンテキスト長の 32k または 100k 制限であるかに関係なく、無制限の拡張を実現します。

脳にインスピレーションを得たコンピューティングとは何ですか?

ブレインライク コンピューティングは、人間の脳の構造と機能を模倣したコンピューティング モデルであり、アーキテクチャ、設計原理、情報処理方法の観点から人間の脳のニューラル ネットワーク接続をシミュレートします。この種のコンピューティングは、単に生物学的ニューラル ネットワークの表面特性をシミュレートしようとするだけでなく、生物学的ニューラル ネットワークの基本的な構造、つまりニューロンとシナプスの大規模な相互接続を介してシーケンス情報を処理および保存する方法をシミュレートする方法を深く掘り下げています。 。

従来のルールベースのアルゴリズムとは異なり、脳をヒントにしたコンピューティングは、人間の脳と同じように、相互接続された多数のニューラル ネットワークに依存して自律的に情報を学習し、抽出します。このアプローチにより、コンピューティング システムは経験から学習し、新しい状況に適応し、複雑なパターンを理解し、高度な意思決定と予測を行うことができます。

脳をヒントにしたコンピューティング システムは、その高度な適応性と並列処理能力により、ビッグ データ、画像および音声認識、自然言語処理などの分野の処理において、非常に高い効率と精度を示しています。これらのシステムは、複雑で変化する情報を迅速に処理できるだけでなく、大規模な事前プログラミングやデータ入力を必要としないため、従来のコンピューティング アーキテクチャに比べてエネルギーとコンピューティング リソースの消費がはるかに少なくなります。

一般に、脳にインスピレーションを得たコンピューティングは、新しいコンピューティング パラダイムを切り開きます。これは従来の人工ニューラル ネットワークを超え、自己学習、自己組織化、さらにはある程度の自己認識さえも行える高度なインテリジェント システムへと移行しています。

大規模な脳にヒントを得たモデルの進歩

イベントでは、Lu Xi チームの Zhou Peng 博士が、大型脳型モデルの実装メカニズムについて詳しく説明しました。

これは、脳型ニューラル ネットワークとしても知られる新世代のニューラル ネットワーク モデルとして、最初の 2 世代のニューラル ネットワークの欠点を克服します。

-信号を 0 と 1 として送信する第一世代のニューラル ネットワーク (別名: MLP 多層パーセプトロン) は、過度に複雑なタスクを処理できず、多くの計算能力を必要としません。

-人工ニューラル ネットワークとも呼ばれる第 2 世代のニューラル ネットワークは、送信信号を [0-1] の連続間隔に変更し、十分な複雑さを備えていますが、計算能力のオーバーヘッドも急増しています。

- 第 3 世代のニューラル ネットワークは、脳型ニューラル ネットワークとも呼ばれ、信号をパルス シーケンスに変換します。十分な複雑性を備えながら、計算能力のコストも制御可能です。このパルス シーケンスは、神経構造のダイナミクスを模倣することによって実現されます。同時に、シーケンスは時間を意味し、第 3 世代ニューラル ネットワークは情報に時間情報を効果的に統合して出力できます。

-前 2 世代のニューラル ネットワークと比較して、時間次元のシーケンス情報をより効果的に処理し、現実世界をより効果的に理解します。

脳のようなアルゴリズムに基づく大規模モデルの推論原理も、Transformer とはまったく異なります。推論の過程において、Transformer モデルと脳型モデルの動作メカニズムには大きな違いがあります。 Transformer モデルが推論を実行するときは常に、すべてのコンテキスト情報を考慮して次のトークンを生成します。この操作は、チャット中に、単語を言うたびにその日のすべての経験を思い出す必要があることにたとえられます。これは、大規模モデルのパラメータが増加し続ける一方で、その計算コストが増加し続ける主な理由でもあります。

相対的に言えば、脳に似たモデルは、推論するときにその内部状態とトークンのみに依存する必要があります。これは、私たちが話すときに、それまでの状況をすべて具体的に思い出すことなく、次の言葉が何であるかを口走っている場合と比較できます。また、スピーチの内容も本質的に以前の経験に関連しています。このメカニズムは、計算能力のオーバーヘッドを大幅に削減して人間の脳の動作に近づけ、パフォーマンスを大幅に向上させる NLM の機能の鍵となります。

また、脳のインスピレーションの特性により、コンテキストの長さの制限はもはや厄介な問題ではありません。第 3 世代のニューラル ネットワークを使用した NLM 大規模モデルには、次のトークンの処理に必要な計算能力がコンテキスト長に関係しないため、コンテキスト長のボトルネックがありません。公開されている Transformer アーキテクチャの大規模言語モデルのコンテキスト長はわずか 100k です。コンテキスト長を増やすことは、計算能力のオーバーヘッドの問題だけでなく、「できるかどうか」の問題でもあります。

NLM の無限の長さのコンテキストは、複雑な財務レポートの研究、数十万語の小説の読解、または無制限の言語を使用して大規模なモデルを「より正確に」作成する場合でも、大規模な言語モデルの適用における想像力への扉を開きます。 length context.「わかります」が現実になる可能性があります。

Lu Xi のチームから見た AI

このイベントで、Luxi Technology の創設者兼 CTO である Zhou Peng 博士は、チームの現在の使命、つまり知恵ですべてのものに力を与えることについて説明しました。

人工知能の時代には、インターネットと電気がすでに私たちの周りのいたるところにあるのと同じように、人工知能もあらゆる場所に普及する必要があります。現在の人工知能は機能の点では優れていますが、その運用コストは企業や消費者に大きな負担を強いています。携帯電話、時計、タブレット、ラップトップの大部分は、現在の技術では生成人工知能の大規模言語モデルを完全、体系的、効率的かつ高品質な方法で実行することができません。また、大規模モデル アプリケーションの開発の敷居が多くの優れた開発の妨げとなっています。これに興味のある開発者は怖気づいています。

イベントでは、Luxi Technology が、通常の Android スマートフォンのオフライン モードで大型モデル「NLM-GPT」を使用して、仕事や生活におけるさまざまな一般的なタスクを完了する方法を聴衆に示し、イベントは最高潮に達しました。

- デモに参加する携帯電話は、市場で一般的なチップ アーキテクチャを搭載しており、その性能は一般消費者向け市場の Android モデルと同等です。 Luxi Technology は、携帯電話を機内モードにしてインターネットに接続していない状態で、ユーザーとリアルタイムで電話で会話し、ユーザーからの質問に答え、詩の作成などのタスクを完了できる「NLM-GPT」の大型モデルをデモンストレーションしました。レシピの作成、知識 検索やファイルの解釈などの命令は非常に複雑で、携帯電話ハードウェアの高性能パラメータが必要であり、従来は完了するためにネットワークが必要でした。

- デモンストレーション プロセス全体を通じて、携帯電話のエネルギー消費は安定しており、通常の待機時間への影響は最小限であり、携帯電話の全体的なパフォーマンスにも影響はありませんでした。

-このデモンストレーションは、「NLM-GPT」大型モデルが、スマートフォンやタブレットなどの小型 C エンド商用デバイスにおいて、高効率、低消費電力、ゼロトラフィック消費で、あらゆるシナリオで動作する可能性があることを証明することに成功しました。これは、大型モデル「NLM-GPT」の機能強化により、携帯電話、時計、タブレット、ノートパソコンなどのデバイスが人間の真の意図をより正確かつ効率的に理解できるようになり、次のようなさまざまな場面で活用できることを意味します。オフィス、書斎、ソーシャルネットワーキング、エンターテインメントなど。人間が提示するさまざまな指示やタスクをアプリケーションシナリオでより高い品質で完了し、社会生産と人間の生活の効率と品質を大幅に向上させます。

Luxi Technology は、「脳のようなテクノロジー」によって駆動される「生成人工知能大言語モデル」が、学習、仕事、生活などのさまざまな分野で人間の思考、認識、行動を包括的に拡張し、人間の全体的な能力を向上させると信じています全体的な知恵。脳に似たテクノロジーの強化のおかげで、人工知能はもはや人間に代わる新しい知的エージェントではなく、人間が世界を変え、より良い未来を創造するための効率的な知的ツールとなるでしょう。

古代人が猟犬やハヤブサを訓練したように、猟犬やハヤブサが出現したからといってハンターという職業が消えるわけではありません。逆に狩猟者はその恩恵を受け、猟犬やハヤブサが持つ人間にはない力を習得し、より効率的に獲物を獲得することができ、人間集団の成長や人類文明の発展に力と栄養を提供することができました。

将来的には、人工知能の大規模言語モデルを日常の仕事や生活に適用することは、複雑なマルチプロセス システム プロジェクトではなくなり、「チェックアウトするときに支払いコードを開く」「写真を撮るときにシャッターを押す」ようなものになるでしょう。写真」、「短いビデオを表示する場合は 1 回のクリックと 3 回の連続クリック」は、一般的にシンプルで自然でスムーズです。 Lu Xi 氏のチームは今後も脳にインスピレーションを得たコンピューティングの分野で取り組み、自然から人類への最も貴重な贈り物である脳に関する徹底的な研究を実施し、脳にインスピレーションを得たインテリジェンスを日常生活に導入していきます。

おそらく、近い将来、人類はさらに多くの新しい人工知能のパートナーを持つことになるでしょう。彼らの体には血​​液が流れておらず、彼らの知性は人間に取って代わることはありません。彼らは、脳からインスピレーションを得たテクノロジーのサポートを受けて、私たちと協力して宇宙の謎を探求し、社会の境界を拡大し、より良い未来を創造してくれるでしょう。

出典:ライフデイリー

(ソース: 未定義)

さらに興味深い情報については、アプリケーション マーケットで「Jimu News」クライアントをダウンロードしてください。無断転載はご遠慮ください。ニュースのヒントを提供することは歓迎され、受け入れられ次第報酬が支払われます。 24 時間対応の報告ホットラインは 027-86777777 です。

以上が人工知能大規模言語モデルの計算消費電力とコンテキスト長の問題に対する最適解「脳のような科学」を大公開！の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。