映画では、ヒロインのルーシーの脳力が徐々に発達するにつれて、次の能力を獲得します。
映画の最後では、ヒロインは徐々に姿を消し、純粋なエネルギーの形に変わり、最終的には宇宙に消え、宇宙と時間と一体になります。人間のスーパーボディの実現は、外の世界と接続して無限の価値を得る能力です。この考え方をニューラル ネットワーク ドメインに移行すると、ネットワーク全体との接続が確立できれば、もネットワーク超体を実現でき、理論的には無制限の予測能力が得られます。
つまり、物理ネットワークは必然的にネットワーク パフォーマンスの向上を制限します。ターゲット ネットワークが Model Zoo に接続されると、ネットワークにはエンティティがなくなり、ネットワークは存在します。それらの間に接続された超体形態。
# 画像上: スーパーボディ ネットワークとエンティティ ネットワークの違い。スーパーボディ ネットワークには実体はなく、ネットワーク間の接続形式ですネットワークのスーパーの考え方-body はこの記事で共有されています CVPR 2023 論文
「Partial Network Cloning」を検討できます。この論文では、シンガポール国立大学LV labが新しいネットワーク クローン テクノロジーを提案します。
##リンク: https://arxiv.org/abs/2303.10597
01 問題定義この記事で、著者は、このネットワーク クローン作成テクノロジを使用してネットワークの非物質化を実現すると、次の利点がもたらされると述べました。
弱いデータ依存性: 一部の接続モジュールを変更するには部分的な修正データのみが必要です
に組み込むことができます。つまり:
(接続用に 3 つのネットワークが選択されています)。
#上図に示すように、タスク T に対して、対応する超体ネットワーク M_c を構築するために、この記事では、次の構築フレームワークを提案します:
このうち、M_s は補正ネットワーク集合を表すため、ネットワークスーパーボディの接続形態は、オントロジーネットワークに 1 つまたは複数の補正ネットワークを加えたものになります ネットワーククローニング技術は、必要な部分的な補正ネットワークを複製して埋め込む技術ですそれをオントロジーネットワークに組み込みます。
具体的には、この記事で提案するネットワーク クローン作成フレームワークには、次の 2 つの技術的なポイントが含まれています。 P 補正ネットワークを含むクローンの場合、最初の技術的なポイントは、
キー パーツの位置決めローカル (∙)です。補正ネットワークにはタスクセット T に無関係なタスク情報が含まれている可能性があるため、キー部分の位置決め Local (・) は、タスク T⋂T_s に関連する補正ネットワーク内の部分を見つけることを目的としています。位置決めパラメーターは次のように表されます。 M^ρ.実装の詳細はセクション 1 にあり、サブセクション 2.1 に記載されています。 2 番目の技術点は、ネットワーク モジュールの埋め込み挿入 (・) です。すべての補正ネットワークを埋め込むためには、適切なネットワーク 埋め込みポイント R^ρ を選択する必要があります。実装の詳細はセクション 2.2 に示します。
02 手法の概要
ネットワーク複製の手法部分では、説明を簡略化するため、補正ネットワーク数 P=1 とします（したがって、補正ネットワークの上部 (ρ とラベル付け)、つまり、オントロジー ネットワークと補正ネットワークを接続して、必要なスーパーボディ ネットワークを構築します。前述したように、ネットワーク クローン作成には、主要部分の位置決めとネットワーク モジュールの埋め込みが含まれます。ここでは、理解を助けるために中間転送可能モジュール M_f を紹介します。すなわち、ネットワーククローニング技術は、修正されたネットワーク内の重要な部分を見つけて転送可能モジュールM_fを形成し、その後、ソフト接続を通じて転送可能モジュールをオントロジーネットワークM_tに埋め込む。したがって、
ネットワーク クローン作成テクノロジの目標は、移植性とローカル忠実性を備えた移行可能なモジュール を見つけて埋め込むことです。
2.1 ネットワークの主要部分の特定
# # ネットワークの主要部分を特定する目的は、選択関数 M を学習することです。ここでは、選択関数 M は、ネットワークの各層のフィルターに作用するマスクとして定義されます。このとき移行可能なモジュールは次のように表すことができます。
上記の式では、変更されたネットワーク M_s を L 層として表し、各層は次のように表されます。として。既知の移行可能なモジュールを抽出しても、修正ネットワークは変更されません。
適切な転送可能モジュール M_f を取得するために、最終的な予測結果に最も大きく寄与する補正ネットワーク M_s の明示的な部分を見つけます。これに先立って、ニューラル ネットワークのブラック ボックスの性質と、ネットワークの予測結果の一部のみが必要であることを考慮して、LIME を使用してネットワークを適合および修正し、必要なタスクのローカル部分をモデル化しました (本文を参照)詳細については論文を参照してください)。
ローカル モデリング結果は
で表されます。ここで D_t は、必要な部分予測結果に対応するトレーニング データ セット (元のネットワークのトレーニング セットよりも小さい) です。
したがって、関数 M の選択は、次の目的関数を通じて最適化できます。この式では、ローカリゼーションの主要な部分がローカルにモデル化された G に適合されます。
修正ネットワーク内で移行可能なモジュール M_f を見つけるときは、選択関数 M を使用します。重みを変更せずに M_s から直接抽出されます。次のステップは、最良のクローン作成パフォーマンスを得るために、オントロジー ネットワーク M_t 内のどこに移行可能モジュール M_f を埋め込むかを決定することです。ネットワーク モジュールの埋め込みは、位置パラメーター R によって制御されます。ほとんどのモデル再利用設定に従って、ネットワーク クローン作成はオントロジー モデルの最初の数層を汎用特徴抽出器として保持し、ネットワーク埋め込みプロセスは最適な埋め込み位置を見つけるように簡素化されます (つまり、転送可能なモジュール M_f を R 番目の層に埋め込みます)。埋め込みを見つけるプロセスは次のように表現できます。
#詳細な式の説明については本文を参照してください。一般に、検索ベースの埋め込みには次の点が含まれます。
転送可能性モジュールをスーパーボディネットワークのR層に埋め込んだ後、埋め込み位置にアダプターAを追加導入し、 (分類ネットワーク用の) F_c 層を再微調整すると述べました)、しかし、この 2 つのパラメータ量は、モデル動物園全体と比較すると無視できるほどです;
この記事で提案するネットワーク クローン作成技術の核心は、事前に学習されたネットワーク間の接続パスを確立することです。事前学習済みネットワークのパラメータを変更することで、ネットワーク超体構築のキーテクノロジーとして利用できるだけでなく、さまざまな実践シナリオにも柔軟に適用できます。シナリオ 2: ネットワーク クローン作成によって生成されたネットワークは、より優れた情報送信モードを備えています。この技術により、ネットワーク伝送時の伝送遅延や損失を軽減できます。
ネットワーク送信する場合は、
セットを送信するだけで、公開模型動物園と組み合わせることで、受信側は元のネットワークに戻すことができます。クローン化されたネットワーク全体と比較すると、
は非常に小さいため、伝送遅延を軽減できます。 A と F_c に伝送損失がまだある場合、受信機はデータ セットを微調整することで簡単に修正できます。したがって、ネットワーク クローン作成は、効率的な伝送のための新しい形式のネットワークを提供します。
分類タスクについて実験検証を行いました。転送可能なモジュールのローカルなパフォーマンス表現能力を評価するために、条件付き類似性インデックスを導入します。
where Sim_cos (・ ) はコサイン類似度を表します。
MNIST、CIFAR-10、CIFAR-100、Tiny-ImageNet での実験を上の表に示します。結果から、ネットワーク クローン (PNC) によって得られたモデルのパフォーマンス向上が最も顕著であることがわかります。また、ネットワーク全体 (PNC-F) を微調整してもネットワークのパフォーマンスは向上せず、逆にモデルのバイアスが増加します。
これに加えて、移行可能なモジュールの品質も評価しました (上記参照)。図 (左) からわかるように、各サブデータセットから学習された各特徴には多かれ少なかれ相関関係があり、修正されたネットワークから局所的な特徴を抽出して位置特定することが重要であることがわかります。転送可能なモジュールについては、類似度 Sim (・) を計算します。図 (右) は、転送可能なモジュールがクローン化されるサブデータセットとの類似性が高く、残りのサブデータセットとの関係が弱まっていることを示しています (対角線以外の領域はマトリックス プロットよりも明るい色でマークされています)ソースネットワークの）。したがって、転送可能なモジュールは複製されるタスク セットのローカル パフォーマンスをうまくシミュレートし、配置戦略の正しさを証明していると結論付けることができます。
この文書では、部分ネットワーク クローン作成 (PNC) と呼ばれる新しい知識伝達タスクについて研究します。これは、改訂されたネットワークからデータをコピーして貼り付けます。パラメーター モジュールをクローンし、それをオントロジーネットワークに埋め込みます。以前の知識伝達セットアップ (ネットワークのパラメーターの更新に依存する) とは異なり、私たちのアプローチでは、すべての事前トレーニングされたモデルのパラメーターが変更されないことが保証されます。 PNC の中核テクノロジーは、ネットワークの主要部分の位置を特定し、取り外し可能なモジュールを組み込むことを同時に行うことであり、この 2 つのステップは相互に強化します。
私たちは、複数のデータセットの精度と伝達可能性のメトリクスに関して、この方法の優れた結果を実証しました。
以上がニューラルネットワークのスーパーボディ?新しい国立LV研究所が新しいネットワーククローン技術を提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
![[Web フロントエンド] Node.js クイック スタート](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
