GNN の基礎、フロンティア、および応用

# 近年、グラフ ニューラル ネットワーク (GNN) は急速かつ驚くべき進歩を遂げています。グラフ ニューラル ネットワークは、グラフ ディープ ラーニング、グラフ表現学習 (グラフ表現学習)、または幾何学的ディープ ラーニングとも呼ばれ、機械学習、特にディープ ラーニングの分野で最も急速に成長している研究トピックです。この共有のタイトルは「GNN の基礎、フロンティア、および応用」です。主に、学者の Wu Lingfei、Cui Peng、Pei Jian、Zhao によって編纂された包括的な書籍「グラフ ニューラル ネットワークの基礎、フロンティア、および応用」の一般的な内容を紹介します。梁さん。

1. グラフ ニューラル ネットワークの概要

1. なぜグラフを研究するのでしょうか?

# 図は、複雑なシステムを記述およびモデル化するための汎用言語です。グラフ自体は複雑ではなく、主にエッジとノードで構成されています。ノードを使用してモデル化したい任意のオブジェクトを表すことができ、エッジを使用して 2 つのノード間の関係や類似性を表すことができます。私たちがよくグラフ ニューラル ネットワークまたはグラフ機械学習と呼ぶものは、通常、グラフの構造とエッジとノードの情報をアルゴリズムの入力として使用し、目的の結果を出力します。たとえば、検索エンジンでは、クエリを入力すると、クエリ情報、ユーザー情報、およびコンテキスト情報に基づいてパーソナライズされた検索結果が返され、これらの情報は自然にグラフに整理できます。

#2. グラフ構造化データはどこにでも存在します

#グラフ構造化データは、インターネット、ソーシャル ネットワークなど、あらゆる場所で見つけることができます。さらに、現在非常に人気のあるタンパク質発見の分野では、人々はグラフを使用して既存のタンパク質を記述およびモデル化し、新しいグラフを生成して新薬の発見を支援します。グラフを使用して複雑なプログラム分析を行うこともできますし、コンピューター ビジョンで高度な推論を行うこともできます。

3. グラフ機械学習の最近の傾向

グラフ機械学習これはそれほど新しいトピックではなく、この研究の方向性は過去 20 年前からあり、以前は常に比較的ニッチなものでした。 2016 年以降、最新のグラフ ニューラル ネットワーク関連の論文の出現により、グラフ機械学習は人気のある研究方向になりました。この新世代のグラフ機械学習手法は、データ自体とデータ間の情報をより適切に学習できるため、データをより適切に表現でき、最終的にはより重要なタスクをより適切に完了できることがわかりました。

#4. グラフ ニューラル ネットワークの簡単な歴史

##グラフ ニューラル ネットワークに関連する最初の論文は、深層学習が普及する前の 2009 年に発表されました。最新のグラフ ニューラル ネットワークに関する論文は 2016 年に発表され、初期のグラフ ニューラル ネットワークを改良したものでした。その後、GCNの登場によりグラフニューラルネットワークの発展が急速に進み、2017年以降、数多くの新しいアルゴリズムが登場しました。グラフ ニューラル ネットワークのアルゴリズムがますます成熟するにつれて、2019 年以降、業界はこれらのアルゴリズムを使用していくつかの実際的な問題を解決しようとすると同時に、問題解決の効率を向上させるために多くのオープンソース ツールが開発されました。 2021 年以降、この「グラフ ニューラル ネットワークの基礎、フロンティア、および応用」はもちろん、グラフ ニューラル ネットワークに関連する書籍が数多く書かれています。

書籍『グラフ ニューラル ネットワークの基礎、最前線、応用』では、グラフ ニューラル ネットワーク分野の中核となる概念や技術、最先端の研究開発、応用例を体系的に紹介しています。さまざまな分野での応用。学術界と産業界の両方の読者が恩恵を受けることができます。

2. グラフ ニューラル ネットワークの基礎

##1. 機械学習のライフ サイクル

##上の図は機械学習のライフ サイクルを反映しており、特徴学習は非常に重要なリンクであり、主なタスクは生データを構造化データに変換することです。ディープラーニングが登場する前は、誰もが主に特徴エンジニアリングを通じてこのタスクを完了していました。ディープラーニングの出現後、このエンドツーエンドの機械学習手法が主流になり始めました。

#2. グラフでの特徴学習

グラフでの特徴学習は深層学習と非常によく似ています。目標は、元のグラフのノードを高次元空間にマッピングして、その埋め込みを取得する、効果的なタスク関連またはタスク独立の特徴学習方法を設計することです。ノードの表現を作成し、ダウンストリーム タスクを完了します。

3. グラフ ニューラル ネットワークの基礎

グラフ ニューラル ネットワークで学習する必要がある表現には 2 つのタイプがあります:

グラフ ノードの表現

• フィルター操作が必要です。これは、グラフの行列とノードのベクトル表現を入力として受け取り、継続的に学習し、ノードのベクトル表現を更新します。現在、より一般的なフィルター操作には、スペクトル ベース、空間ベース、アテンション ベース、およびリカレント ベースが含まれます。

#グラフの表現

• プール操作が必要です, グラフの行列とノードのベクトル表現を入力として受け取り、より少ないノードを含むグラフの行列とそのノードのベクトル表現を取得することを継続的に学習し、最終的にはグラフ レベルのベクトル表現を取得して、グラフ全体。現在、より一般的なプール操作には、フラット グラフ プーリング (Max、Ave、Min など) および階層グラフ プーリング (Diffpool など) が含まれます。

4. グラフ ニューラル ネットワークの基本モデル

分野にはコンテキスト学習があります。機械学習の概念。グラフ ニューラル ネットワークでは、ノードのコンテキストはその隣接ノードです。ノードの隣接ノードを使用して、このノードのベクトル表現を学習できます。

#このようにして、各ノードで計算グラフを定義できます。

#計算グラフを階層化できます。最初の階層は最もオリジナルな情報であり、合計は次の階層に渡されます。レイヤー: すべてのノードのベクトル表現を学習するための情報を集約します。

#

上の図は、グラフ ニューラル ネットワーク モデルの学習の主なステップを大まかに示しています。主に 4 つのステップがあります。集計関数;

• タスクに従って損失関数を定義;
• ノードのバッチ。たとえば、計算グラフのバッチを一度にトレーニングできます。
• # は、各ノード (一部のノードも含む) に必要なベクトル表現を生成します。 (学習されるのは集約関数であり、新しいノードのベクトル表現は集約関数と学習済みのベクトル表現を使用して取得できます)。

##上の図

# は集約関数として平均を使用する例 k 番目の層のノード v のベクトル表現は、前の層の隣接ノードのベクトル表現と、前の層のノード自体のベクトル表現の平均に依存します。

上記の内容を要約すると、グラフ ニューラル ネットワークの主なポイントは、隣接ノードの情報 エンコーダ内でのパラメータ共有を考慮し、推論学習も可能にする点のベクトル表現。

5. グラフ ニューラル ネットワークの人気モデル

##グラフ ニューラル ネットワークの古典的または人気のあるアルゴリズムの本質上記は、異なる集計関数またはフィルター関数を使用することであり、教師ありグラフ ニューラル ネットワークと教師なしグラフ ニューラル ネットワークに分けることができます。

GCN

は最も古典的なアルゴリズムの 1 つであり、

# 動作することができます。グラフ上で直接描画し、その構造情報を利用します。上の図に示すように、GCN はモデルの速度、実用性、安定性の向上に重点を置き、数回の反復を行ってきました。 GCN の論文は画期的な意義があり、グラフ ニューラル ネットワークの基礎を築きました。 #MPNN

核心点は、グラフを畳み込みに変換することです。情報伝達のプロセスとして、集約機能と更新機能という 2 つの機能が定義されています。このアルゴリズムは単純で一般的なアルゴリズムですが、効率的ではありません。

GraphSage は産業レベルのアルゴリズムです。 サンプリングを使用して一定数の隣接ノードを取得します。したがって、学校ノードのベクトル表現になります。

GAT

は、注目のアイデアの紹介です、その核心 ポイントは、情報転送中にエッジの重みを動的に学習することです。

上で紹介したアルゴリズムの他に、複数のノードを出力できるのが特徴のGGNNがあります。関連論文をご覧ください。

書籍『グラフ ニューラル ネットワークの基礎、最前線、および応用』では、第 5 章、第 6 章、第 7 章、および第 8 章でも、それぞれグラフ ニューラル ネットワークとグラフ ニューラル ネットワークのスケーラビリティを評価する方法について紹介しています。グラフ ニューラル ネットワークの解釈可能性、およびグラフ ニューラル ネットワークの敵対的安定性について興味があれば、本書の対応する章を読むことができます。

3. グラフ ニューラル ネットワークの最前線

##1. グラフ構造の学習

##グラフ ニューラル ネットワークにはグラフ構造データが必要ですが、与えられたグラフ構造が最適であるかどうかは疑わしいです。場合によってはノイズが多く、多くのアプリケーションにグラフが存在しない可能性があります。 -構造化データ、または単なる生の特徴でも。

したがって、グラフ ニューラル ネットワークを使用して、最適なグラフ表現とグラフ ノード表現を学習する必要があります。

グラフの学習をノード間の類似性の学習に変換し、正則化によって滑らかさを制御します。属性と接続性を分析し、グラフの構造とグラフのベクトル表現を繰り返し改良します。

# #実験的data

は、この方法の利点を示しています。

#グラフの可視化結果から、学習されたグラフは次のような傾向があることがわかります。類似したグラフを比較するため オブジェクトはクラスター化されており、一定の解釈可能性を持っています。

2. その他のフロンティア

書籍『グラフ ニューラル ネットワークの基礎、フロンティア、およびアプリケーション』では、次のフロンティアも紹介されています。研究、これらの最先端の研究は、多くのシナリオで重要な応用例を持っています:

#グラフ分類;

#リンク予測;

• グラフ生成;
• グラフ変換;
• グラフ マッチング;
• ダイナミック グラフ ニューラル ネットワーク;
• 異種グラフ ニューラル ネットワーク;
• グラフ ニューラル ネットワーク用の AutoML;
• グラフ ニューラル ネットワークの自己教師あり学習。
• #4. グラフ ニューラル ネットワークの応用
• 1. レコメンド システムへのグラフ ニューラル ネットワークの応用

セッション情報を使用して異種グローバル グラフを構築し、グラフ ニューラル ネットワーク学習を通じてユーザーまたはアイテムのベクトル表現を学習し、このベクトル表現をパーソナライゼーションに使用できます。おすすめ。

2. コンピュータ ビジョンにおけるグラフ ニューラル ネットワークの応用

オブジェクトの動的変化プロセスを追跡できます。グラフ ニューラル ネットワークを使用してビデオについての理解を深めます。

#3. 自然言語処理におけるグラフ ニューラル ネットワークの応用

グラフ ニューラル ネットワークを使用すると、自然言語の高レベルの情報を理解できます。

#4. プログラム解析におけるグラフ ニューラル ネットワークの応用

# #5. スマートシティにおけるグラフニューラルネットワークの応用

5. 質疑応答

Q1: GNN は次世代の深層学習にとって重要な手法ですか?

#A1: グラフ ニューラル ネットワークは非常に重要なブランチであり、グラフ ニューラル ネットワークと歩調を合わせているのが Transformer です。グラフ ニューラル ネットワークの柔軟性を考慮すると、グラフ ニューラル ネットワークと Transformer を組み合わせて、より大きな利点を活用できます。 #Q2: GNN と因果学習を組み合わせることができますか?組み合わせ方は？

#A2: 因果学習における重要なリンクは因果グラフであり、因果グラフと GNN は自然に組み合わせることができます。因果学習の難しさはデータサイズが小さいことですが、GNN の機能を使用して因果グラフをより適切に学習できます。

Q3: GNN の解釈可能性と従来の機械学習の解釈可能性の違いと関連性は何ですか?

#A3: 「グラフ ニューラル ネットワークの基礎、最前線、および応用」という本で詳しく説明されています。

Q4: グラフ データベースに基づいて、グラフ コンピューティングの機能を使用して、GNN を直接トレーニングおよび推論するにはどうすればよいですか?

A4: 現時点では、統合グラフ コンピューティング プラットフォームに関する優れた実践方法はありません。いくつかの新興企業や科学研究チームが関連する方向性を模索しています。価値があり挑戦的な研究の方向性については、研究をさまざまな分野に分割することがより実現可能なアプローチです。

以上がGNN の基礎、フロンティア、および応用の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。