グラフを意識した対比学習により、多変量時系列分類効果が向上します

AAAI 2024 のこの論文は、シンガポール科学技術研究庁 (A*STAR) とシンガポールの南洋理工大学によって共同で発表され、多変量を改善するためにグラフを意識した対照学習を使用する方法を提案しました。時系列分類。実験結果は、この方法が時系列分類のパフォーマンスを向上させる点で顕著な結果を達成したことを示しています。

写真

論文タイトル: 多変量時系列分類のためのグラフ認識コントラスト

ダウンロード アドレス: https://arxiv. org/pdf/2309.05202.pdf

オープンソース コード: https://github.com/Frank-Wang-oss/TS-GAC

1. 全体の紹介

著者 既存の対比学習法に基づいて、グラフ認識コントラスト (TS-GAC) と呼ばれる方法が提案されています。これは、MTS データにおけるマルチセンサーの空間一貫性の問題を解決することを目的としています。 TS-GAC は、グラフ拡張とグラフ比較という 2 つの主要コンポーネントで構成されます。グラフの強化により、ノードとエッジの強化を通じて空間の一貫性が向上し、センサーの安定性と関連性が維持されます。グラフ比較では、時間の一貫性を維持するためにマルチウィンドウの時間比較が導入されています。 広範な実験検証を通じて、この方法はさまざまな MTS 分類タスクで最適なパフォーマンスを実現します。この結果は、MTS データの対照学習において空間的一貫性を考慮することの重要性を強調し、分類パフォーマンスを大幅に向上させる包括的なソリューションを提供します。この研究は、対照学習の効果をさらに向上させる上で非常に重要であり、MTS データを処理するための強力なツールを提供します。

図

2. モデル構造

この記事で提案する方法は、主にグラフの強化とグラフの比較の 2 つの部分で構成されています。

MTS データを効果的に強化するために、ノードとエッジの強化を導入して、弱いビューと強いビューを生成します。ノードの拡張には、グラフ ノードを完全に拡張するための周波数領域および時間領域の拡張が含まれます。まず、周波数領域強化を適用してノードを強化し、次に MTS データの動的ローカル パターンに従って強化されたサンプルを複数のウィンドウにセグメント化します (図 2 を参照)。各ウィンドウでは、ノード時間拡張を使用し、1 次元畳み込みニューラル ネットワークを通じてウィンドウ上で特徴抽出を実行します。続いて、各ウィンドウのグラフを構築し、エッジ強調によってグラフをさらに強化します。最後に、グラフ処理と特徴学習にグラフ ニューラル ネットワーク ベースのエンコーダーを使用します。

図

グラフ比較: 空間的な一貫性を実現するためのノードレベルの比較とグラフレベルの比較を含みます。ノードレベルの比較では、異なるビューで対応するセンサーを近づけたり、異なるビューで異なるセンサーを遠ざけたりすることで、ノード機能の堅牢性を確保します。グラフレベルの比較では、さまざまなビューでサンプルを比較することにより、グローバル特徴の堅牢性がさらに保証されます。

このアーキテクチャの目標は、対照学習における空間的一貫性を達成することであり、MTS 分類には特定の強化およびコントラスト技術が提供されます。最初にノード強調を適用し、次にノード内の時間的強調を利用し、最後に GNN によって処理されたエッジ強調を利用することにより、この方法ではサンプルごとに異なる空間的および時間的特性を持つ弱いビューと強いビューを生成できます。この方法の革新的な点は、時間的な一貫性を考慮するだけでなく、グラフ構造を通じて空間的な一貫性も強化し、MTS データの詳細な分析と処理に新しい視点を提供することです。

3. グラフ拡張モジュール

MTS データの特性、つまり複数のセンサーによって収集されたデータを考慮して、著者はノードとエッジの拡張の 2 つの主な方法を提案します。

#ノード拡張: 周波数領域拡張と時間領域拡張に分けられます。周波数領域強化では、各センサーの信号を周波数領域に変換し、抽出された周波数特徴を強化し、その後、強化された周波数特徴を時間領域に変換して変換し、強化された信号を取得します。具体的には、離散ウェーブレット変換を使用して、ハイパス フィルターとローパス フィルターを通じて信号を分解し、信号内のマクロ トレンドとミクロ トレンドを表します。時間領域拡張では、各 MTS サンプルを複数のウィンドウに分割し、各ウィンドウで時間領域拡張を実行することにより、MTS データの動的特性が考慮されます。

エッジ強化: センサー間の相関関係、つまり構築されたグラフのエッジを強化することを目的としています。ノード (センサー) とエッジ (センサー間の相関関係) は、グラフ構築プロセスを通じて最初に定義されます。次に、エッジ強調法によりセンサー間の相関が効果的に強調されます。このステップでは、GNN の特徴伝播では弱い相関よりも強い相関が重要であることを考慮して、エッジ強調を実行するときに、位相情報の安定性を確保するために最も強い s 相関が保持され、残りの相関はランダムな値に置き換えられます。エッジ接続を強化します。

これらの強化戦略を通じて、著者は弱いビューと強いビューを生成し、その後の対照学習プロセスで堅牢なセンサーの特徴とセンサー間の関係を学習できるようにすることを目指しています。これらの強化戦略の設計では、MTS データのマルチソースおよび動的な性質が考慮されており、さまざまな角度からのデータ ビューを提供することで CL の機能が強化され、より堅牢で一般化された表現を学習できるようになります。

4. グラフ比較モジュール

この論文では、MTS データの空間的一貫性を高めるために、ノードとエッジの強調およびグラフ比較戦略を特別に設計する、グラフを意識した比較方法を提案します。これには主に、マルチウィンドウ時間比較、ノードレベル比較、グラフレベル比較の 3 つのレベルの比較が含まれます。

マルチウィンドウ時間コントラスト (MWTC): この方法は、センサー レベルで各センサーの時間的一貫性を保証し、予測コーディングを通じて MTS データ内の時間依存性の堅牢性を維持します。 MWTC は、過去のウィンドウ情報を 1 つのビューに要約し、それを別のビューの将来のウィンドウと比較することによって、時間的パターンの堅牢性を維持します。

ノードレベルのコントラスト (NC): NC は、各 MTS サンプル内の異なるビューでセンサーを比較することによって、堅牢なセンサー レベルの特徴を学習します。これには、2 つのビュー内の対応するセンサー間の類似性を最大化しながら、それらのビュー内の異なるセンサー間の類似性を最小限に抑えることが含まれます。

グラフレベルのコントラスト (GC): GC は、各トレーニング バッチ内のサンプルを比較することにより、堅牢なグローバル レベルの特徴学習を促進します。この戦略は、2 つのビュー内の対応するサンプル間の類似性を最大化しながら、それらのビュー内の異なるサンプル間の類似性を最小限に抑えることによって機能します。

これらの対照的な学習戦略は連携して、グラフ構造による MTS データの表現学習を強化し、それによって分類精度を向上させます。この記事では、各センサーの時間的一貫性を維持するための時間的比較の重要性と、センサーおよびグローバル レベルで堅牢な特徴を学習する際のグラフ比較の役割についても強調しています。この方法は、ノードレベルとグラフレベルの比較を組み合わせることで、MTS データの複雑な空間的および時間的パターンを効果的に学習し、MTS 分類パフォーマンスの大幅な向上を達成できます。

5. 実験結果

実験部分では、論文では 10 個の公開多変量時系列データ セットのパフォーマンスを比較し、既存の最先端の手法と比較しています。これらのデータセットには、人間活動認識 (HAR)、ISRUC 睡眠段階分類、および指の動きやアラビア数字の音声などの UEA データセット内のサブデータセットが含まれます。公平に比較​​するために、すべてのメソッドは同じエンコーダーを使用します。実験結果によると、TS-GAC は 8 つのデータセット、特に HAR および ISRUC データセットで最高のパフォーマンスを達成し、他の方法と比較して精度がそれぞれ 1.44% および 3.13% 向上しました。

写真

同時に、著者はモデルの特徴も視覚化しました。視覚化の結果により、TS-GAC はより識​​別可能なセンサー レベルの特徴を抽出できるようになりました。 . .同時に、TS-GAC は他の方法と比較して、さまざまな視野角からのデータに対してより一貫したセンサーレベルの特徴を取得できます。

写真

著者らは、設計された強調およびコントラスト技術がモデルのパフォーマンスに及ぼす影響を評価するためにアブレーション研究も実施しました。アブレーション研究では、ノード強調の削除、エッジ強調の削除、グラフレベルのコントラストの削除、ノードレベルのコントラストの削除、マルチウィンドウ時間コントラストの削除など、さまざまなバリアントをテストしました。結果は、グラフ強調およびグラフ コントラスト技術が MTS データの空間的一貫性を向上させるのに非常に効果的であること、および完全な TS-GAC がコントラスト損失を低減するどのバリアントよりも優れたパフォーマンスを示していることを示しています。

写真

さらに、著者は、ハイパーパラメータ (λMWTC、λGC、λNC など) の影響と保持を含むモデルの感度も分析しました。 ) エッジの数の影響。これらの分析により、提案された方法の有効性と堅牢性がさらに確認されます。

全体として、実験結果は、複数の MTS 分類タスクで最適なパフォーマンスを達成する TS-GAC の能力を強調しており、提案されたグラフ拡張およびグラフ比較手法が MTS データ上のモデルの空間的一貫性を向上させることを証明しています。そして性の有効性。