拡散モデルの適用を時系列にまとめた記事

拡散モデルは現在、生成 AI のコア モジュールであり、Sora、DALL-E、Imagen などの大規模な生成 AI モデルで広く使用されています。同時に、拡散モデルは時系列にますます適用されています。この記事では、時系列での拡散モデルの適用原理を理解するのに役立つように、拡散モデルの基本的な考え方と、時系列で使用される拡散モデルの代表的な作品をいくつか紹介します。

1.拡散モデルのモデリングのアイデア

生成の中核モデル はい、ランダムな単純分布から点をサンプリングし、一連の変換を通じてこの点をターゲット空間内の画像またはサンプルにマッピングすることができます。拡散モデルが行うことは、サンプリングされたサンプル ポイントでノイズを継続的に除去し、複数のノイズ除去ステップを通じて最終データを生成することです。このプロセスは彫刻のプロセスと非常によく似ており、ガウス分布からサンプリングされたノイズが最初の素材となり、その余分な部分を絶えず削り取っていくプロセスがノイズ除去のプロセスです。

#上記は逆の処理、つまりノイズから徐々にノイズを除去して画像を取得することです。このプロセスは反復プロセスであり、元のサンプリング ポイントから少しずつノイズを除去するために T 回のノイズ除去が必要です。各ステップでは、前のステップで生成された結果が入力され、ノイズを予測する必要があります。その後、入力からノイズが減算されて、現在のタイム ステップの出力が得られます。

ここでは、現在のステップのノイズを予測するモジュール (ノイズ除去モジュール) をトレーニングする必要があります。このモジュールは、現在のステップ t と現在のステップの入力を入力します。そして、ノイズが何であるかを予測します。ノイズを予測するこのモジュールは、VAE のエンコーダー部分と同様のフォワード プロセスを通じて実行されます。順処理では、画像を入力し、各ステップでノイズをサンプリングし、元の画像にノイズを加算して生成結果を取得します。次に、生成された結果と現在のステップ t の埋め込みが、生成されたノイズを予測するための入力として使用され、それによってノイズ除去モジュールをトレーニングする役割が達成されます。

2.時系列における拡散モデルの適用

TimeGrad: 自己回帰ノイズ除去拡散多変量確率時系列予測のモデル (2021)

TimeGrad は、時系列予測に拡散モデルを使用する最も初期の方法の 1 つです。従来の拡散モデルとは異なり、TimeGrad は基本的な拡散モデルに基づいたノイズ除去モジュールを導入し、タイム ステップごとに追加の隠れ状態を提供します。この隠れた状態は、RNN モデルを通じて履歴シーケンスと外部変数をエンコードすることによって取得され、拡散モデルがシーケンスを生成するようにガイドするために使用されます。全体的なロジックを次の図に示します。

#ノイズ除去モジュールのネットワーク構造では、主に畳み込みニューラル ネットワークが使用されます。入力信号は 2 つの部分に分割されます。最初の部分は前のステップの出力シーケンスで、2 番目の部分は RNN によって出力される隠れ状態 (アップサンプリング後に得られる結果) です。これら 2 つの部分は畳み込まれ、ノイズ予測のために加算されます。

CSDI: 確率的時系列代入のための条件付きスコアベースの拡散モデル (2021)

この記事では、拡散モデルを使用して、 build モデル時系列充填タスク。全体的なモデリング方法は TimeGrad に似ています。次の図に示すように、初期時系列には欠損値が含まれています。最初にノイズで埋められ、次に拡散モデルを使用してノイズを徐々に予測してノイズ除去を実現します。複数のステップを経て、最終的に埋め込み結果が得られます。

モデル全体の中核は、拡散モデル トレーニング ノイズ除去モジュールでもあります。中心となるのはノイズ予測ネットワークのトレーニングであり、各ステップは現在のステップの埋め込み、過去の観測結果、および前の瞬間の出力を入力してノイズ結果を予測します。

Transformer は、時間次元の Transformer と変数次元の Transformer の 2 つの部分を含むネットワーク構造で使用されます。

DSPD および CSPD: プロセス拡散を使用した連続関数としての時間データのモデリング (2022)

この記事で提案されている方法は次のとおりです。 TimeGrad との比較 レベルを上げると、時系列を生成する関数自体が拡散モデルを通じて直接モデル化されます。ここでは、各観測点が関数から生成され、時系列のデータ点の分布をモデル化する代わりに、この関数の分布が直接モデル化されると仮定します。そこで本論文では、拡散モデルに追加した独立したノイズを時間とともに変化するノイズに変更し、その関数をノイズ除去するために拡散モデル内のノイズ除去モジュールをトレーニングします。

TDSTF: 疎時系列予測用のトランスフォーマーベースの拡散確率モデル (2023)

この記事では、ICU における重要な信号抽出に拡散モデルを適用します。この記事の核心は、一方では、値、特徴、時間のトリプルを使用してシーケンス内の各点を表し、実際の値の部分にマスクを使用して、まばらで不規則な医療時系列データを処理することです。一方、Transformer および拡散モデルに基づく予測方法があります。全体的な拡散モデル プロセスを図に示します。画像生成モデルの原理は同様です。ノイズ除去モデルは過去の時系列に基づいてトレーニングされ、順方向伝播で初期ノイズ シーケンスからノイズが徐々に減算されます。

拡散モデルの特定のノイズ予測部分では、Transformer 構造が使用されます。各時点はマスクとトリプレットで構成されており、これらは Transformer に入力され、ノイズを予測するためのノイズ除去モジュールとして使用されます。詳細な構造は 3 層の Transformer で構成されており、各 Transformer には 2 層の Encoder ネットワークと 2 層の Decoder ネットワークが含まれており、Decoder の出力は残差ネットワークを使用して接続され、畳み込み Decoder に入力されてノイズ予測結果が生成されます。

#