時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成-AI-php.cn

今日は、時系列予測のパフォーマンスを向上させるために、時系列データを潜在空間上の大規模な自然言語処理 (NLP) モデルと整合させる方法を提案するコネチカット大学の最近の研究成果を紹介したいと思います。。この方法の鍵は、潜在的な空間ヒント (プロンプト) を使用して時系列予測の精度を高めることです。

時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成

論文タイトル: S2IP-LLM: 時系列予測のための LLM によるセマンティックスペースインフォームドプロンプト学習

ダウンロードアドレス:https://www .php.cn/link/3695d85c350d924e662ea2cd3b760d40

1. 問題の背景

大規模モデルは時系列で使用されることが多くなり、主に 2 つのカテゴリに分類されます: 最初のカテゴリでは、さまざまなタイプの時間が使用されます。シリーズデータは、時系列フィールドで独自の大規模モデルをトレーニングします。2 番目のタイプは、NLP フィールドでトレーニングされた大規模なテキストモデルを直接使用し、それを時系列に適用します。時系列は画像やテキストとは異なるため、データセットごとに入力形式や分布が異なり、分布のシフトなどの問題があり、すべての時系列データを使用して統一したモデルを学習することは困難です。したがって、時系列関連の問題を解決するために NLP の大規模モデルを直接使用しようとする取り組みがますます増えています。

この記事では、時系列問題を解決する 2 番目の方法である NLP 大規模モデルの使用にも焦点を当てます。現在の実践では、時系列の説明を手がかりとして使用することがよくありますが、すべての時系列データセットにこの情報が含まれているわけではありません。また、パッチベースの時系列データ処理方法では、時系列データのすべての情報を完全に保持することはできません。

上記の問題に基づいて、この記事では、新しいモデリング手法、コアモデリングのアイデアを提案します。一方で、時系列はトークン化処理後に埋め込みにマッピングされ、他方ではこれらの空間がマッピングされます。時系列表現は、より大きなモデルの単語埋め込みに合わせて調整されます。このようにして、時系列予測プロセス中に、整列された単語の埋め込みに関連する情報を予測効果を向上させるためのヒントとして見つけることができます。

時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成図

2. 実装方法

以下、データ処理、潜在空間アライメント、モデルの3つの側面から紹介します。詳細. この作業の実装方法。

データ処理: 時系列の分布シフトなどの問題のため、この記事では入力シーケンスに対して 1 ステップのトレンド項季節項分解を実行します。分解された各時系列は個別に標準化され、重複するパッチに分割されます。各パッチのセットは、傾向期間パッチ、季節期間パッチ、残差パッチに対応しており、これら 3 つのパッチセットが一緒に結合されて MLP に入力され、各パッチセットの基本的な埋め込み表現が取得されます。

暗黙的なスペース調整: これは、この記事の中核となる手順です。プロンプトの設計は大規模モデルのパフォーマンスに大きな影響を与えますが、時系列プロンプトの設計は困難です。したがって、この記事では、時系列のパッチ表現を潜在空間内の大規模モデルの単語埋め込みと位置合わせし、topK 個の単語埋め込みを暗黙的プロンプトとして取得することを提案します。具体的な方法は、前のステップで生成されたパッチ埋め込みを使用して、言語モデル内の単語埋め込みとのコサイン類似度を計算し、topK 個の単語埋め込みを選択し、これらの単語埋め込みをプロンプトとして使用して、これらの単語埋め込みを言語モデルの前に接続することです。時系列パッチの埋め込み。大規模なモデルには多くの単語埋め込みがあるため、計算量を減らすために、最初に単語埋め込みを少数のクラスター中心にマッピングします。

モデルの詳細: モデルの詳細については、言語モデル部分に GPT2 を使用しており、位置埋め込み部分とレイヤー正規化部分のパラメータを除いて残りはフリーズされています。 MSE に加えて、最適化目標では、パッチの埋め込みと取得した topK クラスターの埋め込みとの間の類似性も制約として導入し、この 2 つの間の距離ができるだけ小さくなるようにする必要があります。最終的な予測結果も

時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成 #写真

#3. 実験結果

#この記事では、いくつかの大規模な時系列モデル、iTransformer、 PatchTST などの SOTA モデルの効果により、ほとんどのデータセットでさまざまな時間ウィンドウの予測が比較的良好に改善されました。

時系列予測 NLP 大規模モデルの新機能: 時系列予測の暗黙的なプロンプトを自動的に生成写真

同時に、この記事では、t-SNE による埋め込みを視覚的に分析しています。時系列は整列前に整列されていません。明らかなクラスタリング現象はありませんが、プロンプトによって生成された埋め込みには明らかなクラスタリングの変化があり、この記事で提案されている方法がテキストと時系列の空間的整列と、対応するプロンプトを効果的に使用していることがわかります。、時系列表現の品質を向上させます。＃＃＃＃＃＃＃＃＃＃＃＃写真＃＃＃＃＃＃＃＃＃＃＃＃