この記事では、CTR 推定における機能強化とパーソナライゼーションの古典的な方法と効果の比較をまとめます。

CTR 推定では、主流の方法では特徴埋め込み MLP が使用され、特徴が非常に重要です。ただし、同じ特徴量については、異なるサンプルでも表現が同じになるため、下流モデルにこのように入力すると、モデルの表現力が制限されてしまいます。

この問題を解決するために、CTR 推定の分野で、機能拡張モジュールと呼ばれる一連の関連研究が提案されています。特徴強化モジュールは、さまざまなサンプルに基づいて埋め込み層の出力結果を修正し、さまざまなサンプルの特徴表現に適応させ、モデルの表現能力を向上させます。

最近、復旦大学とマイクロソフト リサーチ アジアは共同で、さまざまな機能強化モジュールの実装方法と効果を比較した、機能強化作業に関するレビューを発表しました。ここで、いくつかの機能強化モジュールの実装方法と、この記事で行われた関連する比較実験を紹介します。

論文のタイトル: CTR 予測のための機能強化モジュールの包括的な要約と評価

ダウンロード アドレス: https://arxiv.org/pdf/2311.04625v1.pdf

1. 機能拡張モデリングのアイデア

機能拡張モジュールは、CTR を向上させるように設計されています。予測モデル 埋め込み層の表現力により、異なるサンプル内の同じ特徴の表現を区別することができます。機能拡張モジュールは次の統一式で表現でき、元の Embedding を入力し、関数を渡した後、このサンプルのパーソナライズされた Embedding を生成します。

画像

この方法の一般的な考え方は、各特徴の初期埋め込みを取得した後、サンプル自体の表現を埋め込みに使用することです。この機能は、現在のサンプルのパーソナライズされた埋め込みを取得するために変換を行います。ここでは、いくつかの古典的な機能拡張モジュールのモデリング方法を紹介します。

2. 特徴強化の古典的な方法

スパース予測のための入力認識因数分解マシン (IJCAI 2019) この記事では、埋め込み層の後に再重み付け層を追加し、埋め込み層の初期埋め込みを入力します。サンプルへの変換 サンプルを表すベクトルが MLP で取得され、ソフトマックスが正規化に使用されます。 Softmax の後の各要素は、この特徴の重要性を表す特徴に対応します。このソフトマックスの結果に、対応する各特徴の初期埋め込みが乗算されて、サンプル粒度での特徴埋め込み重み付けが実現されます。

写真

FiBiNET: 機能の重要性と二次機能の相互作用を組み合わせたクリックスルー率予測モデル (RecSys 2019) も同様の考え方を採用しています。モデルは、各サンプルの特徴のパーソナライズされた重みを学習します。プロセス全体は、圧搾、抽出、再重量の 3 つのステップに分かれています。スクイーズ段階では、プーリング法により各特徴の埋め込みベクトルが統計スカラーとして取得されます。抽出段階では、これらのスカラーが多層パーセプトロン (MLP) に入力され、各特徴の重みが取得されます。最後に、これらの重みに各特徴の埋め込みベクトルを乗算して、重み付けされた埋め込み結果を取得します。これは、サンプル レベルでの特徴の重要度のフィルター処理と同等です。

Picture

A Dual Input-aware Factorization Machine for CTR Prediction (IJCAI 2020) は前の記事と似ており、セルフアテンションを使用して機能を強化しています。全体は、ベクトルごととビットごとの 2 つのモジュールに分かれています。ベクトル単位では、各特徴の埋め込みをシーケンス内の要素として扱い、それを Transformer に入力して、融合された特徴表現を取得します。ビット単位の部分では、マルチレイヤー MLP を使用して元の特徴をマッピングします。 2 つの部分の入力結果が加算された後、各特徴要素の重みが取得され、対応する元の特徴の各ビットと乗算されて、強化された特徴が取得されます。

画像

GateNet: クリックスルー率予測のための強化されたゲート型ディープ ネットワーク (2020) は、MLP とシグモイドを通じて各特徴の初期埋め込みベクトルを利用しますこの関数は、MLP を使用してすべての特徴をビットごとの重みスコアにマップし、その 2 つを組み合わせて入力特徴に重みを付けながら、独立した特徴重みスコアを生成します。フィーチャ レイヤーに加えて、MLP の隠れレイヤーでも同様の方法が各隠れレイヤーの入力の重み付けに使用されます

Picture

Interpretable Click-Through Rate Prediction through Hierarchical Attendant (WSDM 2020) も自己注意を使用して特徴変換を実現しますが、高次の特徴の生成が追加されます。ここでは階層的セルフ アテンションが使用されています。セルフ アテンションの各層は、セルフ アテンションの前の層の出力を入力として受け取ります。各層は、1 次の高次特徴の組み合わせを追加して、階層的な多次特徴抽出を実現します。具体的には、各層がセルフアテンションを実行した後、生成された新しい特徴行列をソフトマックスに通して各特徴の重みを取得し、新しい特徴は元の特徴の重みに従って重み付けされ、ドット積が実行されます。元の特徴を使用して 1 つの特徴を増加させる レベルの特徴的な交差。

図

ContextNet: コンテキスト情報を使用して機能埋め込みを調整するクリックスルー率予測フレームワーク (2021) も同様のアプローチであり、MLP を使用してすべての特徴は、各特徴埋め込みサイズの次元にマッピングされ、元の特徴はスケーリングされます。この記事では、特徴ごとにパーソナライズされた MLP パラメーターを使用します。このようにして、サンプル内の他の特徴を上位ビットと下位ビットとして使用して、各特徴が強化されます。

図

コンテキスト認識型特徴表現学習による CTR 予測の強化 (SIGIR 2022) では、一連の入力特徴に対する自己注意を特徴強化に使用します, 各特徴は他の特徴に異なる程度の影響を及ぼします。自己注意を通じて、各特徴の埋め込みに対して自己注意が実行され、サンプル内の特徴間の情報相互作用が実現されます。機能間の相互作用に加えて、この記事ではビットレベルの情報の相互作用にも MLP を使用しています。上記で生成された新しいエンベディングは、ゲート ネットワークを通じて元のエンベディングとマージされ、最終的な洗練された特徴表現が得られます。

写真

3. 実験結果

さまざまな機能拡張方法の効果を比較した結果、次のような全体的な結論に達しました。多くの機能拡張モジュールである GFRL、FRNet-V、FRNetB は最高のパフォーマンスを発揮し、他の機能拡張方法よりも優れています

## ＃＃＃＃＃＃ ＃＃＃写真＃＃＃ ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃＃

以上がこの記事では、CTR 推定における機能強化とパーソナライゼーションの古典的な方法と効果の比較をまとめます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。