マルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案

レコメンドシステムはインテリジェントな情報フィルタリング技術として、実際のシナリオで広く使用されています。ただし、レコメンデーション システムの成功は、多くの場合、ユーザーの個人情報や機密情報が含まれる可能性のある大量のユーザー データに基づいています。プライバシー保護によってユーザー情報が制限されている場合、またはユーザー情報を取得できないシナリオでは、従来のレコメンデーション システムが適切に機能しないことがよくあります。そのため、プライバシーやセキュリティを確保しつつ、信頼できるレコメンドシステムをいかに構築するかが喫緊の課題となっている。

近年、ユーザーが自分のプライバシーにますます注意を払うようになり、ログイン操作を行わずにオンライン プラットフォームを使用するユーザーが増加する傾向にあります。 、これにより、匿名のセッションベースの推奨事項も重要な研究の方向性となります。最近、香港科技大学、北京大学、マイクロソフト アジア リサーチなどの研究者らが、マルチレベルのユーザー意図を効率的に利用する新しいモデル Atten-Mixer を提案しました。この研究論文は、WSDM2023 で最優秀論文賞の佳作を受賞しました。

紙のリンク ： https://dl.acm.org/doi/abs/10.1145/3539597.3570445

##研究の背景

セッションベースの推奨 (SBR) は、ユーザーの短い動的なセッション (つまり、ユーザーの行動シーケンス) に基づいた推奨方法です。

従来のユーザーベースまたはアイテムベースのレコメンデーション システムと比較して、SBR は現在のセッションでのユーザーの当面のニーズを捉えることに重点を置き、ユーザーの関心の急速な進化とロングテール効果に効果的に適応するという課題。

SBR モデルの進化では、リカレント ニューラル ネットワーク (RNN) に基づくモデルから畳み込みニューラル ネットワーク (畳み込みニューラル ネットワーク) に基づくモデルへニューラル ネットワーク (CNN) モデル、そして最近の SBR 研究では、アイテム間の複雑な伝達関係をより適切にマイニングするために、グラフ ニューラル ネットワーク (GNN) に基づくモデルが広く使用されています。

ただし、これらのモデルはパフォーマンスが向上していますモデルの複雑さの指数関数的な増加に比べて、ベンチマーク データセットの使用量は限られています。この現象に直面して、この論文は次のような疑問を提起します: これらの GNN ベースのモデルは SBR にとって単純すぎるのでしょうか、それとも複雑すぎるのでしょうか?

##予備分析

##この質問に答えるには、著者 既存の GNN ベースの SBR モデルを分解し、SBR タスクにおけるその役割を分析してみます。

# 一般的に、典型的な GNN ベースの SBR モデルは 2 つの部分に分解できます。

# (1) GNN モジュール。パラメーターは、グラフ畳み込みの伝播重みと、元の埋め込みとグラフ畳み込み出力を融合するための GRU 重みに分割できます。

(2) 読み出しモジュール。パラメータには、長期表現を生成するためのアテンション プーリングの重みと、予測用のセッション表現を生成するための変換の重みが含まれます。

#次に、著者はこれら 2 つの部分についてそれぞれ説明します。一般的に使用されるニューラル ネットワークのスパース化技術 (SparseVD) が使用され、モデルのトレーニング時にパラメーターの密度比が計算されます。

パラメータの密度比とは、パラメータの重みに含まれる要素の総数に対する、特定のしきい値を超える要素の数の比率を指します。その値は、パラメータの重要性を測定するために使用できます。パラメータ。

# #GNNモジュール。

GNN にはパラメータが多く、ランダムな初期化があるため、最初は多くのパラメータが存在します。更新される知識。したがって、グラフ畳み込み伝播重みの密度比は、データの最初の数バッチで変動することがわかります。

トレーニングが安定すると、密度比は 0 になる傾向があります。

## 読み出しモジュール。

トレーニングが進むにつれて、

注意プーリングの重みの密度比を維持できることがわかります。より高いレベル。

他のデータセットや他の GNN ベースの SBR モデルでも同じ傾向が観察できます。

したがって、著者らは、GNN モジュールの多くのパラメータがトレーニング プロセス中に冗長であることを発見しました。これに基づいて、著者は、SBR の次のよりシンプルで効果的なモデル設計ガイドラインを提案します。

(1) 過度の複雑さを追求しない GNN 設計、作者は、

GNN 伝播部分を削除し、最初の埋め込み層のみを保持することを好みます

; (2) モデル設計者は、もっと多くのことを行う必要があります。

##注意ベースの読み出しモジュール

に焦点を当てます。

注意プーリング重みパラメータは高い密度比を維持するため、著者は、より高度な注意ベースの読み出し方法を使用する必要があると推測しています。より有益になります。

この記事では GNN の伝播部分への依存を放棄しているため、Readout モジュールはモデル推論に対してより多くの責任を負う必要があります。

インスタンス ビューに基づく既存の Readout モジュールの推論機能が限られていることを考慮して、この記事では、Readout モジュールのより強力な推論機能を設計する必要があります。 。

#より強力な推論機能を備えた Readout モジュールを設計する方法

#精神病理学の研究によると、人間の推論は本質的に多層の情報処理プロセスであるとされています。

たとえば、アリスが扱う基礎的な商品を包括的に考慮することで、人間は、アリスが準備する予定があるかどうかなど、より高いレベルの概念を得ることができます。結婚式や新居の装飾に。アリスが結婚式を計画している可能性が高いと判断した後、人間は、壁画などの花束に関連した装飾品ではなく、ウェディングバルーンなどの花束に関連した結婚式の品物を検討します。

このマルチレベル推論戦略をレコメンデーション システムに採用すると、ユーザー全体を考慮することで、大規模な検索スペースを整理し、局所的な最適なソリューションを回避できます。行動傾向はより満足のいく解決策に収束します。

# したがって、この記事では、この多層推論メカニズムを

# Readout モジュール設計に導入したいと考えています。 # 。

ただし、これらの高レベルの概念を単に列挙することは現実的ではなく、危険な可能性があるため、これらの高レベルの概念を取得するのは簡単な作業ではありません。無関係な概念が導入され、モデルのパフォーマンスが妨げられます。

この課題に対処するために、この記事 では、ローカル不変性と固有の優先順位 (固有の優先順位) という 2 つの SBR 関連の帰納的バイアスを採用し、検索スペース # ＃＃＃＃。

本質的な優先度は、ユーザーの現在の関心をよりよく反映するセッション内の最後のいくつかの項目を指します。
局所的不変性を意味します。セッション内の最後のいくつかの項目の相対的な順序はユーザーの興味に影響を与えないため、実際には、異なる数の末尾項目によってグループを形成でき、これらのグループを通じて関連する高レベルの概念を構築できます。

ここで、末尾の項目は固有の優先度に対応し、グループは局所的不変性に対応し、さまざまな数字はこの記事で検討する多層の高レベルの概念を表しています。

提案モデル

そこで、この記事では Atten-Mixer と呼ばれるモデルを提案します。このモデルはさまざまなエンコーダと統合できます。入力セッションの場合、モデルは埋め込み層から各項目の埋め込みを取得します。次にモデルは、結果のグループ表現に線形変換を適用して、マルチレベルのユーザー意図のクエリを生成します。

#ここで、Q1 はインスタンス ビューの注意クエリであり、その他は異なる受容野を持つ高レベルの注意クエリです。ローカル不変情報。次に、モデルは生成されたアテンション クエリを使用して、セッション内の各項目の非表示状態を調べ、最終的なセッション表現を取得します。

#実験と結果

オフライン実験では、この記事では 3 つの異なるフィールド セットのデータを使用します。 : Diginetica は電子商取引トランザクション用のデータセット、Gowalla はソーシャル ネットワーク用のデータセット、Last.fm は音楽レコメンデーション用のデータセットです。

#オフライン実験結果

(1) 全体比較

著者は、Atten-Mixer を、CNN、RNN ベース、GNN ベース、および読み取りベースに基づく 4 つのベースライン手法と比較しました。

実験結果は、Atten-Mixer が 3 つのデータセットの精度と効率の点でベースライン手法を上回っていることを示しています。

(2) パフォーマンス改善の分析

さらに、著者は Atten-Mixer も埋め込みました。モジュールを SR-GNN および SGNN-HN に組み込み、元のモデルに対するこの方法のパフォーマンス向上効果を検証します。

オフライン実験の結果、Atten-Mixer はすべてのデータセットでモデルのパフォーマンスを大幅に向上させ、特に評価指標の K 値が小さい場合に、Atten-Mixer が元のデータセットに役立つことを示しています。モデルは、より正確でユーザーフレンドリーな推奨事項を生成します。

オンライン実験結果

著者は、2021 年 4 月に Atten-Mixer を大規模な電子商取引オンライン サービスに導入しました。オンライン実験では、マルチレベルの注意混合ネットワーク (Atten-Mixer) がさまざまなオンライン ビジネス指標で良好に機能することが示されています。すべてが大幅な改善を達成しました。

#実験の結論

要約すると、 Atten-Mixer はマルチレベル推論機能を備えており、精度と効率の点でオンラインおよびオフラインで優れたパフォーマンスを発揮します。以下に主な貢献をいくつか示します。

• 複雑なモデル アーキテクチャは SBR の必須条件ではなく、アテンションベースの読み出し方法の革新的なアーキテクチャ設計は効果的なソリューション プランです。 。
• マルチレベルの概念の相関関係は、ユーザーの興味を捉えるのに役立ち、帰納的バイアスの使用は、情報が豊富な高次の概念を発見する効果的な方法です。

研究プロセス

最後に、この記事が WSDM2023 の最優秀論文賞にノミネートされた背景には、曲がりくねった展開があることを言及しておく価値があります。記事の著者の一人、UIUCのハオハン・ワン氏は、「この記事は実際、投稿プロセス中にあまりにも単純すぎたため、何度も却下された。幸いなことに、記事の著者は中国の記事を選択しなかった」と紹介した。査読者の好みに合わせて、私は自分自身のシンプルなアプローチに固執し、最終的にその記事を佳作として受賞しました。

以上がマルチレベルのユーザー意図を有効活用するため、香港科技大学や北京大学などが新たなセッション推奨モデルAtten-Mixerを提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。