앤트 마케팅 추천 시나리오에 인과관계 수정 방법 적용

1. 인과편향의 배경

1. 편향의 발생

추천 시스템에서는 사용자에게 적합한 상품을 추천하기 위해 데이터를 수집하여 추천 모델을 학습시킵니다. 사용자가 추천 항목과 상호 작용할 때 수집된 데이터는 모델을 추가로 훈련하는 데 사용되어 폐쇄 루프를 형성합니다. 그러나 이 폐쇄 루프에는 다양한 영향 요인이 있을 수 있으며 이로 인해 오류가 발생할 수 있습니다. 오류가 발생하는 주된 원인은 모델 훈련에 사용되는 데이터의 대부분이 이상적인 훈련 데이터가 아닌 관찰 데이터이기 때문에 노출 전략, 사용자 선택 등의 요인에 영향을 받습니다. 이러한 편향의 본질은 경험적 위험 추정치의 기대치와 실제 이상적인 위험 추정치의 기대치 사이의 차이에 있습니다.

2. 일반적인 편견

추천 마케팅 시스템에서 가장 일반적인 편견은 주로 다음 세 가지 유형을 포함합니다. 항목으로 인한 자신의 선호도에 따라.

• 노출 편향: 추천 항목은 일반적으로 전체 항목 후보 풀의 하위 집합일 뿐입니다. 사용자는 선택할 때 시스템에서 추천하는 항목과만 상호 작용할 수 있으므로 관찰 데이터에 편향이 발생합니다.
• 인기 편향: 훈련 데이터에서 일부 인기 항목의 비율이 높으면 모델이 이 성능을 학습하고 더 인기 있는 항목을 추천하게 되어 매튜 효과가 발생합니다.
• 위치 편차, 일관성 편차 등과 같은 다른 편차도 있습니다.

3. 인과 ​​수정

예를 들어 모델링 프로세스에 대한 편차의 영향을 이해해 보겠습니다. 커피 마시는 것과 심장병 사이의 관계를 연구한다고 가정해 보겠습니다. 커피를 마시는 사람은 심장병 발병 가능성이 더 높다는 사실을 발견했기 때문에 커피 마시는 것과 심장병 사이에는 직접적인 인과관계가 있다고 결론 내릴 수 있습니다. 그러나 우리는 혼란스러운 요인이 있다는 것을 인식할 필요가 있습니다. 예를 들어, 커피를 마시는 사람이 흡연자일 가능성이 더 높다고 가정해 보겠습니다. 흡연 자체는 심장병과 관련이 있습니다. 그러므로 우리는 단순히 커피 음주와 심장병의 관계를 인과관계로 돌릴 수는 없고 흡연이 혼란 요인으로 존재하기 때문일 수도 있습니다. 커피 마시는 것과 심장병 사이의 관계를 보다 정확하게 연구하려면 흡연의 영향을 통제해야 합니다. 한 가지 접근 방식은 흡연자와 비흡연자를 짝지어 커피 마시는 것과 심장병 사이의 관계를 비교하는 일치 연구를 수행하는 것입니다. 이는 결과에 대한 흡연의 혼란스러운 영향을 제거합니다. 인과관계는 만약 커피 마시는 양의 변화가 심장병의 변화로 이어지고 다른 조건은 변하지 않은 채 유지된다면 어떻게 될 것인가에 대한 질문입니다. 교란 요인의 영향을 통제한 후에만 커피 음주와 심장병 사이에 인과 관계가 있는지 여부를 더 정확하게 판단할 수 있습니다.

이 문제를 피하는 방법은? 일반적인 방법은 편견 없는 데이터를 도입하고 편견 없는 데이터를 사용하여 모델이 편견 없는 표현을 학습하도록 돕는 것입니다. 또 다른 방법은 인과 다이어그램의 관점에서 시작하고 관찰을 조정하여 편차를 수정하는 것입니다. 나중에 데이터. 인과수정이란 데이터나 모델을 인과적 수단을 통해 처리하여 편향의 영향을 제거하는 것입니다.

4. 원인 및 결과 다이어그램

원인 및 결과 다이어그램은 장면의 노드 간의 인과 관계를 설명하는 데 사용되는 방향성 비순환 그래프입니다. 체인 구조, 분기 구조, 충돌 구조로 구성됩니다.

• 체인 구조: C가 주어지면 A와 B는 독립적입니다.
• 분기 구조: C가 주어지면 A가 변경되면 B는 그에 따라 변경되지 않습니다.
• 충돌 구조: C가 없으면 A와 B가 독립이라는 것을 알 수 없지만 C를 관찰한 후에는 A와 B가 독립이 아닙니다.

위 그림의 예시를 참고하여 백도어 경로와 백도어 기준을 판단할 수 있습니다. 백도어 경로는 X에서 Y로 연결되지만 Z에서 시작하여 결국 Y를 가리키는 경로를 의미합니다. 이전 사례와 마찬가지로, 코로나19 감염과 사망률 사이의 관계는 순전히 인과관계가 아닙니다. 코로나19 감염은 연령에 따라 영향을 받습니다. 노인들은 코로나19에 감염될 가능성이 더 높으며 사망률도 더 높습니다. 그러나 X와 Y 사이의 모든 백도어 경로를 차단할 만큼 충분한 데이터가 있다면, 즉 Z가 주어지면 X와 Y는 독립적인 관계로 모델링될 수 있으므로 실제 인과 관계를 얻을 수 있습니다.

2. 데이터 융합 기반 수정

1. 데이터 융합 수정 모델 소개

다음은 데이터 융합 수정 기반 Ant 팀의 작업을 소개합니다. , 이는 Industry Track의 SIGIR2023에 게시되었습니다. 이 작업의 아이디어는 편향되지 않은 데이터를 사용하여 데이터 증대를 수행하고 모델 수정을 안내하는 것입니다.

편향된 데이터의 전체 분포는 편향된 데이터의 분포와 다릅니다. 편향된 데이터는 전체 표본 공간의 특정 부분에 집중되고 누락된 샘플은 해당 영역의 일부에 집중됩니다. 상대적으로 편향이 적은 데이터를 사용하여 증가된 샘플이 편향되지 않은 영역이 더 많은 영역에 가까우면 편향되지 않은 데이터가 더 많은 역할을 합니다. 더 많은 역할. 본 논문에서는 데이터 증대를 위해 편향되지 않은 데이터와 편향된 데이터를 더 잘 활용하도록 MDI 모델을 설계했습니다.

위 그림은 알고리즘의 프레임워크 다이어그램을 보여줍니다. MDI 모델은 메타 학습 방법을 사용하여 표본의 가중치와 편향되지 않은 데이터에 대한 가중 계수를 조정합니다. 우선, MDI 모델 훈련에는 두 단계가 있습니다:

• 1단계: 편견 없는 데이터를 사용하여 편견 없는 교사 모델 fu를 훈련합니다.
• 2단계: 원래의 학습 방법을 사용하여 회로도의 다른 구조를 업데이트합니다.

L(fd)의 운영 손실을 최적화하여 융합 편향 제거 모델 fd를 훈련합니다. 최종 손실 손실은 주로 L-IPS와 L-IMP의 두 가지 유형이 있습니다. L-IPS는 원본 샘플을 사용하여 최적화에 사용하는 IPS 모듈입니다. R-UI는 모든 모델을 사용하여 성향 점수를 도출합니다(샘플이 편향되지 않은 샘플에 속할 확률 또는 편향된 샘플에 속할 확률 결정). 두 번째 항목 L-IMP는 사전 설정된 증강 모듈의 가중치이고, R-UI는 사전 설정된 증강 모듈에 의해 생성된 꼬리 지수이며 1-Ｐ-UI는 현재의 unbiased Teacher 모델 및 융합 모델입니다. 보다 복잡한 패턴 정보를 학습하기 위한 방법의 성향 점수인 fp를 Meta learning을 통해 해결합니다.

다음은 알고리즘의 전체 학습 과정입니다.

• 편향되지 않은 데이터에 대해 fu를 사전 학습합니다.
• fd의 매개변수를 fd(u,i)에 복사하고 편향 + 증강 데이터의 매개변수를 업데이트합니다.
• 증강된 데이터에서 fp의 매개변수를 업데이트하세요.
• 편향 + 증강 데이터에 업데이트된 fp를 기반으로 공식적으로 fd를 업데이트합니다.
• 모델이 수렴할 때까지 2-4를 반복합니다.

2. 데이터 융합 보정 모델 실험

Yahoo R3와 Coat라는 두 가지 공개 데이터세트에 대한 평가를 실시했습니다. Yahoo R3는 1,000개 노래에 대해 15,000명 이상의 사용자 평가를 수집하고 총 310,000개 이상의 편향 데이터와 5,400개 이상의 비편향 데이터를 수집했습니다. Coat 데이터 세트는 300개 의류에 대한 290명의 사용자 평가를 통해 6900개 이상의 편향 데이터와 4600개 이상의 비편향 데이터를 수집합니다. 두 데이터 세트의 사용자 평가 범위는 1부터 5까지입니다. 편향된 데이터는 플랫폼의 데이터 사용자로부터 가져오며 편향되지 않은 샘플은 사용자에게 무작위로 평가를 할당하여 수집됩니다.

Ant는 두 개의 공개 데이터 세트 외에도 업계의 실제 시나리오에서 얻은 데이터 세트를 사용하여 편견 없는 데이터 샘플이 거의 없는 상황을 시뮬레이션하기 위해 모든 편향된 데이터와 10%의 데이터를 결합했습니다. 편향되지 않은 데이터 훈련을 위해 편향되지 않은 데이터의 10%는 검증용으로 유지되고 나머지 80%는 테스트 세트로 사용됩니다.

우리가 사용하는 기본 비교 방법은 주로 다음과 같습니다. 첫 번째 방법은 각각 편견 없는 데이터, 단일 편향 데이터 및 직접 데이터 융합으로 훈련된 모델을 사용하는 것입니다. 두 번째 방법은 편견 없는 데이터의 작은 부분을 사용하는 것입니다. 정규 표현은 편향된 데이터와 편향되지 않은 데이터 표현의 유사성을 제한하여 편향 보정 작업을 수행하도록 설계되었습니다. 세 번째 방법은 성향 점수의 역확률인 역확률 가중치 방법입니다. 이중 로버스트도 일반적인 수정 방법입니다. 성향이 없는 이중 로버스트는 먼저 편향되지 않은 샘플을 사용하여 증강 모델을 학습한 다음 증강 샘플을 사용하여 전체 모델이 편향을 수정하도록 돕는 데이터 증대 방법입니다. 모델 편향을 수정하는 데 도움이 되는 증강을 위한 편향되지 않은 데이터입니다.

성과를 평가하기 위해 MSE와 MAE라는 두 가지 지표를 사용했습니다. 그림에서 볼 수 있듯이 우리가 제안한 MDI 방법은 Coat 및 Product 데이터 세트의 두 지표 모두에서 상대적으로 좋은 성능을 보였습니다.

Yahoo R3 데이터 세트에서 우리가 제안한 방법은 MAE에서 가장 좋은 성능 지수를 보였고, IPS를 제외한 MSE에서도 가장 좋은 성능을 보였습니다. 세 가지 데이터 증대 방법인 PFDR, Auto Debias 및 우리가 제안한 MDI는 대부분의 경우 더 나은 성능을 발휘합니다. 그러나 PFDR은 편견 없는 데이터를 사용하여 증강 모델을 미리 훈련하기 때문에 편견 없는 데이터에 크게 의존하게 됩니다. Coat 모델에는 464개의 편견 없는 훈련 데이터 샘플만 있습니다. 편견 없는 샘플이 더 적으면 증강 모듈이 좋지 않고 데이터 성능도 상대적으로 떨어집니다.

AutoDebias는 다양한 데이터에서 PFDR과 정확히 반대되는 성능을 발휘합니다. MDI는 편향되지 않은 데이터와 편향된 데이터를 모두 활용하는 증대 방법을 설계했기 때문에 더 강력한 데이터 증대 모듈을 가지므로 편향되지 않은 데이터가 적을 때나 편향되지 않은 데이터가 충분할 때 두 경우 모두 더 나은 결과를 얻을 수 있습니다.

또한 두 개의 공개 데이터 세트에 대한 다양한 비율의 편견 없는 데이터에서 이러한 모델의 성능을 평가했으며, 각각의 편견 없는 데이터의 50%~40%와 훈련용 모든 편견 데이터를 사용했습니다. 기타 논리는 처음 10%로 검증되었습니다. 편향되지 않은 데이터를 사용하고 나머지 데이터는 테스트합니다. 이 설정은 이전 실험과 동일합니다.

위 그림은 편견 없는 데이터의 다양한 비율에서 다양한 방법을 사용한 MAE의 성능을 보여주며, 세로 좌표는 편견 없는 데이터에 대한 각 방법의 효과를 나타냅니다. 데이터 부분 데이터의 비율이 증가함에 따라 AutoDebias, IPS 및 DoubleRubus의 MAE에는 뚜렷한 감소 프로세스가 없습니다. 그러나 Debias 방식을 따르는 대신 원본 데이터 융합을 직접 사용하여 학습하는 방식은 크게 감소합니다. 이는 편향되지 않은 데이터의 샘플 비율이 높을수록 전체 데이터 품질이 좋아져 모델이 학습할 수 있기 때문입니다. 더 나은 성능.

Yahoo R3 데이터가 학습에 30% 이상의 편견 없는 데이터를 사용하는 경우

이 방법은 MDI를 제외한 다른 모든 편향 수정 방법을 능가합니다. 그러나 MDI 방법은 상대적으로 더 나은 성능을 얻을 수 있으며 이는 MDI 방법이 다양한 크기의 편견 없는 데이터에서 상대적으로 견고한 결과를 갖는다는 것을 증명할 수도 있습니다.

동시에 증강 모듈 각 부분의 설정이 세 가지 데이터 세트에 유효한지 확인하기 위해 절제 실험도 수행했습니다.

λ=0 설정은 증강 모듈이 직접 제거됨을 의미하고, Pu,i = 1은 편견 없는 데이터만 증강 데이터 모듈을 모델링하는 데 사용됨을 의미하고, Pu,i = 0은 편향 및 증강 융합 데이터만 사용됨을 의미합니다. 모듈형 증강 데이터 모듈을 구축하는 데 사용됩니다.

위 그림은 절제 실험 결과를 보여줍니다. MDI 방법이 세 가지 데이터 세트에서 상대적으로 좋은 결과를 얻었음을 볼 수 있으며 이는 증강 모듈이 필요함을 나타냅니다.

공개 데이터 세트이든 실제 비즈니스 시나리오의 데이터 세트이든, 편향되지 않은 데이터를 융합하기 위해 우리가 제안한 증강 방법은 이전 데이터 융합 솔루션보다 더 나은 결과를 얻었으며 MDI의 견고성도 매개 변수를 통해 검증되었습니다. 민감도 실험 및 절제 실험.

3. 백도어 조정에 따른 수정

팀의 또 다른 작업인 백도어 조정에 따른 수정을 소개하겠습니다. 이 연구는 SIGIR2023의 Industry Track에도 게재되었습니다. 백도어 조정 및 수정 적용 시나리오는 아래 그림과 같이 사용자와 쿠폰 또는 사용자와 광고 또는 항목 간의 상호 작용에 어떠한 개입도 적용되지 않습니다. 모든 상호 작용에 영향을 미치며 각 쿠폰은 모든 사용자에게 동일한 기회를 제공할 수 있습니다.

그러나 실제 비즈니스 시나리오에서는 일부 소규모 판매자를 보호하거나 지원하여 트래픽을 늘리고 전반적인 사용자 참여 경험을 보장하기 위해 일반적으로 일련의 정책 제약이 설정됩니다. 특정 쿠폰은 더 많이 노출되고, 다른 사용자는 다른 쿠폰이 더 많이 노출됩니다. 이러한 개입이 위에서 언급한 공동 창업자입니다.

이런 개입이 전자상거래 마케팅 시나리오에서 어떤 문제를 일으킬까요? 위 그림과 같이 간단하게 사용자를 참여 의향이 높음과 참여 의향이 낮음의 두 가지 범주로 간단히 나누고, 쿠폰은 큰 할인과 작은 할인의 두 가지 범주로 나눕니다. 그림에서 히스토그램의 높이는 해당 샘플의 전체 비율을 나타냅니다. 히스토그램이 높을수록 전체 훈련 데이터에서 해당 샘플의 비율이 커집니다. 그림에 표시된 소액 할인 쿠폰과 참여 의향이 높은 사용자 표본이 대다수를 차지하므로 모델은 그림에 표시된 분포를 학습하게 되며, 모델은 참여 의향이 높은 사용자가 소액 할인 쿠폰을 선호한다고 믿을 것입니다. 그러나 실제로 동일한 사용 임계값에 직면하면 사용자는 더 많은 비용을 절약할 수 있도록 할인율이 더 높은 쿠폰을 선호할 것입니다. 그림의 모델에서는 대형할인쿠폰에 비해 소액할인쿠폰의 실제 전환확률이 낮다는 것을 알 수 있지만, 특정 표본에 대한 모델의 추정에서는 소액할인쿠폰의 상각확률이 더 높다고 생각하게 됩니다. 모델도 이 점수에 해당하는 쿠폰을 추천하는데, 이는 역설을 낳는다.

현재 시나리오에서 비수정 추천 모델을 적용하여 이 역설의 원인을 분석합니다. U는 위 그림과 같습니다. 그리고 나는 항목의 특성을 나타냅니다. D와 K는 각각 사용자 관점과 자산 관점 사이의 역사적 상호 작용입니다. T는 현재 비즈니스에서 설정한 일부 규칙 제약 조건을 나타냅니다. T는 직접 수량화할 수 없지만 D와 K를 통해 사용자와 항목에 미치는 영향을 간접적으로 확인할 수 있습니다. 영향. y는 사용자와 항목 간의 상호 작용을 나타내며 결과는 항목을 클릭했는지, 삭제했는지 등입니다.

인과관계 다이어그램으로 표현되는 조건부 확률 공식은 그림의 오른쪽 상단에 표시되어 있으며 공식의 도출은 베이지안 확률 공식을 따릅니다. U와 I의 주어진 조건에서 P|Y ui의 최종 유도는 U와 I에만 관련되는 것이 아닙니다. 왜냐하면 U는 du의 영향을 받기 때문입니다. 즉, p가 u에 주어지면 p(du)의 확률은 다음과 같습니다. 의 것도 존재합니다. 마찬가지로 내가 주어지면 나 역시 기의 영향을 받게 된다. 이런 상황이 발생한 이유는 D와 K의 존재가 현장의 백도어 경로의 존재로 이어지기 때문이다. 즉, U에서 시작하지 않고 결국 y를 가리키는 백도어 경로(U-D-T-Y 또는 I-K-T-Y 경로)는 U가 T를 통해 y에 영향을 미칠 뿐만 아니라 y를 통해 D에도 영향을 미칠 수 있다는 잘못된 개념을 나타냅니다.

조정 방법은 D에서 U까지의 경로를 인위적으로 차단하여 U가 U-T-Y 및 U-Y를 통해 y에만 직접적인 영향을 미칠 수 있도록 하는 것입니다. 이 방법을 사용하면 잘못된 상관 관계를 제거하고 실제 인과 관계를 모델링할 수 있습니다. 백도어 조정은 관찰 데이터에 대해 do-calculus를 수행한 다음 do 연산자를 사용하여 모든 D와 모든 K의 성능을 집계하여 U와 I가 D와 K에 의해 영향을 받지 않도록 하는 것입니다. 이러한 방식으로 실제 원인과 결과 관계가 모델링됩니다. 이 공식의 도출된 대략적인 형태는 아래 그림과 같습니다.

4a는 앞선 3b와 같은 형태이고, 4b는 표본공간의 근사치이다. 이론적으로 D와 K의 표본 공간은 무한하기 때문에 수집된 데이터를 통해서만 근사가 가능합니다(표본 공간의 D와 K는 크기를 취함). 그림 4c와 4d는 둘 다 원하는 근사값을 도출한 것이므로 궁극적으로 단 하나의 추가 편견 없는 표현 T만 모델링하면 됩니다. T는 모델이 최종 편견 없는 데이터 추정치를 얻는 데 도움이 되도록 모든 상황에서 사용자와 항목의 표현 확률 분포의 합을 순회함으로써 편견 없는 표현 T의 추가 모델입니다.

실험에서는 두 개의 오픈 소스 데이터 세트인 Tianchi와 84.51(쿠폰) 데이터 세트를 사용했습니다. 샘플링을 통해 이 규칙 전략이 전체 데이터에 미치는 영향을 시뮬레이션합니다. 동시에 실제 전자상거래 마케팅 활동 시나리오에서 생성된 데이터를 사용하여 알고리즘의 품질을 공동으로 평가했습니다. 우리는 편향을 수정하기 위해 역확률 가중치를 사용하는 IPW와 같은 일부 주류 수정 방법을 비교했습니다. 작업은 사용자의 일관성과 항목의 인기도를 각각 추정하고 예측 단계에서 일관성과 인기도를 빼서 편견 없는 추정을 달성합니다. PDA는 인과적 개입을 통해 손실 항목을 조정하여 인기도를 제거합니다. 정보 편향을 제거하기 위한 백도어 조정이지만 사용자 관점의 편향만 수정합니다.

실험의 평가 지표는 AUC입니다. 마케팅 프로모션 시나리오에는 추천 쿠폰이나 추천 후보 제품이 하나만 있으므로 본질적으로 2클래스 문제이므로 평가에 AUC를 사용하는 것이 더 적합합니다. . 서로 다른 아키텍처에서 DNN과 MMOE의 성능을 비교하면, 우리가 제안한 DMBR 모델이 원래의 비수정 방법 및 기타 수정 방법보다 더 나은 결과를 나타냄을 알 수 있습니다. 동시에 Ds_A와 Ds_B는 실제 비즈니스 데이터 세트보다 시뮬레이션 데이터 세트에서 더 높은 개선 효과를 달성했습니다. 이는 실제 비즈니스 데이터 세트의 데이터가 더 복잡하고 규칙과 영향만 받는 것이 아니기 때문입니다. 정책뿐만 아니라 다른 요인의 영향도 받을 수 있습니다.

현재 이 모델은 전자상거래 마케팅 이벤트 시나리오에서 출시되었습니다. 위 그림은 기준 모델과 비교하여 DMBR 모델의 상각률이 어느 정도 향상되었음을 보여줍니다. 판매량.

4. Ant에서의 적용

Ant에서는 광고 시나리오와 같이 규칙이나 정책 제약이 있는 시나리오와 다른 시나리오에서 주로 원인과 결과 수정 방법을 사용합니다. 광고 대상에 대한 제약이 설정될 수 있으며, 애완동물을 타겟팅하는 일부 광고는 애완동물을 키우는 사용자에게 전달될 가능성이 더 높습니다. 전자상거래 마케팅 시나리오에서는 소규모 가맹점의 트래픽을 보장하고 모든 트래픽이 대규모 가맹점에 의해 소비되는 것을 방지하기 위해 몇 가지 전략이 설정됩니다. 활동에 참여하는 사용자 경험을 보장할 뿐만 아니라, 활동의 전체 예산이 제한되어 있기 때문에 일부 부도덕한 사용자가 반복적으로 활동에 참여할 경우 많은 양의 리소스를 차지하게 되어 사용자의 활동 참여 경험이 좋지 않게 됩니다. 다른 사용자. 이와 같은 시나리오에는 원인과 결과 수정이 적용됩니다.

위 내용은 앤트 마케팅 추천 시나리오에 인과관계 수정 방법 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!