tea-tasting: A/B テストの統計分析用の Python パッケージ

イントロ

私は、A/B テストの統計分析用の Python パッケージ、tea-tastingを開発しました:

• スチューデントの t 検定、ブートストラップ、CUPED による分散削減、検出力分析、その他のすぐに使える統計手法とアプローチ。
• BigQuery、ClickHouse、PostgreSQL/GreenPlum、Snowflake、Spark、Pandas、および Ibis がサポートする 20 以上のバックエンドなど、幅広いデータ バックエンドをサポートします。
• 拡張可能な API: カスタム指標を定義し、選択した統計テストを使用します。
• 手作業を減らすための便利なAPIと、エラーを最小限に抑えるためのフレームワーク。
詳細なドキュメント。

このブログ投稿では、実験の分析に

ティーテイスティングを使用することのそれぞれの利点を探ります。

試してみたい場合は、ドキュメントを確認してください。

統計的手法

ティーテイスティングには、実験の分析で必要となる可能性のあるもののほとんどをカバーする統計的手法とテクニックが含まれています。

スチューデントの t 検定と Z 検定を使用してメトリクスの平均と比率を分析します。または、ブートストラップを使用して、選択した他の統計を分析します。また、Bootstrap を使用して分位数を分析するための事前定義されたメソッドもあります。

tea-tastingは、A/B テストのさまざまなバリエーションのサンプル比の不一致も検出します。

tea-tastingは、平均値の比率の分析にデルタ法を適用します。たとえば、セッションがランダム化単位ではないと仮定した場合の、平均セッション数ごとの平均注文数です。

実験前のデータ、メトリクス予測、またはその他の共変量を使用して分散を減らし、実験の感度を高めます。このアプローチは、CUPED または CUPAC とも呼ばれます。

Student の t 検定と Z 検定における

パーセントの変化の信頼区間の計算は難しい場合があります。絶対変化の信頼区間を取得し、それを制御平均で割るだけでは、偏った結果が生成されます。ティーテイスティングはデルタ法を適用して正しい間隔を計算します。

Student の t 検定と Z 検定の統計的検出力を分析します。考えられるオプションは 3 つあります:

統計検出力と観測値の合計数を指定して、効果の大きさを計算します。
統計検出力と効果量を指定して、観測値の合計数を計算します。
効果の大きさと観測値の合計数を指定して、統計検出力を計算します。

詳細については、詳細なユーザーガイドをご覧ください。

ロードマップには以下が含まれます:

複数の仮説テスト:
• 家族ごとの誤り率: ホルム・ボンフェローニ法
  誤検出率: Benjamini-Hochberg 手順
統計テストの検出力を分析するための A/A テストとシミュレーション。
その他の統計テスト:
• 周波数データの漸近的かつ正確なテスト。
  マン-ホイットニー U 検定
逐次テスト: mSPRT で常に有効な p 値。

選択した統計テストを使用してカスタム指標を定義できます。

データバックエンド

実験データを保存および処理するためのさまざまなデータベースとエンジンが多数あります。また、ほとんどの場合、詳細な実験データを Python 環境に取り込むのは効率的ではありません。スチューデントの t テストや Z テストなどの多くの統計テストでは、分析のために集計されたデータのみが必要です。

たとえば、生の実験データが ClickHouse に保存されている場合、Python 環境で詳細なデータを取得して集計を実行するよりも、ClickHouse で直接個数、平均、分散、および共分散を計算する方が高速かつ効率的です。

必要なすべての統計を手動でクエリすることは、困難でエラーが発生しやすい作業になる可能性があります。たとえば、CUPED を使用した比率メトリクスの分析と分散削減には、行数と分散だけでなく、共分散も必要です。でも心配しないでください。

お茶の試飲がこれらすべての作業を行ってくれます。

tea-tastingは、データを Pandas DataFrame または Ibis Table として受け入れます。 Ibis は、さまざまなデータ バックエンドへの DataFrame API として機能する Python パッケージです。 BigQuery、ClickHouse、PostgreSQL/GreenPlum、Snowflake、Spark を含む 20 以上のバックエンドをサポートします。 SQL クエリを作成し、Ibis テーブルとしてラップして、tea-tastingに渡すことができます。紅茶の試飲

では次のことを前提としていることに留意してください:

• 数据按随机化单位分组，例如个人用户。
• 有一列指示 A/B 测试的变体（通常标记为 A、B 等）。
• 指标计算所需的所有列（如订单数、收入等）都包含在表中。

一些统计方法，例如 Bootstrap，需要精细的数据进行分析。在这种情况下，品茶也会获取详细数据。

在数据后端指南中了解更多信息。

便捷的API

您可以仅使用 NumPy、SciPy 和 Ibis 执行上面列出的所有任务。事实上，tea-tasting在底层使用了这些包。品茶提供的是一个方便的高级 API。

展示比描述更容易。这是基本示例：

雷雷

具有独立参数化和推理的两阶段方法在统计建模中很常见。这种分离有助于使代码更加模块化且更易于理解。

品茶执行可能很棘手且容易出错的计算：

• 用Delta方法分析比率指标。
• 使用 CUPED/CUPAC 减少方差（也与比率指标的 Delta 方法结合使用）。
• 计算绝对变化和百分比变化的置信区间。
• 统计功效分析。

它还提供了一个表示实验数据的框架以避免错误。按随机化单位对数据进行分组并包含数据集中的所有单位对于正确分析非常重要。

此外，tea-tasting还提供了一些方便的方法和功能，例如漂亮的结果格式和度量参数的上下文管理器。

文档

最后但并非最不重要的一点：文档。我相信良好的文档对于工具的采用至关重要。这就是为什么我编写了几个用户指南和 API 参考。

我建议从用户指南中的基本用法示例开始。然后您可以在同一指南中探索特定主题，例如方差减少或功效分析。

请参阅数据后端指南，了解如何在品茶中使用您选择的数据后端。

如果您想要执行品茶中未包含的统计测试，请参阅自定义指标指南。

使用 API 参考来探索tea-tasting.

中可用的函数、类和方法的所有参数和详细信息

结论

有多种统计方法可以应用于实验分析。但在大多数情况下实际使用的只有少数。

另一方面，有一些特定于 A/B 测试分析的方法，这些方法不包含在 SciPy 等通用统计包中。

品茶功能包括最重要的统计测试，以及特定于A/B测试分析的方法。

品茶提供了方便的API，有助于减少分析时间并最大限度地减少错误概率。

此外，品茶通过在您选择的存储数据的数据后端中计算统计数据来优化计算效率。

通过详细的文档，您可以快速学会如何使用品茶来分析您的实验。

附：套餐名称

套餐名称“品茶”是一个双关语，涉及两个主题：

• 女士品茶是罗纳德·费舍尔设计的一个著名实验。在这个实验中，费舍尔开发了零假设显着性测试框架来分析一位女士的说法，即她可以辨别是先将茶还是牛奶添加到杯子中。
• “品茶”在语音上类似于“t 测试”或学生 t 测试，这是由 William Gosset 开发的统计测试。

以上がtea-tasting: A/B テストの統計分析用の Python パッケージの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。