rasa teh: pakej Python untuk analisis statistik ujian A/B-Tutorial Python-php.cn

tea-tasting: a Python package for the statistical analysis of A/B tests

Pengenalan

Saya membangunkantea-tasting, pakej Python untuk analisis statistik ujian A/B yang menampilkan:

Ujian-t pelajar, Bootstrap, pengurangan varians dengan CUPED, analisis kuasa dan kaedah dan pendekatan statistik lain di luar kotak.
Sokongan untuk pelbagai jenis backend data, seperti BigQuery, ClickHouse, PostgreSQL/GreenPlum, Snowflake, Spark, Pandas dan 20+ backend lain yang disokong oleh Ibis.
API Boleh Diperluas: tentukan metrik tersuai dan gunakan ujian statistik pilihan anda.
API yang mudah untuk mengurangkan kerja manual dan rangka kerja untuk meminimumkan ralat.
Dokumentasi terperinci.

Dalam catatan blog ini, saya meneroka setiap kelebihan menggunakanrasa tehdalam analisis eksperimen.

Jika anda tidak sabar untuk mencubanya, semak dokumentasi.

Kaedah statistik

rasa tehtermasuk kaedah dan teknik statistik yang merangkumi kebanyakan perkara yang mungkin anda perlukan dalam analisis eksperimen.

Analisis purata dan perkadaran metrik dengan ujian-t Pelajar dan ujian-Z. Atau gunakan Bootstrap untuk menganalisis sebarang statistik lain pilihan anda. Dan terdapat kaedah yang telah ditetapkan untuk analisis kuantil menggunakan Bootstrap.rasa tehjuga mengesan ketidakpadanan dalam nisbah sampel varian berbeza ujian A/B.

rasa tehmenggunakan kaedah delta untuk analisis nisbah purata. Contohnya, purata bilangan pesanan bagi setiap purata bilangan sesi, dengan mengandaikan sesi itu bukan unit rawak.

Gunakan data pra-percubaan, ramalan metrik atau kovariat lain untuk mengurangkan varians dan meningkatkan sensitiviti percubaan. Pendekatan ini juga dikenali sebagai CUPED atau CUPAC.

Pengiraan selang keyakinan untukperatusanperubahan dalam ujian-t dan Z-Pelajar boleh menjadi rumit. Hanya mengambil selang keyakinan untuk perubahanmutlakdan membahagikannya dengan purata kawalan akan menghasilkan keputusan yang berat sebelah.rasa tehmenggunakan kaedah delta untuk mengira selang masa yang betul.

Analisis kuasa statistik untuk ujian-t dan ujian-Z Pelajar. Terdapat tiga pilihan yang mungkin:

Kira saiz kesan, diberi kuasa statistik dan jumlah bilangan pemerhatian.
Kira jumlah bilangan pemerhatian, diberi kuasa statistik dan saiz kesan.
Kira kuasa statistik, memandangkan saiz kesan dan jumlah bilangan pemerhatian.

Ketahui lebih lanjut dalam panduan pengguna terperinci.

Pelan hala tuju termasuk:

Pengujian pelbagai hipotesis:
- Kadar ralat dari segi keluarga: Kaedah Holm–Bonferroni.
- Kadar penemuan palsu: Prosedur Benjamini–Hochberg.
A/A ujian dan simulasi untuk menganalisis kuasa mana-mana ujian statistik.
Lebih banyak ujian statistik:
- Ujian asimptotik dan tepat untuk data kekerapan.
- Ujian Mann–Whitney U.
Ujian berurutan: sentiasa sah p-value dengan mSPRT.

Anda boleh menentukan metrik tersuai dengan ujian statistik pilihan anda.

Bahagian belakang data

Terdapat banyak pangkalan data dan enjin yang berbeza untuk menyimpan dan memproses data percubaan. Dan dalam kebanyakan kes, ia tidak cekap untuk menarik data percubaan terperinci ke dalam persekitaran Python. Banyak ujian statistik, seperti ujian-t Pelajar atau ujian-Z, hanya memerlukan data agregat untuk analisis.

Sebagai contoh, jika data percubaan mentah disimpan dalam ClickHouse, lebih pantas dan cekap untuk mengira kiraan, purata, varians dan kovarian secara langsung dalam ClickHouse daripada mengambil data berbutir dan melaksanakan pengagregatan dalam persekitaran Python.

Menyoal semua statistik yang diperlukan secara manual boleh menjadi tugas yang menakutkan dan terdedah kepada ralat. Contohnya, analisis metrik nisbah dan pengurangan varians dengan CUPED memerlukan bukan sahaja bilangan baris dan varians, tetapi juga kovarians. Tetapi jangan risau—merasa tehsemua ini berkesan untuk anda.

rasa tehmenerima data sama ada sebagai Pandas DataFrame atau Ibis Table. Ibis ialah pakej Python yang berfungsi sebagai API DataFrame kepada pelbagai bahagian belakang data. Ia menyokong 20+ bahagian belakang termasuk BigQuery, ClickHouse, PostgreSQL/GreenPlum, Snowflake dan Spark. Anda boleh menulis pertanyaan SQL, membungkus ia sebagai Jadual Ibis dan menyampaikannya kepadamerasa teh.

Perlu diingat bahawamerasa tehmenganggap bahawa:

데이터는 개별 사용자 등 무작위 단위로 그룹화됩니다.
A/B 테스트의 변형을 나타내는 열이 있습니다(일반적으로 A, B 등으로 표시됨).
측정항목 계산에 필요한 모든 열(예: 주문 수, 수익 등)이 표에 포함되어 있습니다.

부트스트랩과 같은 일부 통계 방법에는 분석을 위해 세부적인 데이터가 필요합니다. 이 경우에는차 시식을 통해 세부 데이터도 가져옵니다.

데이터 백엔드 가이드에서 자세히 알아보세요.

편리한 API

NumPy, SciPy 및 Ibis만 사용하여 위에 나열된 모든 작업을 수행할 수 있습니다. 실제로차 시식에서는 이러한 패키지를 내부적으로 사용합니다.차 시식이 제공하는 것은 편리한 상위 API입니다.

설명하는 것보다 보여주는 것이 더 쉽습니다. 기본 예는 다음과 같습니다.

으아악

별도의 매개변수화와 추론을 사용하는 2단계 접근 방식은 통계 모델링에서 일반적입니다. 이러한 분리는 코드를 더욱 모듈화하고 이해하기 쉽게 만드는 데 도움이 됩니다.

tea-tasting은 까다롭고 오류가 발생하기 쉬운 계산을 수행합니다.

델타 방법을 사용한 비율 지표 분석
CUPED/CUPAC를 사용한 분산 감소(비율 측정항목의 델타 방법과도 결합)
절대 변화와 백분율 변화 모두에 대한 신뢰 구간을 계산합니다.
통계력 분석

오류를 방지하기 위해 실험 데이터를 표현하기 위한 프레임워크도 제공합니다. 올바른 분석을 위해서는 데이터를 무작위 단위로 그룹화하고 데이터 세트의 모든 단위를 포함하는 것이 중요합니다.

또한tea-tasting은 결과의 예쁜 형식 지정 및 측정 매개변수에 대한 컨텍스트 관리자와 같은 몇 가지 편리한 방법과 기능을 제공합니다.

선적 서류 비치

마지막으로 중요한 것은 문서입니다. 저는 도구 채택을 위해서는 좋은 문서화가 중요하다고 믿습니다. 이것이 바로 제가 여러 사용자 가이드와 API 참조를 작성한 이유입니다.

사용자 가이드의 기본 사용법 예시부터 시작하는 것을 권장합니다. 그런 다음 동일한 가이드에서 분산 감소 또는 검정력 분석과 같은 특정 주제를 탐색할 수 있습니다.

차 시음과 함께 원하는 데이터 백엔드를 사용하는 방법을 알아보려면 데이터 백엔드 가이드를 참조하세요.

차 시식에 포함되지 않은 통계 테스트를 수행하려면 맞춤 측정 항목에 대한 가이드를 참조하세요.

API 참조를 사용하여

tea-tasting에서 사용할 수 있는 함수, 클래스 및 메서드에 대한 모든 매개변수와 자세한 정보를 살펴보세요.

결론

실험 분석에 적용할 수 있는 다양한 통계 방법이 있습니다. 하지만 대부분의 경우 실제로는 그 중 소수만이 사용됩니다.

한편, SciPy와 같은 범용 통계 패키지에는 포함되지 않은 A/B 테스트 분석에만 특화된 방법이 있습니다.

차 시식기능에는 가장 중요한 통계 테스트와 A/B 테스트 분석에 특정한 방법이 포함됩니다.

tea-tasting은 분석에 소요되는 시간을 줄이고 오류 가능성을 최소화하는 데 도움이 되는 편리한 API를 제공합니다.

또한

차 시음은 데이터가 저장되어 있는 선택한 데이터 백엔드에서 통계를 계산하여 계산 효율성을 최적화합니다.

자세한 문서를 통해 실험 분석을 위해

차 시음을 사용하는 방법을 빠르게 배울 수 있습니다.

추신 패키지 이름

패키지 이름 "tea-tasting"은 두 가지 주제를 가리키는 단어 유희입니다.

Atas ialah kandungan terperinci rasa teh: pakej Python untuk analisis statistik ujian A/B. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!