Ujian t berbilang lajur menggunakan pandas dan scipy

Artikel ini menerangkan bagaimana untuk menguji pelbagai lajur dalam data data Pandas menggunakan perpustakaan Pandas dan Scipy. Dengan kod sampel, kami menunjukkan secara terperinci bagaimana untuk melakukan ujian t pada kumpulan tertentu dan menyediakan penyelesaian untuk umum kaedah kepada lebih banyak kumpulan. Di samping itu, ia juga diingatkan tentang isu -isu yang perlu diberi perhatian apabila melakukan pelbagai perbandingan dan bagaimana menangani pelbagai masalah pemeriksaan.

Ujian t berbilang lajur menggunakan pandas dan scipy

Ujian T adalah kaedah statistik yang biasa digunakan untuk membandingkan sama ada terdapat perbezaan yang signifikan dalam min dua set data. Dalam analisis data, kita sering perlu melakukan ujian t pada pelbagai lajur dalam dataframe untuk menilai kesan kategori pembolehubah yang berlainan pada pembolehubah berangka. Artikel ini akan menerangkan cara menggunakan perpustakaan panda dan scipy untuk mencapai matlamat ini dengan cekap.

Ujian T tunggal

Pertama, kami membuat contoh data data:

 Import Pandas sebagai PD
dari scipy.stats import ttest_ind

data = {'produk': ['komputer riba', 'pencetak', 'pencetak', 'pencetak', 'komputer riba', 'komputer riba', 'komputer riba', 'komputer riba', 'komputer riba', 'pencetak'],
        'Pembelian_cost': [120.09, 150.45, 300.12, 450.11, 200.55, 175.89, 124.12, 113.12, 143.33, 375.65]
        'Waranty_years': [3,2,2,1,4,1,2,3,1,2],
        'Service_cost': [5,5,10,4,7,10,4,6,12,3]

        }

df = pd.dataFrame (data)

Cetak (DF)

Katakan kami ingin membandingkan perbezaan dalam pembelian_cost antara dua set data yang produknya adalah 'komputer riba' dan 'pencetak'. Kita boleh menggunakan kod berikut:

 #define sampel
kumpulan1 = df [df ['produk'] == 'komputer riba']
kumpulan2 = df [df ['produk'] == 'pencetak']

#perform bebas dua sampel t-ujian
ttest_ind (kumpulan1 ['pembelian_cost'], group2 ['luy_cost'])

Kod ini terlebih dahulu membahagikan data data ke dalam dua kumpulan berdasarkan nilai lajur produk, dan kemudian menggunakan fungsi scipy.stats.ttest_ind untuk melakukan ujian t sampel bebas pada lajur pembelian_cost dari dua kumpulan data.

Ujian t pada pelbagai lajur pada masa yang sama

Jika kita perlu menguji beberapa lajur (seperti pembelian_cost, waranty_years, dan service_cost) pada masa yang sama, kita boleh menggunakan kod berikut:

 cols = df.columns.difference (['Product'])
# atau dengan senarai eksplisit
# COLS = ['pembelian_cost', 'waranty_years', 'service_cost']

kumpulan1 = df [df ['produk'] == 'komputer riba']
kumpulan2 = df [df ['produk'] == 'pencetak']
keluar = pd.dataFrame (ttest_ind (kumpulan1 [cols], kumpulan2 [cols]),
                   lajur = cols, index = ['statistik', 'pValue']))

Cetak (keluar)

Kod ini pertama mendapat senarai nama lajur yang perlu dilakukan dengan Cols yang diuji, dan kemudian membahagikan data data ke dalam dua kumpulan. Kuncinya ialah fungsi TTEST_IND boleh secara langsung memproses input 2D, iaitu, melakukan ujian t pada pelbagai lajur data pada masa yang sama. Akhirnya, hasilnya disimpan dalam data data baru untuk tontonan dan analisis yang mudah.

Cara lain untuk melaksanakannya ialah menggunakan derivasi kamus:

 out = pd.dataframe ({c: ttest_ind (group1 [c], group2 [c]) untuk c dalam cols},
                    indeks = ['statistik', 'pValue'])

Pendekatan ini lebih ringkas, tetapi mungkin sedikit kurang dibaca.

Mempromosikan lebih banyak kumpulan

Jika data data mengandungi nilai produk yang lebih berbeza dan kami ingin membandingkan semua kombinasi yang mungkin, kami boleh menggunakan fungsi iTertools.combinations:

 dari kombinasi import itertools

cols = df.columns.difference (['Product'])

g = df.groupby ('produk') [cols]

out = pd.concat ({(a, b): pd.dataFrame (ttest_ind (g.get_group (a), g.get_group (b)),
                                     lajur = cols, index = ['statistik', 'pValue']))
                 untuk a, b dalam kombinasi (df ['produk']. unik (), 2)
                }, nama = ['Product1', 'Product2'])

Cetak (keluar)

Kod ini pertama menggunakan fungsi GroupBy untuk kumpulan data kumpulan oleh lajur produk, dan kemudian menggunakan fungsi iTertools.combinations untuk menghasilkan semua kombinasi yang mungkin. Untuk setiap kombinasi, kami melakukan ujian t dan menyimpan hasil dalam data baru.

Perkara yang perlu diperhatikan

Apabila menjalankan pelbagai perbandingan, anda perlu memberi perhatian kepada pelbagai isu ujian. Oleh kerana kami melakukan ujian pelbagai t, kebarangkalian positif palsu meningkat. Untuk menyelesaikan masalah ini, beberapa kaedah pembetulan pelbagai ujian boleh digunakan, seperti pembetulan Bonferroni atau pembetulan Benjamini-Hochberg. Kaedah pembetulan ini boleh menyesuaikan nilai p untuk mengawal kadar positif palsu.

Meringkaskan

Artikel ini menerangkan bagaimana untuk menguji pelbagai lajur dalam data data Pandas menggunakan perpustakaan Pandas dan Scipy. Dengan kod sampel, kami menunjukkan secara terperinci bagaimana untuk melakukan ujian t pada kumpulan tertentu dan menyediakan penyelesaian untuk umum kaedah kepada lebih banyak kumpulan. Di samping itu, isu -isu yang perlu diberi perhatian apabila melakukan pelbagai perbandingan juga diingatkan. Menguasai teknik ini dapat membantu kami melakukan analisis data dengan lebih cekap.

Atas ialah kandungan terperinci Ujian t berbilang lajur menggunakan pandas dan scipy. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!