팬더 및 Scipy를 사용한 다중 열 T- 테스트

이 기사에서는 Pandas 및 Scipy 라이브러리를 사용하여 Pandas 데이터 프레임에서 여러 열을 T- 테스트하는 방법에 대해 설명합니다. 샘플 코드를 통해 특정 그룹에서 T- 검정을 수행하는 방법을 자세히 보여주고 더 많은 그룹에 방법을 일반화하는 솔루션을 제공합니다. 또한 여러 비교를 수행 할 때주의를 기울여야하는 문제와 여러 검사 문제를 처리하는 방법도 상기시켜줍니다.

팬더 및 Scipy를 사용한 다중 열 T- 테스트

T 테스트는 일반적으로 사용되는 통계적 방법으로 두 데이터 세트의 평균에 상당한 차이가 있는지 비교합니다. 데이터 분석에서는 숫자 변수에 대한 다양한 범주의 변수의 영향을 평가하기 위해 데이터 프레임의 여러 열에서 t- 검정을 수행해야합니다. 이 기사는 팬더 및 Scipy 라이브러리를 사용하여이를 효율적으로 달성하는 방법을 설명합니다.

단일 T 테스트

먼저 샘플 데이터 프레임을 만듭니다.

 팬더를 PD로 가져옵니다
scipy.stats에서 ttest_ind를 가져옵니다

data = { 'product': [ '랩톱', '프린터', '프린터', '프린터', '노트북', '노트북', '노트북', '노트북', '노트북', '노트북', '프린터'],
        '구매 _cost': [120.09, 150.45, 300.12, 450.11, 200.55, 175.89, 124.12, 113.12, 143.33, 375.65],
        '보증 _years': [3,2,2,1,4,1,2,3,1,2],
        'service_cost': [5,5,10,4,7,10,4,6,12,3]

        }

df = pd.dataframe (데이터)

인쇄 (DF)

제품이 '노트북'과 '프린터'인 두 세트의 데이터 사이의 구매 차이를 비교한다고 가정 해 봅시다. 다음 코드를 사용할 수 있습니다.

 #샘플을 정의하십시오
group1 = df [df [ 'product'] == ''laptop ']
group2 = df [df [ 'product'] == ''프린터 ']

#독립적 인 두 개의 샘플 t- 검정 성능
ttest_ind (group1 [ 'buying_cost'], group2 [ 'buy_cost']))

이 코드는 먼저 제품 열의 값을 기반으로 데이터 프레임을 두 그룹으로 나눈 다음 Scipy.stats.ttest_ind 함수를 사용하여 두 그룹의 구매 _cost 열에서 독립적 인 샘플 t- 테스트를 수행합니다.

여러 열에서 동시에 t- 검정

여러 열 (예 : 구매 _cost, 보증 _years 및 service_cost)을 동시에 t- 테스트 해야하는 경우 다음 코드를 사용할 수 있습니다.

 cols = df.columns.difference ([ 'product'])
# 또는 명시 적 목록이 있습니다
# cols = [ '구매 _cost', '보증 _years', 'service_cost']]]]

group1 = df [df [ 'product'] == ''laptop ']
group2 = df [df [ 'product'] == ''프린터 ']
out = pd.dataframe (ttest_ind (group1 [cols], group2 [cols]),
                   columns = cols, index = [ '통계', 'pvalue'])))

인쇄 (out)

이 코드는 먼저 t- 검정 cols로 수행 해야하는 열 이름 목록을 가져온 다음 데이터 프레임을 두 그룹으로 나눕니다. 핵심은 ttest_ind 함수가 2D 입력을 직접 처리 할 수 있다는 것입니다. 마지막으로, 결과는 쉽게 볼 수 있도록 새로운 데이터 프레임에 저장됩니다.

이를 구현하는 또 다른 방법은 사전 도출을 사용하는 것입니다.

 out = pd.dataframe ({c : ttest_ind (group1 [c], group2 [c]), cols},
                    index = [ '통계', 'pvalue'])))

이 접근법은 더 간결하지만 읽기 쉽지 않을 수 있습니다.

더 많은 그룹으로 홍보하십시오

데이터 프레임에 더 다른 제품 값이 포함되어 있고 가능한 모든 조합을 비교하려면 itertools.combinations 기능을 사용할 수 있습니다.

 IterTools에서 가져 오기 조합

cols = df.columns.difference ([ 'product'])

g = df.groupby ( '제품') [cols]

out = pd.concat ({(a, b) : pd.dataframe (ttest_ind (g.get_group (a), g.get_group (b)),
                                     columns = cols, index = [ '통계', 'pvalue'])))
                 조합의 a, b의 경우 (df [ 'product']. 고유 한 (), 2)
                }, names = [ 'product1', 'product2']))

인쇄 (out)

이 코드는 먼저 GroupBy 함수를 사용하여 제품 열별로 데이터 프레임을 그룹화 한 다음 itertools.combinations 함수를 사용하여 가능한 모든 조합을 생성합니다. 각 조합에 대해 T- 테스트를 수행하고 결과를 새로운 데이터 프레임에 저장합니다.

주목해야 할 것

다중 비교를 수행 할 때 여러 테스트 문제에주의를 기울여야합니다. 우리는 여러 t 테스트를 수행했기 때문에 오 탐지의 확률이 증가했습니다. 이 문제를 해결하기 위해 Bonferroni 보정 또는 Benjamini-Hochberg 보정과 같은 몇 가지 다중 테스트 보정 방법을 사용할 수 있습니다. 이러한 보정 방법은 F- 값을 조정하여 오 탐지율을 제어 할 수 있습니다.

요약

이 기사에서는 Pandas 및 Scipy 라이브러리를 사용하여 Pandas 데이터 프레임에서 여러 열을 T- 테스트하는 방법에 대해 설명합니다. 샘플 코드를 통해 특정 그룹에서 T- 검정을 수행하는 방법을 자세히 보여주고 더 많은 그룹에 방법을 일반화하는 솔루션을 제공합니다. 또한 여러 비교를 수행 할 때주의를 기울여야하는 문제도 상기시켜줍니다. 이러한 기술을 마스터하면 데이터 분석을보다 효율적으로 수행하는 데 도움이 될 수 있습니다.

위 내용은 팬더 및 Scipy를 사용한 다중 열 T- 테스트의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!