Pandas DataFrames를 사용하여 Cartesian Product(CROSS JOIN)를 효율적으로 수행하는 방법은 무엇입니까?-파이썬 튜토리얼-php.cn

Pandas DataFrames를 사용하여 Cartesian Product(CROSS JOIN)를 효율적으로 수행하는 방법은 무엇입니까?

DDD

풀어 주다： 2024-12-07 17:46:13

원래의

633명이 탐색했습니다.

How to Efficiently Perform a Cartesian Product (CROSS JOIN) with Pandas DataFrames?

Pandas를 사용한 고성능 데카르트 곱(CROSS JOIN)

데이터 조작 영역에서 데카르트 곱, 즉 CROSS JOIN은 두 개 또는 일대일 또는 다대다 방식으로 더 많은 DataFrame을 생성합니다. 이 작업은 입력 DataFrame의 가능한 모든 요소 조합에 대해 새 행을 생성하여 원본 데이터세트를 확장합니다.

문제 설명

고유 인덱스가 있는 두 개의 DataFrame이 제공됩니다:

left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})

로그인 후 복사

목표는 이러한 DataFrame의 데카르트 곱을 계산하는 가장 효율적인 방법을 찾는 것입니다. 결과는 다음과 같습니다. 출력:

  col1_x  col2_x col1_y  col2_y
0      A       1      X      20
1      A       1      Y      30
2      A       1      Z      50
3      B       2      X      20
4      B       2      Y      30
5      B       2      Z      50
6      C       3      X      20
7      C       3      Y      30
8      C       3      Z      50

로그인 후 복사

최적의 솔루션

방법 1: 임시 키 열

한 가지 접근 방식은 "키" 열을 임시로 할당하는 것입니다. 두 DataFrame의 공통 값:

left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)

로그인 후 복사

이 방법은 병합을 사용하여 "키" 열에 다대다 JOIN.

방법 2: NumPy 데카르트 곱

더 큰 DataFrame의 경우 성능이 뛰어난 솔루션은 NumPy의 데카르트 곱을 활용하는 것입니다. 구현:

def cartesian_product(*arrays):
    la = len(arrays)
    dtype = np.result_type(*arrays)
    arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
    for i, a in enumerate(np.ix_(*arrays)):
        arr[...,i] = a
    return arr.reshape(-1, la)

로그인 후 복사

이 함수는 가능한 모든 요소 조합을 생성합니다.

방법 3: 일반화된 CROSS JOIN

일반화된 솔루션은 고유하지 않거나 혼합된 인덱스가 있는 DataFrame에서 작동합니다.

def cartesian_product_generalized(left, right):
    la, lb = len(left), len(right)
    idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
    return pd.DataFrame(
        np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))

로그인 후 복사

이 방법은 DataFrame의 데카르트 곱을 기반으로 DataFrame을 다시 인덱싱합니다. indices.

향상된 솔루션

방법 4: 단순화된 CROSS JOIN

dtype이 혼합되지 않은 두 DataFrame에 대해 더욱 단순화된 솔루션이 가능합니다.

def cartesian_product_simplified(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    return pd.DataFrame(
        np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))

로그인 후 복사

이 방법은 방송과 DataFrames 인덱스의 데카르트 곱을 생성하는 NumPy의 오그리드.

성능 비교

이러한 솔루션의 성능은 데이터 세트 크기와 복잡성에 따라 다릅니다. 다음 벤치마크는 실행 시간의 상대적인 비교를 제공합니다.

# ... (Benchmarking code not included here)

로그인 후 복사

결과는 NumPy 기반 cartesian_product 방법이 대부분의 경우, 특히 DataFrames의 크기가 증가함에 따라 다른 솔루션보다 성능이 우수하다는 것을 나타냅니다.

결론

제시된 기술을 활용하여 데이터 분석가는 데카르트 곱을 효율적으로 수행할 수 있습니다. 데이터 조작 및 확장을 위한 기본 작업인 DataFrames. 이러한 방법을 사용하면 규모가 크거나 복잡한 데이터 세트에서도 최적의 성능을 얻을 수 있어 효율적인 데이터 탐색 및 분석이 가능합니다.

위 내용은 Pandas DataFrames를 사용하여 Cartesian Product(CROSS JOIN)를 효율적으로 수행하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!