首頁 > 後端開發 > Python教學 > 如何使用 Pandas DataFrame 高效執行笛卡爾積(CROSS JOIN)?

如何使用 Pandas DataFrame 高效執行笛卡爾積(CROSS JOIN)?

DDD
發布: 2024-12-07 17:46:13
原創
633 人瀏覽過

How to Efficiently Perform a Cartesian Product (CROSS JOIN) with Pandas DataFrames?

Pandas 的高性能笛卡爾積(CROSS JOIN)

在資料操作領域,笛卡爾積或CROSS JOIN 是一種有價值的操作,它結合了兩個或一對一或更多對多基礎上的更多DataFrame。此操作透過為輸入 DataFrame 中所有可能的元素組合建立新行來擴展原始資料集。

問題陳述

給定兩個具有唯一索引的 DataFrame:

left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})
登入後複製

目標是找到計算這些 DataFrame的笛卡爾積最有效的方法,結果如下輸出:

  col1_x  col2_x col1_y  col2_y
0      A       1      X      20
1      A       1      Y      30
2      A       1      Z      50
3      B       2      X      20
4      B       2      Y      30
5      B       2      Z      50
6      C       3      X      20
7      C       3      Y      30
8      C       3      Z      50
登入後複製

最優解

方法1:臨時鍵列

一種方法是暫時指派一個「鍵」列兩個DataFrame的共同值:

left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)
登入後複製

此方法使用合併來執行在「key」列上進行多對多 JOIN。

方法 2:NumPy 笛卡爾積

對於較大的 DataFrame,高效能的解決方案是利用 NumPy的笛卡爾積實現:

def cartesian_product(*arrays):
    la = len(arrays)
    dtype = np.result_type(*arrays)
    arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
    for i, a in enumerate(np.ix_(*arrays)):
        arr[...,i] = a
    return arr.reshape(-1, la)  
登入後複製

函數從輸入產生所有可能的元素組合

方法3:廣義CROSS JOIN

廣義解決方案適用於具有非唯一或混合索引的DataFrame:

def cartesian_product_generalized(left, right):
    la, lb = len(left), len(right)
    idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
    return pd.DataFrame(
        np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))
登入後複製

此方法根據DataFrame 的笛卡爾積重新索引DataFrame

增強的解決方案

方法4:簡化的CROSS JOIN

方法4:簡化的CROSS JOIN

def cartesian_product_simplified(left, right):
    la, lb = len(left), len(right)
    ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])

    return pd.DataFrame(
        np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))
登入後複製

方法4:簡化的CROSS JOIN

方法4:簡化的CROSS JOIN

# ... (Benchmarking code not included here)
登入後複製
方法4:簡化的CROSS JOIN

對於具有非混合資料類型的兩個DataFrame,可以使用進一步簡化的解決方案:

此方法使用廣播和 NumPy 的ogrid 用於產生 DataFrame 索引的笛卡爾積。 效能比較這些解決方案的效能因資料集大小和複雜性而異。以下基準提供了它們執行時間的相對比較:結果表明,基於 NumPy 的 cartesian_product 方法在大多數情況下優於其他解決方案,特別是當 DataFrame 大小增加時。 結論透過利用所提出的技術,資料分析師可以在 DataFrame 上高效地執行笛卡爾積,這是一種基本的方法資料操作和擴展的操作。這些方法即使在大型或複雜的資料集上也能實現最佳效能,從而實現高效的資料探索和分析。

以上是如何使用 Pandas DataFrame 高效執行笛卡爾積(CROSS JOIN)?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板