在数据操作领域，笛卡尔积或 CROSS JOIN 是一种有价值的操作，它结合了两个或一对一或多对多基础上的更多 DataFrame。此操作通过为输入 DataFrame 中所有可能的元素组合创建新行来扩展原始数据集。
给定两个具有唯一索引的 DataFrame：
left = pd.DataFrame({'col1': ['A', 'B', 'C'], 'col2': [1, 2, 3]})
right = pd.DataFrame({'col1': ['X', 'Y', 'Z'], 'col2': [20, 30, 50]})目标是找到计算这些 DataFrame 的笛卡尔积的最有效方法，结果如下输出：
col1_x col2_x col1_y col2_y 0 A 1 X 20 1 A 1 Y 30 2 A 1 Z 50 3 B 2 X 20 4 B 2 Y 30 5 B 2 Z 50 6 C 3 X 20 7 C 3 Y 30 8 C 3 Z 50
方法1：临时键列
一种方法是临时分配一个“键”列两个 DataFrame 的共同值：
left.assign(key=1).merge(right.assign(key=1), on='key').drop('key', 1)此方法使用合并来执行在“key”列上进行多对多 JOIN。
方法 2：NumPy 笛卡尔积
对于较大的 DataFrame，高性能的解决方案是利用 NumPy 的笛卡尔积实现：
def cartesian_product(*arrays):
la = len(arrays)
dtype = np.result_type(*arrays)
arr = np.empty([len(a) for a in arrays] + [la], dtype=dtype)
for i, a in enumerate(np.ix_(*arrays)):
arr[...,i] = a
return arr.reshape(-1, la) 该函数从输入生成所有可能的元素组合
方法 3：广义 CROSS JOIN
广义解决方案适用于具有非唯一或混合索引的 DataFrame：
def cartesian_product_generalized(left, right):
la, lb = len(left), len(right)
idx = cartesian_product(np.ogrid[:la], np.ogrid[:lb])
return pd.DataFrame(
np.column_stack([left.values[idx[:,0]], right.values[idx[:,1]]]))此方法根据 DataFrame 的笛卡尔积重新索引 DataFrame
方法 4：简化的 CROSS JOIN
对于具有非混合 dtypes 的两个 DataFrame，可以使用进一步简化的解决方案：
def cartesian_product_simplified(left, right):
la, lb = len(left), len(right)
ia2, ib2 = np.broadcast_arrays(*np.ogrid[:la,:lb])
return pd.DataFrame(
np.column_stack([left.values[ia2.ravel()], right.values[ib2.ravel()]]))此方法使用广播和 NumPy 的ogrid 用于生成 DataFrame 索引的笛卡尔积。
这些解决方案的性能因数据集大小和复杂性而异。以下基准提供了它们执行时间的相对比较：
# ... (Benchmarking code not included here)
结果表明，基于 NumPy 的 cartesian_product 方法在大多数情况下优于其他解决方案，特别是当 DataFrame 大小增加时。
通过利用所提出的技术，数据分析师可以在 DataFrame 上高效地执行笛卡尔积，这是一种基本的方法数据操作和扩展的操作。这些方法即使在大型或复杂的数据集上也能实现最佳性能，从而实现高效的数据探索和分析。
以上是如何使用 Pandas DataFrame 高效执行笛卡尔积（CROSS JOIN）？的详细内容。更多信息请关注PHP中文网其他相关文章！
