如何有效地从一个 Pandas DataFrame 中提取另一个 Pandas DataFrame 中不存在的行？

从一个 Dataframe 中检索从另一个 Dataframe 中排除的行

在 pandas 中，通常存在多个具有潜在重叠数据的 Dataframe。经常出现的一项任务是将一个数据帧中不存在于另一数据帧中的行隔离出来。此操作在处理子集或过滤数据时特别有用。

问题表述：

给定两个 pandas 数据帧，其中 df1 包含与 df2 相比的行超集，我们的目标是获取 df1 中在 df2 中找不到的行。下面的示例用一个简单的案例说明了这种情况：

import pandas as pd

df1 = pd.DataFrame(data={'col1': [1, 2, 3, 4, 5], 'col2': [10, 11, 12, 13, 14]})
df2 = pd.DataFrame(data={'col1': [1, 2, 3], 'col2': [10, 11, 12]})

print(df1)
print(df2)

# Expected result:
#   col1  col2
# 3     4    13
# 4     5    14

解决方案：

为了有效解决这个问题，我们采用了一种称为左连接的技术。此操作合并 df1 和 df2，同时确保保留 df1 中的所有行。此外，我们还包括一个指示符列来识别合并后每行的来源。通过利用 df2 中的唯一行并排除重复项，我们获得了所需的结果。

下面的 python 代码实现了此解决方案：

df_all = df1.merge(df2.drop_duplicates(), on=['col1', 'col2'], how='left', indicator=True)
result = df_all[df_all['_merge'] == 'left_only']

说明：

1. 左连接：合并函数执行左连接连接 df1 和 df2.drop_duplicates()。此操作根据列 col1 和 col2 中的匹配值将 df1 中的行与 df2 中的行合并。
2. 合并指示器： 指示器参数设置为 True 以包含名为 _merge 的额外列在生成的数据帧 df_all 中。此列指示每行的来源：“both”表示 df1 和 df2 中都存在的行，“left_only”表示 df1 独有的行，“right_only”表示 df2 独有的行。
3. 按 'left_only' 过滤： 为了隔离 df1 中不在 df2 中的行，我们过滤df_all 数据帧，通过检查 _merge 等于“left_only”的行。这给了我们想要的结果。

避免常见陷阱：

需要注意的是，某些解决方案可能会错误地检查单个列值而不是匹配行作为一个整体。这种方法可能会导致不正确的结果，如下例所示：

~df1.col1.isin(common.col1) & ~df1.col2.isin(common.col2)

此代码不考虑行中值的联合出现，并且当 df1 中的行具有单独出现的值时可能会产生不正确的结果在 df2 中，但不在同一行中。

通过采用上述左连接方法，我们确保派生行被正确识别为 df1 独有的。这项技术提供了一种可靠且高效的解决方案来提取一个数据帧中存在但另一个数据帧中不存在的行。

以上是如何有效地从一个 Pandas DataFrame 中提取另一个 Pandas DataFrame 中不存在的行？的详细内容。更多信息请关注PHP中文网其他相关文章！