Pandas中基于条件和行间依赖创建新列

引言

在数据处理过程中，我们经常需要根据dataframe中某一列或多列的条件来生成新的列。更复杂的情况是，新列的值不仅取决于当前行的条件，还可能依赖于其上方或下方的行的值。例如，当某一行的特定条件不满足时，我们可能希望新列继承其上方或下方最近一个满足条件的行的值。传统的循环方法在处理大型数据集时效率低下，而pandas提供了更高效的向量化操作来实现这一目标。

核心方法：Series.where()结合Series.bfill()或Series.ffill()

Pandas中的Series.where()方法允许我们根据布尔条件选择性地替换Series中的值。当条件为False时，对应位置的值将被替换为NaN（默认行为），而当条件为True时，原值保持不变。结合使用Series.bfill()（backward fill，向后填充）或Series.ffill()（forward fill，向前填充）可以巧妙地处理行间依赖关系。

假设我们有一个DataFrame df，包含 Colonne 1 和 Dimension 1 两列。我们的目标是创建一个新列 new，其规则如下：

• 如果 Dimension 1 的值为 'Organisation'，则 new 列取 Colonne 1 列的当前行的值。
• 如果 Dimension 1 的值不是 'Organisation'，则 new 列取其下方（或上方，取决于需求）最近一个 Dimension 1 为 'Organisation' 的行的 Colonne 1 值。

以下是示例DataFrame：

import pandas as pd
import numpy as np

data = {
    'Colonne 1': ['MTN_LI2', 'MTN_IRU', 'MTN_ACE', 'MTN_IME', 'RIPP7', 'CA_SOT', 'CA_OTI', 'CNW00', 'BSNTF', 'RIPNJ'],
    'Dimension 1': ['Indicator', 'Indicator', 'Indicator', 'Indicator', 'Organisation', 'Indicator', 'Indicator', 'Organisation', 'Organisation', 'Organisation']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

原始DataFrame:

  Colonne 1   Dimension 1
0  MTN_LI2      Indicator
1  MTN_IRU      Indicator
2  MTN_ACE      Indicator
3  MTN_IME      Indicator
4     RIPP7  Organisation
5    CA_SOT     Indicator
6    CA_OTI     Indicator
7     CNW00  Organisation
8     BSNTF  Organisation
9     RIPNJ  Organisation

场景一：向后填充（bfill）——取下方最近的有效值

如果需求是当 Dimension 1 不是 'Organisation' 时，新列的值应取其下方最近一个 Dimension 1 为 'Organisation' 的行的 Colonne 1 值，我们可以使用 Series.bfill()。

df['new_bfill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).bfill()
print("\n使用 bfill() 的结果:")
print(df)

解释：

1. df['Dimension 1'].eq('Organisation') 生成一个布尔Series，指示哪些行 Dimension 1 等于 'Organisation'。
2. df['Colonne 1'].where(...)：当布尔条件为True时（即 Dimension 1 为 'Organisation'），保留 Colonne 1 的原始值；当条件为False时，将 Colonne 1 的值替换为 NaN。 此时，new_bfill 列将变为：[NaN, NaN, NaN, NaN, 'RIPP7', NaN, NaN, 'CNW00', 'BSNTF', 'RIPNJ']。
3. .bfill()：对这个包含 NaN 的Series进行向后填充。这意味着每个 NaN 值都会被其下方的第一个非 NaN 值填充。
   • 索引0-3的NaN会被索引4的'RIPP7'填充。
   • 索引5-6的NaN会被索引7的'CNW00'填充。
   • 索引7-9的'CNW00', 'BSNTF', 'RIPNJ'保持不变，因为它们不是NaN。

输出结果:

  Colonne 1   Dimension 1 new_bfill
0  MTN_LI2      Indicator     RIPP7
1  MTN_IRU      Indicator     RIPP7
2  MTN_ACE      Indicator     RIPP7
3  MTN_IME      Indicator     RIPP7
4     RIPP7  Organisation     RIPP7
5    CA_SOT     Indicator     CNW00
6    CA_OTI     Indicator     CNW00
7     CNW00  Organisation     CNW00
8     BSNTF  Organisation     BSNTF
9     RIPNJ  Organisation     RIPNJ

场景二：向前填充（ffill）——取上方最近的有效值

如果需求是当 Dimension 1 不是 'Organisation' 时，新列的值应取其上方最近一个 Dimension 1 为 'Organisation' 的行的 Colonne 1 值，我们可以使用 Series.ffill()。

df['new_ffill'] = df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')).ffill()
print("\n使用 ffill() 的结果:")
print(df)

解释：

1. df['Colonne 1'].where(df['Dimension 1'].eq('Organisation')) 步骤与 bfill() 相同，生成包含 NaN 的Series。
2. .ffill()：对这个包含 NaN 的Series进行向前填充。这意味着每个 NaN 值都会被其上方的第一个非 NaN 值填充。
   • 索引0-3的NaN在它们上方没有非NaN值，所以它们将保持为NaN。
   • 索引5-6的NaN会被索引4的'RIPP7'填充。
   • 索引7-9的'CNW00', 'BSNTF', 'RIPNJ'保持不变。

输出结果:

  Colonne 1   Dimension 1 new_bfill new_ffill
0  MTN_LI2      Indicator     RIPP7       NaN
1  MTN_IRU      Indicator     RIPP7       NaN
2  MTN_ACE      Indicator     RIPP7       NaN
3  MTN_IME      Indicator     RIPP7       NaN
4     RIPP7  Organisation     RIPP7     RIPP7
5    CA_SOT     Indicator     CNW00     RIPP7
6    CA_OTI     Indicator     CNW00     RIPP7
7     CNW00  Organisation     CNW00     CNW00
8     BSNTF  Organisation     BSNTF     BSNTF
9     RIPNJ  Organisation     RIPNJ     RIPNJ

注意事项：

• 初始NaN值： 使用 ffill() 时，如果Series的开头部分是 NaN 且其上方没有有效值，这些 NaN 将会保留。同理，使用 bfill() 时，如果Series的末尾部分是 NaN 且其下方没有有效值，这些 NaN 也会保留。根据实际需求，可能需要对这些初始或末尾的 NaN 进行额外的处理（例如，填充一个默认值）。
• 性能： 这种组合方法是Pandas中处理此类问题的向量化、高效方式，尤其适用于大型数据集，远优于使用Python循环或 apply 方法。
• 灵活性： where() 方法可以接受更复杂的布尔条件，而 bfill() 和 ffill() 也可以配合 limit 参数来限制填充的范围。

总结

通过巧妙地结合 Series.where() 和 Series.bfill() / Series.ffill()，我们可以在Pandas中高效地创建依赖于行间关系的条件列。这种方法不仅代码简洁，而且在处理大规模数据时表现出卓越的性能，是Pandas数据操作中非常实用的技巧。理解其工作原理，可以帮助我们解决各种复杂的条件赋值和数据填充问题。

以上就是Pandas中基于条件和行间依赖创建新列的详细内容，更多请关注php中文网其它相关文章！