在数据分析中，我们经常需要对数据进行分组，然后计算每个组的统计量。然而，有时需求更为复杂：我们不仅要计算统计量，还需要基于组内的某些条件来决定是否应用这些统计量，并将结果赋值回原始数据框的每一行。例如，在一个包含交易记录的数据集中，我们可能需要按用户id和年份分组，计算每个组的平均收益和中位数收益，但仅当某个用户在该年份的活跃月份数达到一定阈值时才计算这些统计量，否则为空。
传统的 groupby().agg() 方法会返回一个聚合后的数据框，其行数少于原始数据框。要将聚合结果“广播”回原始行，通常需要额外的合并操作。而当引入条件判断时，问题会变得更加复杂。Pandas 提供了 transform() 方法，结合 where() 函数，能够优雅地解决这类问题。
首先，我们创建一个示例 Pandas DataFrame，它包含 CALDT (日期)、ID (用户ID) 和 Return (收益) 等列。为了后续操作，我们还会从 CALDT 列中提取年份。
import pandas as pd
import numpy as np
# 创建示例 DataFrame
df = pd.DataFrame(
{"CALDT": ["1980-01-31", "1980-02-28", "1980-03-31",
"1980-01-31", "1980-02-28", "1980-03-31",
"1980-01-31"],
"ID": [1, 1, 1,
2, 2, 2,
3],
"Return": [0.02, 0.05, 0.10,
0.05, -0.02, 0.03,
-0.03]
})
# 将 CALDT 列转换为日期时间类型
df['CALDT'] = pd.to_datetime(df['CALDT'])
# 提取年份，虽然可以直接在groupby中使用，但为了清晰，这里显式创建
df['Year'] = df['CALDT'].dt.year
print("原始 DataFrame:")
print(df)原始 DataFrame 示例输出:
CALDT ID Return Year 0 1980-01-31 1 0.02 1980 1 1980-02-28 1 0.05 1980 2 1980-03-31 1 0.10 1980 3 1980-01-31 2 0.05 1980 4 1980-02-28 2 -0.02 1980 5 1980-03-31 2 0.03 1980 6 1980-01-31 3 -0.03 1980
我们的目标是：对于每个 ID 和 Year 的组合（即每个分组），如果该分组的唯一活跃月份数（通过 CALDT 的唯一值衡量）大于等于2个月，则计算该分组的 Return 的年化平均值（mean * 12）和年化中位数（median * 12），并将这些值赋值回原始数据框的相应行；否则，这些统计量应为 NaN。
解决这个问题的核心在于 groupby() 和 transform() 的结合使用。
首先，我们需要根据 ID 和 Year 对数据进行分组。在 Pandas 中，可以直接在 groupby() 中指定多个列：
# 按 ID 和 Year 分组 g = df.groupby(["ID", df.CALDT.dt.year])
这里，我们直接使用 df.CALDT.dt.year 作为分组键之一，避免了额外创建 Year 列的步骤（如果该列仅用于分组）。
transform() 方法在 groupby() 对象上调用时，会执行聚合操作，但其结果会被“广播”回原始 DataFrame 的形状，即每个分组内的所有行都会获得相同的聚合值。这与 agg() 不同，agg() 返回的是每个分组的单个聚合值。
我们将计算 Return 的平均值和中位数，并乘以 12 进行年化：
# 计算年化平均值和中位数，并使用 transform 广播回原始行
mean_return_transformed = g["Return"].transform("mean").mul(12)
median_return_transformed = g["Return"].transform("median").mul(12)
# 将这些结果组合成一个临时的 DataFrame
return_stats = pd.DataFrame({
"Mean_Return": mean_return_transformed,
"Median_Return": median_return_transformed
})
print("\n初步计算的统计量（未应用条件）:")
print(return_stats)初步计算的统计量示例输出:
Mean_Return Median_Return 0 0.68 0.60 1 0.68 0.60 2 0.68 0.60 3 0.24 0.36 4 0.24 0.36 5 0.24 0.36 6 -0.36 -0.36
可以看到，ID=3 的行也计算出了统计量，但我们希望在不满足条件时显示 NaN。
现在，我们需要实现“如果唯一活跃月份数大于等于2”的条件。我们可以再次利用 transform() 来计算每个分组的唯一 CALDT 值（即唯一月份数）。nunique() 是一个非常有用的聚合函数，用于计算唯一值的数量。
# 计算每个分组的唯一 CALDT 数量，并广播回原始行
unique_months_per_group = g["CALDT"].transform("nunique")
# 创建一个布尔 Series，表示哪些行满足条件 (唯一月份数 >= 2)
condition = unique_months_per_group.ge(2) # .ge() 表示 "greater than or equal to"
# 使用 .where() 方法根据条件性地保留或替换值
# 当 condition 为 False 时，return_stats 中的对应值会被替换为 NaN
return_stats_conditional = return_stats.where(condition)
print("\n应用条件后的统计量:")
print(return_stats_conditional)应用条件后的统计量示例输出:
Mean_Return Median_Return 0 0.68 0.60 1 0.68 0.60 2 0.68 0.60 3 0.24 0.36 4 0.24 0.36 5 0.24 0.36 6 NaN NaN
现在，ID=3 的行由于只有一个唯一月份（1980-01-31），其统计量被正确地设置为 NaN。
最后一步是将计算出的条件性统计量合并回原始的 df 数据框。由于 return_stats_conditional 已经与 df 具有相同的索引，我们可以直接使用 join() 方法。
# 将条件性统计量合并回原始 DataFrame
df_final = df.join(return_stats_conditional)
print("\n最终结果 DataFrame:")
print(df_final)最终结果 DataFrame 示例输出:
CALDT ID Return Year Mean_Return Median_Return 0 1980-01-31 1 0.02 1980 0.68 0.60 1 1980-02-28 1 0.05 1980 0.68 0.60 2 1980-03-31 1 0.10 1980 0.68 0.60 3 1980-01-31 2 0.05 1980 0.24 0.36 4 1980-02-28 2 -0.02 1980 0.24 0.36 5 1980-03-31 2 0.03 1980 0.24 0.36 6 1980-01-31 3 -0.03 1980 NaN NaN
这与我们期望的输出完全一致。
将上述步骤整合在一起，形成一个完整的解决方案：
import pandas as pd
import numpy as np
# 1. 数据准备
df = pd.DataFrame(
{"CALDT": ["1980-01-31", "1980-02-28", "1980-03-31",
"1980-01-31", "1980-02-28", "1980-03-31",
"1980-01-31"],
"ID": [1, 1, 1,
2, 2, 2,
3],
"Return": [0.02, 0.05, 0.10,
0.05, -0.02, 0.03,
-0.03]
})
df['CALDT'] = pd.to_datetime(df['CALDT'])
df['Year'] = df['CALDT'].dt.year # 显式创建Year列，方便理解，也可直接在groupby中使用dt.year
print("--- 原始 DataFrame ---")
print(df)
print("-" * 30)
# 2. 分组并计算条件性统计量
# 创建分组对象
g = df.groupby(["ID", df.CALDT.dt.year])
# 使用 transform 计算年化平均值和中位数，并广播回原始行
return_stats = pd.DataFrame({
"Mean_Return": g["Return"].transform("mean").mul(12),
"Median_Return": g["Return"].transform("median").mul(12)
})
# 计算每个分组的唯一 CALDT 数量，并广播回原始行
# 然后创建条件：唯一 CALDT 数量 >= 2
condition_met = g["CALDT"].transform("nunique").ge(2)
# 使用 .where() 方法根据条件性地保留或替换统计量
# 当 condition_met 为 False 时，return_stats 中的对应值会被替换为 NaN
return_stats_conditional = return_stats.where(condition_met)
print("--- 应用条件后的统计量 DataFrame ---")
print(return_stats_conditional)
print("-" * 30)
# 3. 合并结果到原始 DataFrame
df_final = df.join(return_stats_conditional)
print("--- 最终结果 DataFrame ---")
print(df_final)通过本教程，您应该已经掌握了如何使用 Pandas 的 groupby()、transform() 和 where() 方法，灵活高效地处理数据框中复杂的条件性分组计算任务。这种模式在金融、经济、科学计算等领域的数据分析中非常常见。
以上就是使用 Pandas 实现分组数据框的条件性行级别统计计算的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 //m.sbmmt.com/ All Rights Reserved | php.cn | 湘ICP备2023035733号
142
收藏
