Pandas中如何实现数据的多级分组聚合？复杂分析技巧-Python教程-PHP中文网

在pandas中实现多级分组聚合的核心方法是使用groupby()并传入多个列名列表，随后调用聚合函数。1. 创建或加载包含多个分类列和数值列的数据；2. 使用groupby(['列名1', '列名2'])指定多级分组键；3. 通过sum()、mean()等函数进行统一聚合，或使用agg()方法实现更灵活的聚合逻辑，如对不同列应用不同函数或自定义函数；4. 聚合结果可通过reset_index()扁平化索引、unstack()进行数据透视，或使用loc进行层次化数据选择，以便后续分析。

Pandas中如何实现数据的多级分组聚合？复杂分析技巧

Pandas中实现数据的多级分组聚合，核心在于

groupby()

登录后复制

方法。你只需将需要作为分组依据的多个列名以列表的形式传递给它，然后链式调用各种聚合函数，如

sum()

登录后复制

、

mean()

登录后复制

、

count()

登录后复制

，或者使用更灵活的

agg()

登录后复制

方法来应用多种聚合操作。这种方式能让你从不同维度、不同层级深入挖掘数据，发现单层分组难以察觉的模式和洞察。

解决方案

多级分组聚合的核心步骤包括：

创建或加载数据： 准备一个包含需要分析的多个分类列和数值列的DataFrame。
指定多级分组键： 将作为分组依据的列名放入一个Python列表中，传递给
```
df.groupby()
```
登录后复制
。
选择聚合列并应用聚合函数： 在
```
groupby
```
登录后复制
对象上直接调用聚合函数（如
```
.sum()
```
登录后复制
、
```
.mean()
```
登录后复制
），或者使用
```
.agg()
```
登录后复制
方法进行更复杂的聚合操作。

这里是一个具体的例子：

假设我们有一个销售数据，包含区域（Region）、产品类别（Product_Category）、销售额（Sales）和数量（Quantity）。我们想按区域和产品类别来统计总销售额和平均销售数量。

import pandas as pd
import numpy as np

# 模拟数据
data = {
    'Region': ['North', 'South', 'North', 'East', 'South', 'North', 'East', 'West', 'North', 'South'],
    'Product_Category': ['Electronics', 'Clothing', 'Electronics', 'Books', 'Electronics', 'Books', 'Clothing', 'Electronics', 'Books', 'Clothing'],
    'Sales': [1200, 800, 1500, 300, 900, 450, 600, 1000, 700, 550],
    'Quantity': [5, 3, 7, 2, 4, 3, 2, 5, 4, 3]
}
df = pd.DataFrame(data)

# 多级分组并聚合
# 方法一：直接调用聚合函数（适用于所有数值列应用相同聚合）
# grouped_df_simple = df.groupby(['Region', 'Product_Category']).sum()
# print("简单聚合结果:\n", grouped_df_simple)

# 方法二：使用agg()进行更灵活的聚合
# 针对特定列应用不同函数，并可以重命名结果列
grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(
    total_sales=('Sales', 'sum'),           # 计算销售额总和，并命名为total_sales
    average_quantity=('Quantity', 'mean'),  # 计算数量平均值，并命名为average_quantity
    num_transactions=('Sales', 'count')     # 计算每个组的交易次数
)
print("复杂聚合结果:\n", grouped_df_complex)

# 如果想对所有数值列应用多个聚合函数
# grouped_all_multi_agg = df.groupby(['Region', 'Product_Category']).agg(['sum', 'mean', 'count'])
# print("\n所有数值列多函数聚合结果:\n", grouped_all_multi_agg)

登录后复制

这段代码首先创建了一个示例DataFrame。然后，通过

df.groupby(['Region', 'Product_Category'])

登录后复制

指定了“区域”和“产品类别”作为两级分组的依据。接着，

agg()

登录后复制

方法被用来定义具体的聚合操作：计算每个组的总销售额（

total_sales

登录后复制

）、平均销售数量（

average_quantity

登录后复制

）以及交易次数（

num_transactions

登录后复制

）。这种方式不仅灵活，还能清晰地为聚合后的列命名。

为什么常规的单层分组聚合无法满足复杂分析需求？

我个人在数据探索时，就经常发现，单一维度的聚合往往只是冰山一角，真正有价值的洞察，往往藏在多维度的交叉审视里。试想一下，如果我只按“区域”来统计总销售额，我能知道哪个区域卖得最好，但却无法得知在这个区域里，具体是哪类产品贡献了大部分销售，或者哪些产品表现不佳。这种信息缺失，就导致了决策上的盲区。

单层分组就像你只看一张地图的某个局部，而多级分组则提供了不同缩放级别的视角。比如，你可能发现“北方”区域的总销售额很高，这听起来不错。但如果进一步按“产品类别”分组，你可能会惊奇地发现，北方区域的销售额主要是由“电子产品”贡献的，而“图书”类别在这个区域的销售却非常惨淡。这种细致入微的发现，是单层聚合无法提供的。它揭示了数据背后的层次结构和更深层次的业务问题，比如北方区域的图书销售策略可能需要调整，或者电子产品有更大的市场潜力。这种层次化的信息，是构建复杂业务模型、进行精准营销或优化供应链的关键。

如何在多级分组中应用不同的聚合函数或自定义聚合逻辑？

这就像你在厨房里做菜，不是所有食材都只用一种烹饪方法，有些需要蒸，有些需要炒，聚合也是如此，得按需定制。Pandas的

agg()

登录后复制

方法在这方面提供了极大的灵活性。你可以针对不同的列应用不同的聚合函数，甚至对同一列应用多个函数，或者定义你自己的聚合逻辑。

为不同列应用不同聚合函数： 这是最常见的需求。比如，我们想看每个区域-产品组合的总销售额和平均数量。

# 继续使用之前的df
agg_result = df.groupby(['Region', 'Product_Category']).agg(
    total_sales=('Sales', 'sum'),
    avg_quantity=('Quantity', 'mean')
)
print("\n不同列应用不同函数:\n", agg_result)

登录后复制

对同一列应用多个聚合函数： 有时候，我们想从多个角度审视一个指标。例如，除了总销售额，我们还想知道每个分组的销售额最大值和最小值。

multi_func_on_one_col = df.groupby(['Region', 'Product_Category']).agg(
    sales_sum=('Sales', 'sum'),
    sales_max=('Sales', 'max'),
    sales_min=('Sales', 'min')
)
print("\n同一列应用多个函数:\n", multi_func_on_one_col)

登录后复制

或者更简洁地，直接传递函数列表：

multi_func_list = df.groupby(['Region', 'Product_Category'])['Sales'].agg(['sum', 'mean', 'max'])
print("\n对单列直接应用函数列表:\n", multi_func_list)

登录后复制

使用自定义聚合函数： 如果Pandas内置的聚合函数无法满足你的需求，你可以定义自己的Python函数，并将其传递给
agg()
登录后复制
登录后复制
登录后复制
登录后复制
登录后复制
。这个函数会接收一个Series作为输入（即每个分组的某列数据），并返回一个单一值。
```
# 定义一个自定义函数，例如计算销售额的标准差与平均值的比率
def sales_variation_ratio(series):
    if series.mean() == 0:
        return 0
    return series.std() / series.mean()

custom_agg_result = df.groupby(['Region', 'Product_Category']).agg(
    total_sales=('Sales', 'sum'),
    sales_ratio=('Sales', sales_variation_ratio) # 使用自定义函数
)
print("\n使用自定义聚合函数:\n", custom_agg_result)
```
登录后复制
这种灵活性使得
agg()
登录后复制
登录后复制
登录后复制
登录后复制
登录后复制
成为处理复杂聚合任务的利器，它远不止是简单的求和或求平均。

多级分组聚合后如何进行数据透视或进一步的层次化分析？

处理完多级聚合的结果，我常会发现，原始的MultiIndex虽然强大，但视觉上并不总是那么直观。这时候，透视一下或者干脆扁平化，往往能让数据“说话”更清晰。聚合后的DataFrame通常会带有一个MultiIndex（多级索引），这在进行后续的层次化分析时非常有用。

扁平化索引：

reset_index()

登录后复制

这是最常用的操作之一。它将MultiIndex转换为普通的列，使DataFrame回到一个更“平坦”的结构，方便导出到CSV或进行其他非层次化的操作。

# 假设我们有之前的grouped_df_complex
# grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(
#     total_sales=('Sales', 'sum'),
#     average_quantity=('Quantity', 'mean'),
#     num_transactions=('Sales', 'count')
# )

flattened_df = grouped_df_complex.reset_index()
print("\n扁平化后的DataFrame:\n", flattened_df)

登录后复制

这会把

Region

登录后复制

和

Product_Category

登录后复制

从索引变成普通的数据列。

数据透视：
unstack()
登录后复制
登录后复制
登录后复制
登录后复制
当你的MultiIndex结果需要进行交叉表式的展示时，
unstack()
登录后复制
登录后复制
登录后复制
登录后复制
就显得非常有用。它能将MultiIndex的一个或多个级别“旋转”成列。
```
# 将Product_Category从索引级别旋转到列
pivoted_df = grouped_df_complex.unstack(level='Product_Category')
print("\n透视后的DataFrame (unstack):\n", pivoted_df)

# unstack后，列名会变成MultiIndex，可以进一步扁平化
# pivoted_df.columns = ['_'.join(col).strip() for col in pivoted_df.columns.values]
# print("\n透视并扁平化列名:\n", pivoted_df)
```
登录后复制
unstack()
登录后复制
登录后复制
登录后复制
登录后复制
操作会将
```
Product_Category
```
登录后复制
登录后复制
的每个唯一值变成新的列名，非常适合制作汇总表格。注意，
unstack()
登录后复制
登录后复制
登录后复制
登录后复制
后，列名本身也可能变成MultiIndex，这需要根据后续分析需求进行处理（例如，使用列表推导式来扁平化列名）。

层次化选择数据：

loc

登录后复制

与切片 即使不扁平化或透视，MultiIndex也允许你进行非常精细的层次化数据选择。

# 选择某个特定区域的所有产品类别数据
north_data = grouped_df_complex.loc['North']
print("\n选择'North'区域的数据:\n", north_data)

# 选择某个特定区域的特定产品类别数据
north_electronics_data = grouped_df_complex.loc[('North', 'Electronics')]
print("\n选择'North'区域'Electronics'类别的数据:\n", north_electronics_data)

# 使用切片选择多个区域或产品类别（需要排序索引）
# grouped_df_complex_sorted = grouped_df_complex.sort_index()
# print("\n排序后的数据（切片需要）:\n", grouped_df_complex_sorted)
# slice_data = grouped_df_complex_sorted.loc[('North':'South', 'Books':'Electronics'), :]
# print("\n切片选择数据:\n", slice_data)

登录后复制

通过这些操作，你可以在保持数据层次结构的同时，灵活地展现和分析多级分组聚合的结果，为后续的数据可视化或更深层的统计建模打下基础。

以上就是Pandas中如何实现数据的多级分组聚合？复杂分析技巧的详细内容，更多请关注php中文网其它相关文章！