Pandas DataFrame条件赋值：列表推导与apply函数的进阶使用-Python教程-PHP中文网

Pandas DataFrame条件赋值：列表推导与apply函数的进阶使用

心靈之曲

发布： 2025-08-17 12:50:22

原创

311人浏览过

Pandas DataFrame条件赋值：列表推导与apply函数的进阶使用

本文旨在解决在Pandas DataFrame中基于多列条件创建新列时的常见语法错误，并探讨处理复杂条件逻辑的最佳实践。我们将首先纠正列表推导中迭代多列的正确语法，即使用zip函数。随后，针对涉及多个elif类型复杂条件的场景，我们将详细介绍如何利用apply方法结合自定义函数，以提高代码的可读性和可维护性。

在数据处理中，根据现有列的值创建或修改新列是pandas dataframe的常见操作。当需要基于多列的组合条件来决定新列的值时，开发者可能会倾向于使用列表推导（list comprehension）。然而，在使用列表推导同时迭代多列时，常常会遇到语法错误。

1. 修正列表推导中多列迭代的语法

当尝试在列表推导中同时迭代DataFrame的多列时，直接将多个Series对象放置在for循环的in关键字之后是错误的语法。正确的做法是使用Python内置的zip函数，它能将多个可迭代对象打包成一个元组的迭代器，从而允许我们同时遍历这些对象。

错误示例回顾：

names_df['Surname'] = [
    'MISSING' if i != '' and j == '' else j
    for i, j in names_df['Name Entry 1'], names_df['Name Entry 2'] # 错误：不能直接用逗号分隔多个Series
]

登录后复制

上述代码的错误在于for i, j in names_df['Name Entry 1'], names_df['Name Entry 2']这一部分。Python的列表推导不支持直接通过逗号分隔多个Series来进行并行迭代。

正确使用zip函数：

zip函数可以将多个可迭代对象（如Pandas Series）的对应元素打包成一个个元组，然后返回一个由这些元组组成的迭代器。这样，在列表推导中就可以通过解包这些元组来同时获取多列的值。

import pandas as pd

# 示例数据
data = {'Name Entry 1': ['John', '', 'Jane', 'Mike'],
        'Name Entry 2': ['Doe', 'Smith', '', 'Johnson']}
names_df = pd.DataFrame(data)

# 使用zip函数修正列表推导
names_df['Surname'] = [
    'MISSING' if i != '' and j == '' else j
    for i, j in zip(names_df['Name Entry 1'], names_df['Name Entry 2'])
]

print("使用zip修正后的DataFrame：")
print(names_df)

登录后复制

输出：

使用zip修正后的DataFrame：
  Name Entry 1 Name Entry 2  Surname
0         John          Doe      Doe
1                     Smith    Smith
2         Jane        MISSING  MISSING
3         Mike      Johnson  Johnson

登录后复制

这种方法对于简单的条件判断非常简洁高效。然而，当条件逻辑变得复杂，涉及多个elif分支时，列表推导的可读性会迅速下降。

2. 利用apply()方法处理复杂条件逻辑

对于包含多个条件分支（类似if-elif-else结构）的场景，将逻辑封装在一个独立的函数中，并结合Pandas DataFrame的apply()方法是更推荐的做法。这种方法显著提升了代码的可读性、可维护性和扩展性。

实现步骤：

定义一个函数： 该函数将接收DataFrame的每一行作为输入（通常命名为row），并在函数内部通过row['ColumnName']的方式访问当前行的各个列的值。
在函数内部实现复杂的条件逻辑： 使用if-elif-else结构来判断并返回所需的值。
使用df.apply()方法： 将定义好的函数应用到DataFrame的每一行，并指定axis=1，表示按行进行操作。

示例代码：

import pandas as pd

# 示例数据
data = {'Name Entry 1': ['John', '', 'Jane', 'Mike', 'Emily'],
        'Name Entry 2': ['Doe', 'Smith', '', 'Johnson', '']}
names_df = pd.DataFrame(data)

def determine_surname(row):
    """
    根据'Name Entry 1'和'Name Entry 2'的值决定'Surname'。
    可以根据需要添加更多条件。
    """
    if row['Name Entry 1'] != '' and row['Name Entry 2'] == '':
        return 'MISSING'
    elif row['Name Entry 1'] == '' and row['Name Entry 2'] != '':
        return row['Name Entry 2'] # 例如：如果Entry 1为空但Entry 2不为空，则使用Entry 2
    # 添加更多elif条件...
    else:
        return row['Name Entry 2'] # 默认情况

names_df['Surname_Applied'] = names_df.apply(determine_surname, axis=1)

print("\n使用apply和自定义函数后的DataFrame：")
print(names_df)

登录后复制

输出：

使用apply和自定义函数后的DataFrame：
  Name Entry 1 Name Entry 2 Surname_Applied
0         John          Doe             Doe
1                     Smith           Smith
2         Jane        MISSING         MISSING
3         Mike      Johnson         Johnson
4        Emily        MISSING         MISSING

登录后复制

apply()方法的优势：

可读性： 将复杂的逻辑封装在命名清晰的函数中，使代码意图一目了然。
可维护性： 当需要修改或添加新的条件时，只需修改函数内部逻辑，而不必改动整个列表推导或多次嵌套的条件表达式。
模块化： 可以将常用的逻辑函数定义为独立的工具函数，方便在不同场景下复用。
灵活性： 函数内部可以执行更复杂的操作，例如调用其他函数、进行数据类型转换等，而不仅仅是简单的条件判断。

总结与最佳实践

在Pandas中基于多列条件创建新列时，选择合适的方法至关重要：

对于简单、单一的条件判断： 修正后的列表推导（结合zip函数）提供了一种简洁高效的解决方案。
对于复杂、多分支的条件逻辑： 强烈推荐使用df.apply()方法结合自定义函数。这种方法牺牲了一点点性能（相对于向量化操作），但极大地提高了代码的可读性、可维护性和扩展性，尤其是在实际项目中，代码的清晰度往往比极致的性能更为重要。

在处理大型数据集时，如果性能是首要考虑因素，并且条件逻辑可以通过数值操作或简单的布尔条件组合表达，可以考虑使用Pandas的向量化操作，如np.where或np.select（需要导入NumPy），它们通常比apply更快。然而，对于涉及字符串操作或复杂业务逻辑的场景，apply结合自定义函数仍然是兼顾效率与可读性的优秀选择。

以上就是Pandas DataFrame条件赋值：列表推导与apply函数的进阶使用的详细内容，更多请关注php中文网其它相关文章！