如何使用Python中的Pandas按特定列合并两个CSV文件?

PHPz
发布: 2023-09-08 14:01:02
转载
1538 人浏览过

如何使用Python中的Pandas按特定列合并两个CSV文件?

CSV(逗号分隔值)文件广泛用于以简单格式存储和交换数据。在许多数据处理任务中,需要基于特定列合并两个或多个CSV文件。幸运的是,这可以使用 Python 中的 Pandas 库轻松实现。

在本文中,我们将学习如何使用 Python 中的 Pandas 按特定列合并两个 CSV 文件。

什么是 Pandas 库?

Pandas 是一个用于 Python 信息控制和检查的开源库。它提供了用于处理结构化数据(例如表格、时间序列和多维数据)以及高性能数据结构的工具。 Pandas 广泛应用于金融、数据科学、机器学习和其他需要数据操作的领域。

在 Python 中按特定列合并两个 CSV 文件的步骤

以下是使用 Pandas 库在 Python 中按特定列合并两个 CSV 文件的完整步骤 -

第 1 步:导入 Pandas 库

合并两个 CSV 文件的第一步是导入 pandas 库。 Pandas 是一个强大的 Python 数据分析库。它提供了用于有效存储和操作大型数据集的数据结构。要使用 Pandas,我们首先需要将其导入到 Python 程序中。我们可以使用以下命令来做到这一点 -

import pandas as pd
登录后复制

第 2 步:读取 CSV 文件

我们的下一步是读取我们想要合并的两个 CSV 文件。我们可以使用 Pandas 的 read_csv() 函数将 CSV 文件读取到 Pandas DataFrame 中。我们需要提供 CSV 文件的文件路径或 URL 作为 read_csv() 函数的参数。例如 -

df1 = pd.read_csv('file1.csv')
df2 = pd.read_csv('file2.csv')
登录后复制

第 3 步:合并 CSV 文件

将 CSV 文件读入 Pandas DataFrames 后,现在是时候使用 merge() 函数根据特定列合并它们了。 merge() 函数将两个 DataFrame 作为输入,并基于公共列将它们合并。这是基本语法 -

merged_df = pd.merge(df1, df2, on='column_name')
登录后复制

在此示例中,merged_df 是新的 DataFrame,其中包含 df1 和 df2 的合并数据。 on 参数指定合并两个 DataFrame 的公共列的名称。

例如,假设我们有两个 CSV 文件 sales.csv 和customers.csv。这两个文件都包含名为 CustomerID 的列。我们希望根据 CustomerID 列合并两个文件。我们可以这样做 -

sales = pd.read_csv('sales.csv')
customers = pd.read_csv('customers.csv')
merged_df = pd.merge(sales, customers, on='CustomerID')
登录后复制

第 4 步:处理缺失值(如果有)

根据特定列合并两个 CSV 文件时,合并后的 DataFrame 中可能会缺少值。如果其中一个 CSV 文件的相应列中没有匹配的值,则可能会出现这些缺失值。

为了处理缺失值,我们可以使用 Pandas 的 fillna() 函数将其替换为默认值或计算值。例如,我们可以使用以下代码将缺失值替换为字符串“Unknown” -

merged_df.fillna('Unknown', inplace=True)
登录后复制

在此示例中,我们使用 fillna() 函数将合并的 DataFrame 中的缺失值替换为字符串“Unknown”。我们还指定了 inplace 参数为 True,这意味着将修改原始 DataFrame,而不是创建新的 DataFrame。

示例 1:使用 Merge() 函数

在此示例中,我们将使用 Pandas 的 merge() 函数根据特定列合并两个 CSV 文件。

CSV Files
登录后复制
登录后复制

假设我们有两个 CSV 文件:employees.csv 和 Departments.csv。 Employees.csv 文件包含以下数据 -

员工ID 姓名 部门ID 薪资
1 约翰 1 50000
2 莎拉 2 60000
3 大卫 1 55000
4 亚历克斯 3 65000
5 艾米丽 2 55000

departments.csv 文件包含以下数据 -

部门ID 部门名称
1 IT
2 销售
3 营销
4 人力资源

示例

import pandas as pd

# Load CSV Files
employees = pd.read_csv('employees.csv')
departments = pd.read_csv('departments.csv')

# Merge dataframes based on DepartmentID column
merged_df = pd.merge(employees, departments, on='DepartmentID')

# Print merged dataframe
print(merged_df.head())

# Save merged dataframe to a new CSV file
merged_df.to_csv('merged_employees_departments.csv', index=False)
登录后复制

输出

   EmployeeID   Name  DepartmentID  Salary DepartmentName
0           1   John             1   50000             IT
1           3  David             1   55000             IT
2           2  Sarah             2   60000          Sales
3           5  Emily             2   55000          Sales
4           4   Alex             3   65000      Marketing
登录后复制

示例 2:使用 Join() 函数

在本例中,我们将使用 Pandas 的 join() 方法根据特定列合并两个 CSV 文件。

CSV Files
登录后复制
登录后复制

假设我们有两个 CSV 文件:orders.csv 和customers.csv。 order.csv 文件包含以下数据 -

订单ID 客户ID 订单日期 总金额
1 1 2022-05-01 100.0
2 3 2022-05-02 150.0
3 2 2022-05-03 200.0
4 1 2022-05-04 75.0
5 4 2022-05-05 120.0

customers.csv 文件包含以下数据 -

客户ID 客户名称 电子邮件
1 约翰 john@example.com
2 莎拉 sarah@example.com
3 大卫 david@example.com
4 艾米丽 emily@example.com

示例

import pandas as pd

# Load CSV files
orders = pd.read_csv('orders.csv')
customers = pd.read_csv('customers.csv')

# Join dataframes based on CustomerID column
joined_df = orders.set_index('CustomerID').join(customers.set_index('CustomerID'))

# Print joined dataframe
print(joined_df.head())

# Save joined dataframe to a new CSV file
joined_df.to_csv('joined_orders_customers.csv')
登录后复制

输出

            OrderID   OrderDate  TotalAmount CustomerName              Email
CustomerID                                                                  
1                 1  2022-05-01        100.0         John   john@example.com
1                 4  2022-05-04         75.0         John   john@example.com
2                 3  2022-05-03        200.0        Sarah  sarah@example.com
3                 2  2022-05-02        150.0        David  david@example.com
4                 5  2022-05-05        120.0        Emily  emily@example.com
登录后复制

使用 Pandas 的 merge() 函数,我们根据本例中的“id”列合并了两个 CSV 文件。作为合并两个 CSV 文件的结果的 DataFrame 除了“name_x”、“email_x”、“name_y”和“email_y”列之外还包括“id”列。

请注意,“name_y”和“email_y”段的组合 DataFrame 中缺少值,这些值与第二个 CSV 记录中没有匹配质量的行相关。如上一步所示,Pandas fillna() 和 dropna() 函数可用于处理这些缺失值。

结论

基于特定列合并两个 CSV 文件是一项常见的数据处理任务,可以使用 Python 中的 Pandas 库轻松实现。在本文中,我们学习了如何使用 Pandas 的 merge() 函数合并两个 CSV 文件。我们还讨论了如何处理缺失值以及如何将合并的 DataFrame 保存到新的 CSV 文件。

以上是如何使用Python中的Pandas按特定列合并两个CSV文件?的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
来源:tutorialspoint.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!