首页 > 后端开发 > Python教程 > 如何有效地将多个 CSV 文件合并到单个 Pandas DataFrame 中?

如何有效地将多个 CSV 文件合并到单个 Pandas DataFrame 中?

Barbara Streisand
发布: 2024-12-18 08:45:10
原创
373 人浏览过

How Can I Efficiently Combine Multiple CSV Files into a Single Pandas DataFrame?

读取多个 CSV 文件并将其合并到单个 DataFrame

问题场景

任务是将多个 CSV 文件从一个目录读取到 pandas 中,并将它们组合成一个 DataFrame。

pandas方法

Pandas 提供了连接多个数据帧的直观方法:

  • pd.concat(dfs,ignore_index=True):垂直连接数据帧,忽略原始索引。

实施

实现为了获得所需的结果,每个 CSV 文件都会被读入数据帧。然后使用 concat 方法将这些单独的数据帧连接成单个综合数据帧。

代码片段:

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)
登录后复制

附加注释

  • 确保所有 CSV 文件具有相同的列,因为 concat 需要统一的列结构。
  • 考虑添加一列来标识每个数据源,以实现可追溯性。
  • 利用 pathlib 获得更高级的文件处理功能。

以上是如何有效地将多个 CSV 文件合并到单个 Pandas DataFrame 中?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板