首頁 > 後端開發 > Python教學 > 如何有效地將多個 CSV 檔案合併到單一 Pandas DataFrame 中?

如何有效地將多個 CSV 檔案合併到單一 Pandas DataFrame 中?

Barbara Streisand
發布: 2024-12-18 08:45:10
原創
373 人瀏覽過

How Can I Efficiently Combine Multiple CSV Files into a Single Pandas DataFrame?

讀取多個CSV 檔案並將其合併到單一DataFrame

問題場景

任務是將多個CSV 檔案從一個目錄讀取取到pandas 中,並將它們組合成一個DataFrame。

pandas方法

Pandas 提供了連接多個資料幀的直覺方法:

  • pd.concat(dfs,ignore_index=True):垂直連接資料幀,忽略原始索引。

實作

實現為了獲得所需的結果,每個 CSV 檔案都會被讀入資料幀。然後使用 concat 方法將這些單獨的資料幀連接成單一綜合資料幀。

程式碼片段:

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)
登入後複製

附加註解

  • 確保所有CSV 檔案具有相同的列,因為concat 需要統一的列結構。
  • 考慮新增一列來識別每個資料來源,以實現可追溯性。
  • 利用 pathlib 獲得更進階的檔案處理功能。

以上是如何有效地將多個 CSV 檔案合併到單一 Pandas DataFrame 中?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板