複数の CSV ファイルを単一の Pandas DataFrame に効率的に結合するにはどうすればよいですか?

複数の CSV ファイルを読み取り、単一の DataFrame に結合する

問題のシナリオ

タスクは、ディレクトリから複数の CSV ファイルをパンダに読み取り、それらを 1 つの DataFrame に結合します。

pandas方法論

Pandas は、複数のデータフレームを連結するための直感的な方法を提供します。

• pd.concat(dfs,ignore_index=True): 元のインデックスを無視して、データフレームを垂直に連結します。

実装

目的を達成するためその結果、各 CSV ファイルがデータフレームに読み込まれます。次に、concat メソッドを利用して、これらの個々のデータフレームを単一の包括的なデータフレームに連結します。

コード スニペット:

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)

補足事項

• concat には均一な列が必要なため、すべての CSV ファイルに同じ列があることを確認してください。構造。
• 追跡可能性を目的として、各データ ソースを識別する列を追加することを検討してください。
• より高度なファイル処理機能については、pathlib を利用してください。

以上が複数の CSV ファイルを単一の Pandas DataFrame に効率的に結合するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。