Comment puis-je combiner efficacement plusieurs fichiers CSV dans un seul DataFrame Pandas ?

Lecture et combinaison de plusieurs fichiers CSV dans un seul DataFrame

Scénario de problème

La tâche consiste à lire plusieurs fichiers CSV d'un répertoire dans pandas et combinez-les en un seul DataFrame.

pandas Méthodologies

Pandas propose des méthodes intuitives pour concaténer plusieurs dataframes :

• pd.concat(dfs, ignore_index=True) : concatène les dataframes verticalement, en ignorant l'index d'origine.

Mise en œuvre

Pour atteindre le résultat souhaité, chacun Le fichier CSV est lu dans une trame de données. La méthode concat est ensuite utilisée pour concaténer ces dataframes individuelles en un seul DataFrame complet.

Extrait de code :

import glob
import pandas as pd

path = r'C:\DRO\DCL_rawdata_files'
filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
    dfs.append(pd.read_csv(filename, header=0))

big_frame = pd.concat(dfs, ignore_index=True)

print(big_frame)

Notes supplémentaires

• Assurez-vous que tous les fichiers CSV ont les mêmes colonnes, car concat nécessite une colonne uniforme structure.
• Envisagez d'ajouter une colonne pour identifier chaque source de données à des fins de traçabilité.
• Utilisez pathlib pour des capacités de gestion de fichiers plus avancées.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!