Comment utiliser Python pour le nettoyage des données ?

Dans le domaine de l'analyse des données, le nettoyage des données est un maillon très important. Le nettoyage des données comprend l'identification et la correction d'éventuelles erreurs dans les données, la caractérisation et le traitement des informations manquantes ou invalides, etc. En Python, il existe de nombreuses bibliothèques qui peuvent nous aider à nettoyer les données. Ensuite, nous présenterons comment utiliser Python pour le nettoyage des données.

1. Chargement de données

En Python, vous pouvez utiliser la bibliothèque pandas pour charger des données. Bien entendu, le type de données doit être vérifié avant le nettoyage des données. Pour les fichiers CSV, la fonction read_csv() de pandas peut nous aider à charger facilement des données :

importer des pandas en tant que pd

data = pd.read_csv('data.csv')

Si les données sont un fichier Excel, utilisez read_excel ( )fonction. Si les données proviennent d'une base de données relationnelle, utilisez SQLAlchemy ou un autre package de base de données pour obtenir les données.

2. Identifier les erreurs de données

La première étape du nettoyage des données consiste à identifier les erreurs de données. Les erreurs de données incluent :

1. Valeurs manquantes

Il est très courant d'avoir des valeurs manquantes dans vos données. Nous pouvons utiliser la fonction isnull() ou notnull() de la bibliothèque pandas pour détecter s'il y a des valeurs manquantes dans les données :

data.isnull()
data.notnull()

2. Outliers

Outliers sont des données irrégulières, ne correspondent pas à d’autres points de données de l’ensemble de données. Les valeurs aberrantes peuvent être détectées à l'aide de méthodes statistiques, telles que la division des données en quartiles, la suppression de points de données supérieurs à une certaine valeur d'écart type, etc. Bien entendu, vous pouvez également utiliser des méthodes de visualisation telles que les diagrammes en boîte et les nuages ​​de points pour détecter les valeurs aberrantes.

3. Données en double

Les données en double signifient que plusieurs enregistrements dans les données affichent la même valeur de données. Vous pouvez utiliser les fonctions duplicated() et drop_duplicates() de la bibliothèque pandas pour détecter et supprimer les données en double.

data.duplicate()
data.drop_duplicates()

3. Nettoyage des données

Après avoir identifié les erreurs de données, l'étape suivante est le nettoyage des données. Le nettoyage des données comprend les étapes suivantes :

1. Remplir les valeurs nulles

Lorsqu'il manque des valeurs dans les données, une approche consiste à supprimer ces enregistrements directement. Cependant, la suppression d'enregistrements peut affecter l'intégrité de vos données. Par conséquent, nous pouvons utiliser la fonction fillna() pour remplacer les valeurs nulles par des valeurs moyennes, médianes ou autres valeurs spéciales :

data.fillna(value=10,inplace=True)

2. Supprimer les valeurs nulles

Nous pouvons Utilisez la fonction dropna() pour supprimer les valeurs nulles des données :

data.dropna()

3. Remplacer les valeurs aberrantes

Si les valeurs aberrantes créées conduisent à une analyse inexacte de l'ensemble de données, nous pouvons envisager de les supprimer valeur des anomalies ; si la suppression affectait l'utilité des données, nous pourrions envisager de remplacer les valeurs aberrantes par des estimations plus précises :

data.quantile(0.95)
data[(data < data.quantile(0.95)).all (axis =1)]

4. Enregistrez les données nettoyées

Après avoir terminé le nettoyage des données, nous devons enregistrer les données. Vous pouvez utiliser les fonctions to_csv() et to_excel() de la bibliothèque pandas pour enregistrer des données dans un fichier CSV ou Excel :

data.to_csv('cleaned_data.csv')
data.to_excel('cleaned_data.xlsx')

5. Conclusion

Dans le domaine de l'analyse des données, le nettoyage des données est un maillon très important. Nous pouvons utiliser les bibliothèques Python et pandas pour le nettoyage des données. Le nettoyage des données comprend l'identification et le nettoyage des erreurs de données, l'identification des valeurs nulles et des valeurs aberrantes, ainsi que le nettoyage des données. Une fois le nettoyage des données terminé, nous pouvons enregistrer les données dans un fichier pour une analyse et une visualisation plus approfondies.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!