Outil de nettoyage des données : conseils pratiques pour supprimer les données de lignes dans les pandas

Le nettoyage des données est l'un des aspects importants de l'analyse des données. Il existe souvent des lignes de données invalides ou erronées dans les données. Ces données peuvent être causées par des erreurs de saisie, des pannes du système ou d'autres raisons. Pendant le processus d'analyse des données, nous devons nettoyer ces données invalides pour garantir l'exactitude des résultats de l'analyse. Pandas est un outil puissant pour le traitement et l'analyse des données en Python. Il fournit une multitude de fonctions et de méthodes pour traiter les données. Certaines compétences pratiques peuvent nous aider à supprimer les données de lignes invalides.

1. Supprimer les données de ligne contenant des valeurs manquantes
Dans les données réelles, des valeurs manquantes se produisent souvent, c'est-à-dire que la valeur de certains champs est NaN (Pas un nombre). Si nous ne traitons pas ces lignes de données, les résultats des analyses ultérieures seront inexacts. Pandas fournit la méthode dropna() pour supprimer les lignes contenant des valeurs manquantes.

Exemple de code spécifique :

import pandas as pd

# 创建一个DataFrame
data = {'Name': ['Tom', 'Nick', 'John', 'Alex'],
        'Age': [20, None, 25, 30],
        'Gender': ['M', 'M', None, 'M']}
df = pd.DataFrame(data)

# 删除含有缺失值的行数据
df.dropna(inplace=True)

print(df)

Résultat d'exécution :

  Name   Age Gender
0  Tom  20.0      M

Dans l'exemple ci-dessus, nous avons créé un DataFrame contenant des valeurs manquantes et utilisé la méthode dropna() pour supprimer les données de ligne contenant des valeurs manquantes. Le paramètre inplace=True de la méthode dropna() permet de modifier le DataFrame d'origine sans renvoyer un nouveau DataFrame. Dans les résultats en cours d'exécution, nous pouvons voir que les données de ligne contenant des valeurs manquantes ont été supprimées.

2. Supprimer les données de ligne qui remplissent les conditions
Dans certains cas, nous pouvons souhaiter supprimer uniquement les données de ligne qui répondent à des conditions spécifiques. Pandas fournit une variété de méthodes pour répondre à cette exigence, comme l'utilisation d'index booléens, l'utilisation de la méthode query(), etc. Voici deux méthodes couramment utilisées.

(1) Utilisation de l'index booléen
Nous pouvons sélectionner les données de ligne qui doivent être supprimées en créant un index booléen. L'exemple de code spécifique est le suivant :

import pandas as pd

# 创建一个DataFrame
data = {'Name': ['Tom', 'Nick', 'John', 'Alex'],
        'Age': [20, 25, 30, 35]}
df = pd.DataFrame(data)

# 使用布尔索引删除满足条件的行数据
df = df[~(df['Age'] > 25)]

print(df)

Résultats d'exécution :

  Name  Age
0  Tom   20
1  Nick  25

Dans l'exemple ci-dessus, nous avons créé un DataFrame contenant des données d'âge et utilisé un index booléen pour supprimer les données de ligne qui remplissaient la condition "âge supérieur à 25". Dans les résultats en cours d'exécution, nous pouvons voir que les données de ligne qui remplissent les conditions ont été supprimées.

(2) Utilisez la méthode query()
pandas fournit la méthode query() pour filtrer les données de ligne qui répondent à des conditions spécifiques. L'exemple de code spécifique est le suivant :

import pandas as pd

# 创建一个DataFrame
data = {'Name': ['Tom', 'Nick', 'John', 'Alex'],
        'Age': [20, 25, 30, 35]}
df = pd.DataFrame(data)

# 使用query()方法删除满足条件的行数据
df = df.query('Age <= 25')

print(df)

Résultats d'exécution :

  Name  Age
0  Tom   20
1  Nick  25

Dans l'exemple ci-dessus, nous avons créé un DataFrame contenant des données d'âge et utilisé la méthode query() pour supprimer les lignes de données qui répondent à la condition "âge supérieur à 25". Dans les résultats en cours d'exécution, nous pouvons voir que les données de ligne qui remplissent les conditions ont été supprimées.

3. Résumé
Dans le processus de nettoyage des données, pandas fournit une multitude de fonctions et de méthodes pour traiter les données, et les exemples de code ci-dessus n'en sont qu'une partie. Dans des applications pratiques, nous pouvons également adopter différentes méthodes pour supprimer les données de ligne en fonction de circonstances spécifiques. Lorsque nous utilisons ces méthodes, nous devons examiner attentivement la structure et les besoins d’analyse des données pour garantir l’exactitude et l’efficacité du nettoyage des données.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!