データクリーニングに Python を使用するにはどうすればよいですか?-Python チュートリアル-php.cn

データ分析の分野では、データクリーニングは非常に重要なリンクです。データクリーニングには、データ内のエラーの特定と修正、欠落または無効な情報の特徴付けと処理などが含まれます。 Python には、データクリーニングに役立つライブラリが多数あります。次に、Python を使用してデータクリーニングを行う方法を紹介します。

1. データのロード

Python では、pandas ライブラリを使用してデータをロードできます。もちろん、データクリーニングの前にデータの種類を確認する必要があります。 CSV ファイルの場合、pandas の read_csv() 関数を使用すると、データを簡単にロードできます。

import pandas as pd

data = pd.read_csv('data.csv')

データが Excel ファイルの場合は、read_excel() 関数を使用します。データがリレーショナルデータベースから取得されたものである場合は、SQLAlchemy または別のデータベースパッケージを使用してデータを取得します。

2. データエラーの特定

データクリーニングの最初のステップは、データエラーを特定することです。データエラーには次のものが含まれます。

欠損値

データに欠損値があることは非常に一般的です。 pandas ライブラリの isnull() または notnull() 関数を使用して、データに欠損値があるかどうかを検出できます:

data.isnull()
data.notnull()

外れ値

外れ値は、データセット内の他のデータポイントと一致しない不規則なデータです。外れ値は、データを四分位に分割する、特定の標準偏差値より大きいデータポイントを削除するなどの統計的手法を使用して検出できます。もちろん、箱ひげ図や散布図などの視覚化手法を使用して外れ値を検出することもできます。

重複データ

重複データとは、データ内の複数のレコードが同じデータ値を表示することを意味します。 pandas ライブラリの dump_duplicates() 関数を使用して、重複データを検出して削除できます。

data.duplicated()
data.drop_duplicates()

3. データクリーニング

データエラーを特定したら、次のステップはデータクリーニングです。データクリーニングには次の手順が含まれます。

NULL 値の入力

データに欠損値がある場合、1 つの方法はこれらのレコードを直接削除することです。ただし、レコードを削除するとデータの整合性に影響する可能性があります。したがって、fillna() 関数を使用して、null 値を平均値、中央値、またはその他の特別な値に置き換えることができます。

data.fillna(value=10,inplace=True)

null 値の削除

dropna() 関数を使用してデータ内の null 値を削除できます:

data.dropna()

例外値の置換

作成された外れ値がデータセットの不正確な分析につながる場合は、これらの外れ値を削除することを検討できます。削除がデータの有用性に影響を与える場合は、次のことを検討できます。外れ値を削除し、より正確な推定値に置き換えます:

data.quantile(0.95)
data[(data

4. クリーニングしたデータを保存します。

データのクリーニングが完了したら、データを保存する必要があります。データは、pandas ライブラリの to_csv() および to_excel() 関数を使用して CSV または Excel ファイルに保存できます。

data.to_csv('cleaned_data.csv')
data.to_excel('cleaned_data) .xlsx ')

5. 結論

データ分析の分野では、データクリーニングは非常に重要なリンクです。データクリーニングには Python および pandas ライブラリを使用できます。データクリーニングには、データエラーの特定とクリーニング、Null 値と外れ値の特定、およびデータクリーニングが含まれます。データのクリーニングが完了したら、データをファイルに保存して、さらなる分析と視覚化を行うことができます。

以上がデータクリーニングに Python を使用するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。