データ クリーニングには何が含まれますか?

データクリーニング手法には、1. 処理対象のデータを一定のルールに従ってボックスに入れてテストするビニング手法、2. 関数データを使用して描画する回帰手法があります。 3. クラスタリング手法は、抽象オブジェクトを異なるセットにグループ化し、そのセット内で予期しない孤立点を見つけることです。

#この記事の動作環境: Windows 7 システム、Dell G3 コンピューター。

データ クリーニングには何が含まれますか?

データのクリーニングには、ビニング法、クラスタリング法、回帰法という 3 つの方法があります。

1. ビニング手法

はよく使われる手法で、処理が必要なデータを一定のルールに従ってボックスに入れ、各データをテストするいわゆるビニング手法です。ボックス内にデータを配置し、データ内の各ボックスの実際の状況に基づいてデータを処理する方法を採用します。

2. 回帰手法

回帰手法では、関数のデータを使用して画像を描画し、画像を平滑化します。回帰手法には 2 種類あり、1 つは単線形回帰、もう 1 つは多重線形回帰です。単線形回帰は、一方の属性をもう一方の属性から予測できる、2 つの属性間の最適な直線を見つけることです。多重線形回帰は、ノイズを除去できるように、データを多次元曲面に適合させるための多くの属性を見つけることです。

3. クラスタリング手法

クラスタリング手法のワークフローは比較的単純ですが、操作は確かに複雑です。いわゆるクラスタリング手法は、抽象オブジェクトを異なる 、のセットにグループ化することです。セット内で予期しない孤立点を見つけます。これらの孤立点はノイズです。このようにして、ノイズを直接見つけて除去することができます。

拡張情報:

名前からわかるように、データ クリーニングとは、「汚れ」を「洗い流す」ことです。データ ファイルの修正 データの整合性のチェック、無効な値や欠損値の処理など、特定可能なエラーに対する最後の手段の手順。

データウェアハウス内のデータは、ある特定のテーマに沿ったデータの集合体であり、複数の業務システムから抽出されたデータであり、過去のデータも含まれているため、誤ったデータが含まれることは避けられません。これらの誤ったデータや競合するデータは明らかに望ましくないものであり、「ダーティ データ」と呼ばれます。

特定のルールに従って「汚れたデータ」を「洗い流す」必要があります。これがデータ クリーニングです。データクリーニングの業務は、要件を満たさないデータをフィルタリングし、フィルタリング結果を担当事業部に渡し、事業部での除外や修正が行われているかを確認してから抽出することです。

要件を満たさないデータは、主に不完全データ、誤ったデータ、重複データの 3 つのカテゴリに分類されます。データクリーニングはアンケート調査とは異なり、入力後のデータクリーニングは手作業ではなくコンピュータで行うのが一般的です。

関連知識の詳細については、FAQ 列をご覧ください。

以上がデータ クリーニングには何が含まれますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。