PHP dan Pembelajaran Mesin: Cara Melakukan Pengesanan Anomali dan Pengendalian Outlier

PHP dan pembelajaran mesin: Cara melakukan pengesanan anomali dan pemprosesan outlier

Ikhtisar:
Dalam pemprosesan data sebenar, outlier sering ditemui dalam set data. Outlier boleh berlaku atas pelbagai sebab, termasuk ralat pengukuran, peristiwa yang tidak dapat diramalkan atau masalah dengan sumber data. Outlier ini boleh memberi kesan negatif pada tugas seperti analisis data, latihan model dan ramalan. Dalam artikel ini, kami akan memperkenalkan cara menggunakan PHP dan teknik pembelajaran mesin untuk pengesanan anomali dan pengendalian outlier.

1. Kaedah Pengesanan Anomali:
   Untuk mengesan outlier, kita boleh menggunakan pelbagai algoritma pembelajaran mesin. Berikut ialah dua kaedah pengesanan anomali yang biasa digunakan:

1.1 Kaedah Z-Score:
Kaedah Z-Score ialah kaedah pengesanan anomali berasaskan statistik, yang menentukan dengan mengira nilai sisihan setiap titik data daripada nilai min set data Adakah ia outlier. Langkah-langkah khusus adalah seperti berikut:

1. Kira min dan sisihan piawai bagi set data.
2. Untuk setiap titik data, kira sisihannya daripada min: sisihan = (data - min) / std.
3. Untuk ambang tertentu, biasanya 3, tandakan titik data dengan nilai sisihan lebih besar daripada ambang sebagai outlier.

Kod sampel adalah seperti berikut:

function zscore($data, $threshold){
    $mean = array_sum($data) / count($data);
    $std = sqrt(array_sum(array_map(function($x) use ($mean) { return pow($x - $mean, 2); }, $data)) / count($data));
    $result = [];
    foreach ($data as $value) {
        $deviation = ($value - $mean) / $std;
        if (abs($deviation) > $threshold) {
            $result[] = $value;
        }
    }
    return $result;
}

$data = [1, 2, 3, 4, 5, 100];
$threshold = 3;
$result = zscore($data, $threshold);

echo "异常值检测结果：" . implode(", ", $result);

1.2 Hutan Pengasingan:
Hutan Pengasingan ialah kaedah pengesanan anomali berdasarkan pokok yang ditetapkan, yang menentukan keabnormalan titik data dengan membina pokok binari yang dibahagikan secara rawak. Langkah-langkah khusus adalah seperti berikut:

1. Pilih ciri secara rawak dan pilih titik pembahagi rawak antara nilai minimum dan maksimum ciri tersebut.
2. Pilih ciri pembahagi dan titik pembahagi secara rawak, dan bahagikan titik data kepada dua subset, berulang sehingga setiap subset mengandungi hanya satu titik data atau kedalaman maksimum pepohon dicapai.
3. Kira tahap keabnormalan titik data berdasarkan panjang laluannya dalam pepohon Semakin pendek panjang laluan, semakin tidak normal.

Kod sampel adalah seperti berikut:

require_once('anomaly_detection.php');

$data = [1, 2, 3, 4, 5, 100];
$contamination = 0.1;
$forest = new IsolationForest($contamination);
$forest->fit($data);
$result = $forest->predict($data);

echo "异常值检测结果：" . implode(", ", $result);

2. Kaedah pemprosesan outlier:
   Apabila outlier dikesan, kita perlu memprosesnya. Berikut ialah dua kaedah pemprosesan outlier yang biasa digunakan:

2.1 Padam outlier:
Kaedah pemprosesan mudah ialah memadam outlier secara langsung. Kami boleh mengalih keluar titik data yang melebihi ambang daripada set data berdasarkan hasil pengesanan anomali.

Kod sampel adalah seperti berikut:

function removeOutliers($data, $threshold){
    $result = [];
    foreach ($data as $value) {
        if (abs($value) <= $threshold) {
            $result[] = $value;
        }
    }
    return $result;
}

$data = [1, 2, 3, 4, 5, 100];
$threshold = 3;
$result = removeOutliers($data, $threshold);

echo "异常值处理结果：" . implode(", ", $result);

2.2 Gantikan outlier:
Pendekatan lain ialah menggantikan outlier dengan nilai munasabah seperti min atau median. Dengan cara ini, ciri pengedaran keseluruhan set data dapat dikekalkan.

Kod sampel adalah seperti berikut:

function replaceOutliers($data, $threshold, $replacement){
    $result = [];
    foreach ($data as $value) {
        if (abs($value) > $threshold) {
            $result[] = $replacement;
        } else {
            $result[] = $value;
        }
    }
    return $result;
}

$data = [1, 2, 3, 4, 5, 100];
$threshold = 3;
$replacement = 0;
$result = replaceOutliers($data, $threshold, $replacement);

echo "异常值处理结果：" . implode(", ", $result);

Kesimpulan:
Dalam artikel ini, kami memperkenalkan kaedah untuk pengesanan anomali dan pengendalian outlier menggunakan PHP dan teknik pembelajaran mesin. Melalui kaedah Z-Score dan algoritma hutan pengasingan, kami boleh mengesan outlier dan memadam atau menggantikannya mengikut keperluan. Kaedah ini boleh membantu kami membersihkan data, meningkatkan ketepatan model dan melaksanakan analisis dan ramalan data yang lebih dipercayai.

Pelaksanaan lengkap contoh kod tersedia di GitHub. Saya harap artikel ini akan membantu anda untuk belajar dan berlatih.

Rujukan:

• [Hutan Pengasingan untuk Pengesanan Anomali dalam PHP](https://github.com/lockeysama/php_isolation_forest)
• [AnomalyDetectionPHP](https://github.com/zenthangplus/AnomalyDetectionPH
)

Atas ialah kandungan terperinci PHP dan Pembelajaran Mesin: Cara Melakukan Pengesanan Anomali dan Pengendalian Outlier. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!