PHP und maschinelles Lernen: So erkennen Sie Anomalien und behandeln Ausreißer

PHP und maschinelles Lernen: So führen Sie eine Anomalieerkennung und Ausreißerverarbeitung durch

Übersicht:
Bei der tatsächlichen Datenverarbeitung treten häufig Ausreißer im Datensatz auf. Ausreißer können aus verschiedenen Gründen auftreten, darunter Messfehler, unvorhersehbare Ereignisse oder Probleme mit der Datenquelle. Diese Ausreißer können sich negativ auf Aufgaben wie Datenanalyse, Modelltraining und Vorhersage auswirken. In diesem Artikel stellen wir vor, wie Sie PHP und Techniken des maschinellen Lernens zur Anomalieerkennung und zum Umgang mit Ausreißern verwenden.

1. Methoden zur Erkennung von Anomalien:
   Um Ausreißer zu erkennen, können wir verschiedene Algorithmen des maschinellen Lernens verwenden. Im Folgenden sind zwei häufig verwendete Anomalieerkennungsmethoden aufgeführt:

1.1 Z-Score-Methode:
Z-Score-Methode ist eine statistische Anomalieerkennungsmethode, die durch Berechnung den Abweichungswert jedes Datenpunkts vom Mittelwert bestimmt Datensatz Ist es ein Ausreißer? Die spezifischen Schritte sind wie folgt:

1. Berechnen Sie den Mittelwert und die Standardabweichung des Datensatzes.
2. Berechnen Sie für jeden Datenpunkt seine Abweichung vom Mittelwert: Abweichung = (Daten – Mittelwert) / Standard.
3. Markieren Sie für einen bestimmten Schwellenwert, normalerweise 3, Datenpunkte mit Abweichungswerten, die größer als der Schwellenwert sind, als Ausreißer.

Der Beispielcode lautet wie folgt:

function zscore($data, $threshold){
    $mean = array_sum($data) / count($data);
    $std = sqrt(array_sum(array_map(function($x) use ($mean) { return pow($x - $mean, 2); }, $data)) / count($data));
    $result = [];
    foreach ($data as $value) {
        $deviation = ($value - $mean) / $std;
        if (abs($deviation) > $threshold) {
            $result[] = $value;
        }
    }
    return $result;
}

$data = [1, 2, 3, 4, 5, 100];
$threshold = 3;
$result = zscore($data, $threshold);

echo "异常值检测结果：" . implode(", ", $result);

1.2 Isolation Forest:
Isolation Forest ist eine auf festgelegten Bäumen basierende Anomalieerkennungsmethode, die die Anomalie von Datenpunkten durch den Aufbau eines zufällig geteilten Binärbaums bestimmt. Die spezifischen Schritte sind wie folgt:

1. Wählen Sie zufällig ein Feature aus und wählen Sie einen zufälligen Trennpunkt zwischen dem minimalen und dem maximalen Wert des Features aus.
2. Wählen Sie zufällig ein Teilungsmerkmal und einen Teilungspunkt aus und teilen Sie die Datenpunkte in zwei Teilmengen auf. Iterieren Sie, bis jede Teilmenge nur einen Datenpunkt enthält oder die maximale Tiefe des Baums erreicht ist.
3. Berechnen Sie den Grad der Anomalie basierend auf der Pfadlänge des Datenpunkts im Baum. Je kürzer die Pfadlänge, desto abnormaler ist sie.

Der Beispielcode lautet wie folgt:

require_once('anomaly_detection.php');

$data = [1, 2, 3, 4, 5, 100];
$contamination = 0.1;
$forest = new IsolationForest($contamination);
$forest->fit($data);
$result = $forest->predict($data);

echo "异常值检测结果：" . implode(", ", $result);

2. Ausreißerverarbeitungsmethode:
   Wenn ein Ausreißer erkannt wird, müssen wir ihn verarbeiten. Im Folgenden sind zwei häufig verwendete Methoden zur Verarbeitung von Ausreißern aufgeführt:

2.1 Ausreißer löschen:
Eine einfache Verarbeitungsmethode besteht darin, Ausreißer direkt zu löschen. Basierend auf den Ergebnissen der Anomalieerkennung können wir Datenpunkte, die den Schwellenwert überschreiten, aus dem Datensatz entfernen.

Der Beispielcode lautet wie folgt:

function removeOutliers($data, $threshold){
    $result = [];
    foreach ($data as $value) {
        if (abs($value) <= $threshold) {
            $result[] = $value;
        }
    }
    return $result;
}

$data = [1, 2, 3, 4, 5, 100];
$threshold = 3;
$result = removeOutliers($data, $threshold);

echo "异常值处理结果：" . implode(", ", $result);

2.2 Ausreißer ersetzen:
Ein anderer Ansatz besteht darin, Ausreißer durch vernünftige Werte wie Mittelwert oder Median zu ersetzen. Auf diese Weise können die Gesamtverteilungseigenschaften des Datensatzes erhalten bleiben.

Der Beispielcode lautet wie folgt:

function replaceOutliers($data, $threshold, $replacement){
    $result = [];
    foreach ($data as $value) {
        if (abs($value) > $threshold) {
            $result[] = $replacement;
        } else {
            $result[] = $value;
        }
    }
    return $result;
}

$data = [1, 2, 3, 4, 5, 100];
$threshold = 3;
$replacement = 0;
$result = replaceOutliers($data, $threshold, $replacement);

echo "异常值处理结果：" . implode(", ", $result);

Fazit:
In diesem Artikel haben wir Methoden zur Anomalieerkennung und zum Umgang mit Ausreißern mithilfe von PHP und Techniken des maschinellen Lernens vorgestellt. Durch die Z-Score-Methode und den Isolation-Forest-Algorithmus können wir Ausreißer erkennen und sie nach Bedarf löschen oder ersetzen. Diese Methoden können uns helfen, Daten zu bereinigen, die Modellgenauigkeit zu verbessern und zuverlässigere Datenanalysen und Vorhersagen durchzuführen.

Die vollständige Implementierung des Codebeispiels ist auf GitHub verfügbar. Ich hoffe, dass dieser Artikel für Ihr Studium und Ihre Praxis hilfreich sein wird.

Referenz:

• [Isolationswald zur Anomalieerkennung in PHP](https://github.com/lockeysama/php_isolation_forest)
• [AnomalyDetectionPHP](https://github.com/zenthangplus/AnomalyDetectionPHP)

Das obige ist der detaillierte Inhalt vonPHP und maschinelles Lernen: So erkennen Sie Anomalien und behandeln Ausreißer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!