Mit welchen KPIs lässt sich der Erfolg von Künstliche-Intelligenz-Projekten messen?

Ein im Juni 2020 vom Forschungsunternehmen IDC veröffentlichter Forschungsbericht zeigte, dass etwa 28 % der Pläne für künstliche Intelligenz scheiterten. Als Gründe nannte der Bericht fehlendes Fachwissen, fehlende relevante Daten und das Fehlen einer ausreichend integrierten Entwicklungsumgebung. Um einen Prozess zur kontinuierlichen Verbesserung des maschinellen Lernens zu etablieren und nicht ins Stocken zu geraten, ist die Identifizierung von Key Performance Indicators (KPIs) jetzt eine Priorität.

Im oberen Bereich der Branche können Datenwissenschaftler die technischen Leistungsindikatoren des Modells definieren. Sie variieren je nach Art des verwendeten Algorithmus. Im Falle einer Regression, die darauf abzielt, die Körpergröße einer Person in Abhängigkeit von ihrem Alter vorherzusagen, kann man beispielsweise auf lineare Bestimmungskoeffizienten zurückgreifen.

Eine Gleichung, die die Qualität von Vorhersagen misst, kann verwendet werden: Wenn das Quadrat des Korrelationskoeffizienten Null ist, bestimmt die Regressionsgerade die 0 %-Punktverteilung. Wenn der Koeffizient hingegen 100 % beträgt, ist die Zahl gleich 1. Dies deutet also darauf hin, dass die Qualität der Vorhersagen sehr gut ist.

Abweichung der Vorhersagen von der Realität

Eine weitere Metrik zur Bewertung der Regression ist die Methode der kleinsten Quadrate, die sich auf die Verlustfunktion bezieht. Dazu gehört die Quantifizierung des Fehlers durch Berechnung der Summe der quadrierten Abweichungen zwischen dem tatsächlichen Wert und der vorhergesagten Linie und die anschließende Anpassung des Modells durch Minimierung des quadrierten Fehlers. In der gleichen Logik kann man die Methode des mittleren absoluten Fehlers verwenden, die darin besteht, den Durchschnitt der Grundwerte der Abweichungen zu berechnen.

Charlotte Pierron-Perlès, verantwortlich für Strategie, Daten und künstliche Intelligenzdienste beim französischen Beratungsunternehmen Capgemini, kam zu dem Schluss: „Auf jeden Fall kommt es darauf an, die Lücke zu dem zu messen, was wir vorhersagen wollen.“

Zum Beispiel bei der Klassifizierung Zur Spam-Erkennung Im Algorithmus ist es notwendig, falsch-positive und falsch-negative Ergebnisse für Spam zu finden. Pierron Perlès erklärt: „Für einen Kosmetikkonzern haben wir beispielsweise eine Lösung für maschinelles Lernen entwickelt, die die Effizienz einer Produktionslinie optimiert. Ziel war es, fehlerhafte Kosmetika am Anfang der Produktionslinie zu identifizieren. Wir haben eng zusammengearbeitet Mit den Fabrikbetreibern folgte eine Diskussion, bei der sie nach einem Modell suchten, um die Erkennung zu vervollständigen, auch wenn dies bedeutete, dass falsch positive Ergebnisse erkannt werden könnten, d. h. qualifizierte Kosmetika könnten mit Mängeln verwechselt werden. andere. Drei Metriken ermöglichen die Bewertung von Klassifizierungsmodellen:

(1) Recall (R) bezieht sich auf ein Maß für die Modellsensitivität. Dabei handelt es sich um das Verhältnis von korrekt identifizierten echten Positiven (am Beispiel positiver Coronavirus-Tests) zu allen echten Positiven, die hätten erkannt werden sollen (positive Coronavirus-Tests + negative Coronavirus-Tests, die tatsächlich positiv waren): R = echte Positive / echte Positive + Falsch Negativ.

(2) Präzision (P) bezieht sich auf das Maß für Genauigkeit. Dabei handelt es sich um das Verhältnis richtiger richtig positiver Ergebnisse (positive COVID-19-Tests) zu allen als positiv ermittelten Ergebnissen (positive COVID-19-Tests + negative COVID-19-Tests): P = richtig positive Ergebnisse / wahr positive Ergebnisse + falsch positive Ergebnisse.

(3) Der harmonische Mittelwert (F-Score) misst die Fähigkeit des Modells, korrekte Vorhersagen zu treffen und andere Vorhersagen abzulehnen: F=2×Präzision×Recall/Präzision+Recall

Förderung des Modells

Chef von ESNKeyrus, France Senior Der Datenwissenschaftler David TsangHinSun betonte: „Sobald ein Modell erstellt ist, wird seine Generalisierungsfähigkeit zu einer Schlüsselmetrik.“

Wie kann man es also schätzen? Indem Sie den Unterschied zwischen Vorhersagen und erwarteten Ergebnissen messen und dann verstehen, wie sich dieser Unterschied im Laufe der Zeit entwickelt. Er erklärt: „Nach einiger Zeit können wir auf Divergenzen stoßen. Dies kann auf unzureichendes Lernen (oder übermäßige Anpassung) aufgrund von unzureichendem Training des Datensatzes in Bezug auf Qualität und Quantität zurückzuführen sein.

Dann ist die Lösung.“ Es? Beispielsweise können im Fall von Bilderkennungsmodellen kontradiktorische generative Netzwerke verwendet werden, um die Anzahl der gelernten Bilder durch Drehung oder Verzerrung zu erhöhen. Eine weitere Technik (anwendbar auf Klassifizierungsalgorithmen): synthetisches Minderheiten-Oversampling, das darin besteht, die Anzahl der Beispiele mit geringem Vorkommen im Datensatz durch Oversampling zu erhöhen.

Unstimmigkeiten können auch in Situationen des Überlernens auftreten. In dieser Konfiguration ist das Modell nach dem Training nicht auf die erwarteten Korrelationen beschränkt, sondern aufgrund der Überspezialisierung wird es das durch die Felddaten erzeugte Rauschen erfassen und inkonsistente Ergebnisse liefern. DavidTsangHinSun betonte: „Es ist dann notwendig, die Qualität des Trainingsdatensatzes zu überprüfen und möglicherweise die Gewichte der Variablen anzupassen

Während die wirtschaftlichen Key Performance Indicators (KPIs) bestehen bleiben.“ Stéphane Roder, CEO des französischen Beratungsunternehmens AIBuilders, glaubt: „Wir müssen uns fragen, ob die Fehlerquote mit den geschäftlichen Herausforderungen vereinbar ist. Beispielsweise hat das Versicherungsunternehmen Lemonade ein maschinelles Lernmodul entwickelt, das innerhalb von 3 Jahren auf Kundenanfragen reagieren kann.“ Minuten nach der Geltendmachung eines Schadensfalls zahlt die Versicherung dem Kunden eine gewisse Fehlerrate, insbesondere im Vergleich zu den Gesamtbetriebskosten (TCO). Zur Wartung ist es sehr wichtig, diese Messung zu überprüfen.“

Akzeptanzniveaus

Selbst innerhalb desselben Unternehmens können die erwarteten Key Performance Indicators (KPIs) variieren. Charlotte Pierron Perlès von Capgemini bemerkte: „Wir haben eine Verbrauchsprognose-Engine für einen französischen Einzelhändler mit internationalem Ansehen entwickelt. Es stellte sich heraus, dass die genaue Ausrichtung des Modells zwischen in Kaufhäusern verkauften Produkten und neuen Produkten unterschiedlich war. Der Umsatz hängt von der Dynamik des letzteren ab.“ auf Faktoren, insbesondere solche im Zusammenhang mit der Marktreaktion, die per Definition weniger kontrollierbar sind.“

Der letzte wichtige Leistungsindikator ist der Akzeptanzgrad. Charlotte Pierron-Perlès sagte: „Selbst wenn ein Modell von guter Qualität ist, reicht es allein nicht aus. Dies erfordert die Entwicklung von Produkten der künstlichen Intelligenz mit einer benutzerorientierten Erfahrung, die für Unternehmen genutzt werden können und das Versprechen der Maschine verwirklichen.“ Lernen.“

Stéphane Roder In der Zusammenfassung heißt es: „Diese Benutzererfahrung wird es Benutzern auch ermöglichen, Feedback zu geben, was dazu beitragen wird, KI-Wissen außerhalb des täglichen Produktionsdatenflusses bereitzustellen.“​

Das obige ist der detaillierte Inhalt vonMit welchen KPIs lässt sich der Erfolg von Künstliche-Intelligenz-Projekten messen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!