研究機構IDC公司在2020年6月發布的一項研究報告表明，大約28%的人工智慧計畫遭遇失敗。報告給出的理由是缺乏專業知識、缺乏相關數據以及缺乏足夠整合的開發環境。為了建立一個持續改善機器學習的過程並避免陷入困境，確定關鍵績效指標(KPI)現在是當務之急。
而在產業上游，可以由資料科學家來定義模型的技術性能指標。它們將根據所使用的演算法類型而有所不同。在旨在預測某人的身高作為其年齡函數的回歸的情況下，例如，可以求助於線性確定係數。
可以採用一個衡量預測質量的方程式：如果相關係數的平方為零，則迴歸線確定0%的點分佈。反之，如果該係數為100%，則該數字等於1。因此，這表明預測的品質非常好。
評估迴歸的另一個指標是最小平方法，它指的是損失函數。它包括透過計算實際值與預測線之間偏差的平方和來量化誤差，然後透過最小化平方誤差來擬合模型。在相同的邏輯中，可以利用平均絕對誤差方法，該方法包括計算偏差的基本值的平均值。
法國諮詢機構凱捷公司負責策略、數據和人工智慧服務的CharlottePierron-Perlès總結說：「無論如何，這相當於衡量與我們試圖預測的差距。」
例如，在用於垃圾郵件偵測的分類演算法中，有必要尋找誤報和漏報的垃圾郵件。 PierronPerlès解釋說：「例如，我們為一家化妝品集團開發了一種機器學習解決方案，可以優化生產線的效率。目的是在生產線開始時識別可能導致生產中斷的有缺陷的化妝品。我們在與工廠經營者討論之後與他們一起尋求一個模型來完成檢測，即使這意味著檢測到誤報，也就是說，合格的化妝品可能被誤認為是有缺陷的。」
基於誤報和漏報的概念，其他三個指標允許評估分類模型：
（1）召回率（R）是指模型敏感度的測量值。它是正確識別的真實陽性（以新冠病毒檢測呈陽性為例）與所有應檢測的真實陽性（冠狀病毒檢測呈陽性冠狀病毒檢測呈陰性實際是陽性）的比例：R=真陽性/真陽性假陰性。
（2）精度(P)是指準確度的量測。它是正確的真陽性（新冠病毒檢測呈陽性）與所有確定為陽性的結果（新冠病毒檢測呈陽性 新冠病毒檢測呈陰性）的比例：P=真陽性/真陽性 假陽性。
（3）調和平均值（F-score）衡量模型給出正確預測和拒絕其他預測的能力：F=2×精確度×召回率/精確度召回率
法國ESNKeyrus公司首席高級資料科學家DavidTsangHinSun強調：「一旦建構成模型，其泛化能力將成為關鍵指標。」
那麼如何估計它？透過測量預測和預期結果之間的差異，然後了解這種差異隨時間的演變。他解釋說，「在一段時間之後，我們可能會遇到分歧。這可能是由於資料集在品質和數量方面的訓練不足而導致的學習不足（或過度擬合）。」
那麼其解決方案是什麼？例如，在影像辨識模型的情況下，可以使用對抗性生成網路透過旋轉或扭曲來增加圖片學習的數量。另一種技術（適用於分類演算法）：合成少數過採樣，它包括透過過採樣增加資料集中低發生率範例的數量。
在過度學習的情況下也會出現分歧。在這種配置中，模型在訓練後將不會局限於預期的相關性，但是由於過於專業化，它會捕獲現場資料產生的雜訊並產生不一致的結果。 DavidTsangHinSun指出，「然後有必要檢查訓練資料集的質量，並可能調整變數的權重。」
而經濟體的關鍵績效指標（KPI）仍然存在。法國顧問公司AIBuilders公司執行長StéphaneRoder認為：「我們必須捫心自問，錯誤率是否與業務挑戰相符。例如，保險商Lemonade公司開發了一種機器學習模組，可以在客戶提出索賠後3分鐘內根據所傳達的資訊（包括照片）向客戶賠償保險金。考慮到節省的費用，一定的錯誤率會產生成本。在模型的整個生命週期中，特別是與總體擁有成本（TCO）相比，從開發到維護，檢查這一測量值是非常重要。」
即使在同一家公司內，預期的關鍵績效指標（KPI）也可能有所不同。凱捷公司的CharlottePierronPerlès指出：「我們為一家具有國際地位的法國零售商開發了一個消費預測引擎。結果證明該模型的精確目標在百貨公司銷售的產品和新產品之間是不同的。後者的銷售動態取決於因素，尤其是與市場反應相關的因素，從定義上來說，這些因素不太可控。」
最後一個關鍵績效指標是採用水準。 CharlottePierron-Perlès說：「即使一個模型品質很好，僅靠它自己是不夠的。這需要開發具有面向用戶體驗的人工智慧產品，既可用於業務，又可實現機器的承諾學習。」
StéphaneRoder總結說：「這個用戶體驗還將允許用戶提供回饋，這將有助於在日常生產資料流之外提供人工智慧知識。」
以上是可以採用哪些KPI來衡量人工智慧專案的成功？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
