不同型號如何選擇？
評估機器學習的過程有助於確定模型的應用可靠性和有效性。這涉及評估不同的因素，例如其性能、指標以及預測或決策的準確性。
無論您選擇使用什麼模型，您都需要一種在模型之間進行選擇的方法：不同的模型類型、調整參數和功能。此外，您還需要一個模型評估程式來估計模型對未見過的資料的泛化能力。最後，您需要一個評估程序來與其他程序配合，以量化您的模型性能。
在我們繼續之前，讓我們回顧一下一些不同的模型評估程序及其運作方式。
從上面我們可以推論出：
對相同數據進行訓練和測試是過度擬合的一個典型原因，在這種情況下，您建立的模型過於複雜，無法泛化到新數據，而且實際上沒有用。
Train_Test_Split 可以更好地估計樣本外效能。
透過系統性地進行 K 次訓練測試分割並將結果平均在一起，K 折交叉驗證效果更好。
總之，train_tests_split 由於其速度和簡單性，對於交叉驗證來說仍然是有利可圖的，這就是我們將在本教程中使用的內容。
您始終需要一個評估指標來配合您選擇的程序，而您選擇的指標取決於您要解決的問題。對於分類問題，可以使用分類精度。但我們將在本指南中重點關注其他重要的分類評估指標。
在我們學習任何新的評估指標之前，讓我們回顧一下分類準確性，並討論它的優點和缺點。
我們為本教學選擇了 Pima Indians 糖尿病資料集，其中包括 768 名患者的健康資料和糖尿病狀況。
讓我們讀取資料並列印前 5 行資料。如果患者患有糖尿病，則標籤欄顯示 1，如果患者沒有糖尿病，則標籤欄顯示 0，我們要回答的問題是：
問題： 我們可以根據患者的健康測量結果預測其糖尿病狀況嗎？
我們定義特徵量測 X 和反應向量 Y。我們使用 train_test_split 將 X 和 Y 分成訓練集和測試集。
接下來，我們在訓練集上訓練邏輯迴歸模型。在擬合步驟中，logreg 模型物件正在學習 X_train 和 Y_train 之間的關係。最後我們對測試集進行類別預測。
現在，我們已經對測試集進行了預測，我們可以計算分類準確率，簡單來說就是正確預測的百分比。
但是，每當您使用分類準確性作為評估指標時，將其與空準確性進行比較非常重要，這是透過始終預測最頻繁的類別可以獲得的準確性。
空準確率回答了問題；如果我的模型能夠 100% 預測主要類別，那麼它正確的機率是多少？在上面的場景中，y_test 的 32% 為 1（個）。換句話說，預測患者患有糖尿病的愚蠢模型68% 的時間是正確的（即零）。這提供了一個基線，我們可能希望根據該基線來衡量邏輯迴歸模型。
當我們比較 68% 的空精度和 69% 的模型精度時，我們的模型看起來不太好。這表明分類準確性作為模型評估指標的一個弱點。分類準確性並不能告訴我們有關測試測試的基本分佈的任何資訊。
總結：
現在讓我們來看看混淆矩陣。
混淆矩陣是描述分類模型表現的表格。
它有助於幫助您了解分類器的性能，但它不是模型評估指標；所以你不能告訴 scikit learn 選擇具有最佳混淆矩陣的模型。然而，有許多指標可以從混淆矩陣中計算出來，並且可以直接用於在模型之間進行選擇。
讓我們解釋一下它的一些基本術語。
讓我們來看看如何計算指標
結論：
以上是評估機器學習分類模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！
