Pythonでの機械学習モデルのパフォーマンスを評価する方法は？

適切な評価指標を選択します。分類タスクは、精度、精度、リコール、F1スコア、ROC-AUC、および混乱マトリックスを使用し、回帰タスクはMAE、MSE、RMSE、R²を使用します。 2。scikit-learnを使用してインジケータを計算し、sklearn.metricsモジュールの関数を介して分類モデルと回帰モデルの評価を実装します。 3.クロス検証（Cross_val_scoreなど）を使用して、より堅牢なパフォーマンス評価を実行して、単一の分割によって引き起こされる逸脱を避けます。 4.オプションで、ROC曲線と混乱マトリックスサーモグラムを介してモデルのパフォーマンスを視覚化します。モデルを評価するための鍵は、問題に基づいて適切な指標を選択し、相互検証と視覚的包括的な分析を組み合わせて、モデル効果を正確に判断し、指標の誤用によって引き起こされる誤った結論を回避することです。

Pythonでの機械学習モデルのパフォーマンスを評価するには、問題の種類（分類、回帰など）に基づいて適切なメトリックとツールを選択し、 scikit-learnなどのライブラリを使用してそれらを計算することが含まれます。効果的に行う方法は次のとおりです。

1.適切な評価メトリックを選択します

最初のステップは、タスクに基づいて適切なメトリックを選択することです。

分類タスクの場合：

• 精度：正しい予測の割合。クラスがバランスが取れているときは良い。
• 精度、リコール、F1スコア：不均衡なデータセットに対してより有益です。
  • 精度：予測されるすべての陽性のうち、実際のポジティブはいくつですか？
  • Recall（感度） ：実際のすべての肯定的なことのうち、正しく予測された人は何人いましたか？
  • F1スコア：精度とリコールの高調波手段。
• ROC-AUC ：モデルが予測をどれだけランク付けするかを測定します。確率出力によるバイナリ分類に役立ちます。
• 混乱マトリックス：詳細な分析のために、真の陽性、偽陽性などを示します。

回帰タスクの場合：

• 平均絶対誤差（MAE） ：予測値と実際の値の平均絶対差。
• 平均四角エラー（MSE） ：より大きなエラーをより重くペナルティします。
• ルート平均二乗エラー（RMSE） ：元のスケールでのMSE。
• R²（R-squared） ：モデルで説明される変動の割合（1に近い方が良い）。

2。scikit -learnを使用してメトリックを計算します

モデルがトレーニングされ、予測が行われたら、 sklearn.metricsを使用してください。

例：分類

sklearn.model_selectionからimport train_test_splitから
Sklearn.EnsembleインポートRandomForestClassifierから
sklearn.metrics Import arquircy_score、precision_recall_fscore_support、roc_auc_score、compans_matrixから
sklearn.datasetsからImport make_classificationから

＃サンプルデータを生成します
x、y = make_classification（n_samples = 1000、n_features = 10、n_classes = 2、random_state = 42）
x_train、x_test、y_train、y_test = train_test_split（x、y、test_size = 0.3、random_state = 42）

＃列車モデル
Model = randomforestClassifier（random_state = 42）
model.fit（x_train、y_train）
y_pred = model.predict（x_test）
y_prob = model.predict_proba（x_test）[:, 1]＃ポジティブクラスの確率

＃ 評価する
精度=精度_score（y_test、y_pred）
精度、リコール、f1、_ = precision_recall_fscore_support（y_test、y_pred、平均= 'binary'）
auc = roc_auc_score（y_test、y_prob）
cm = cuspry_matrix（y_test、y_pred）

印刷（f "精度：{精度：.3f}"）
print（f "precision：{precision：.3f}、recall：{recall：.3f}、f1：{f1：.3f}"）
印刷（f "roc-auc：{auc：.3f}"）
print（ "混乱マトリックス："）
印刷（cm）

例：回帰

Sklearn.EnsembleからImport RandomForestRegressorから
sklearn.metrics Import Mean_Absolute_Error、Means_Squared_Error、R2_Scoreから
sklearn.datasetsからImport make_regressionから

＃サンプルデータを生成します
x、y = make_regression（n_samples = 1000、n_features = 5、nose = 0.1、random_state = 42）
x_train、x_test、y_train、y_test = train_test_split（x、y、test_size = 0.3、random_state = 42）

＃列車モデル
reg_model = randomforestregressor（random_state = 42）
reg_model.fit（x_train、y_train）
y_pred = reg_model.predict（x_test）

＃ 評価する
mae = mean_absolute_error（y_test、y_pred）
mse = mean_squared_error（y_test、y_pred）
rmse = mse ** 0.5
r2 = r2_score（y_test、y_pred）

印刷（f "mae：{mae：.3f}"）
印刷（f "mse：{mse：.3f}"）
印刷（f "rmse：{rmse：.3f}"）
印刷（f "r²：{r2：.3f}"）

3。堅牢な評価のための交差検証

単一の列車テストの分割の代わりに、相互検証を使用して、より信頼性の高い見積もりを取得します。

 sklearn.model_selectionからImport cross_val_scoreから

＃分類用
cv_accuracy = cross_val_score（model、x、y、cv = 5、scoring = '精度'）
print（f "cv精度：{cv_accuracy.mean（）：。3f}（ / -  {cv_accuracy.std（） * 2：.3f}）"））

＃回帰の場合
cv_r2 = cross_val_score（reg_model、x、y、cv = 5、scoring = 'r2'）
print（f "cvr²：{cv_r2.mean（）：。3f}（ / -  {cv_r2.std（） * 2：.3f}）"）

一般的なスコアリングオプション： 'accuracy' 、 'precision' 、 'recall' 、 'f1' 、 'roc_auc' 、 'r2' 、 'neg_mean_squared_error'など。

4。パフォーマンスを視覚化する（オプションですが役立つ）

• ROC曲線：

  sklearn.metrics Import roc_curveから
  pltとしてmatplotlib.pyplotをインポートします

fpr、tpr、_ = roc_curve（y_test、y_prob）plt.plot（fpr、tpr、label = f "roc curve（auc = {auc：.2f}）"）plt.plot（[0、1]、[0、1]、 'k--'）plt.xlabel plt.title（ "roc curve"）plt.legend（）plt.show（）

 -  **混乱マトリックスヒートマップ**：
`` python
シーボーンをSNSとしてインポートします
sns.heatmap（cm、annot = true、fmt = 'd'、cmap = 'blues'）
plt.title（ "Confrise Matrix"）
plt.ylabel（ "実際の"）
plt.xlabel（ "予測"）
plt.show（）

基本的に、Pythonでモデルを評価することは、次のようになります。

• 問題に適したメトリックを選ぶ、
• scikit-learn関数を使用してそれを計算する、
• 相互検証による検証、
• オプションで結果を視覚化します。

それは複雑ではありませんが、間違ったメトリックを選択すること（不均衡なデータの精度など）を選択すると、誤解を招く可能性があります。そのため、「良いパフォーマンス」が実際に何を意味するのかを常に考えてください。

以上がPythonでの機械学習モデルのパフォーマンスを評価する方法は？の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。