Python モデルのパフォーマンス ROC と AUC とは何ですか

Text

ROC 分析と曲線下面積 (AUC) は、さまざまなパラメーター化の下でモデルの品質を評価するために、信号処理から借用されたデータ サイエンスで広く使用されているツールです。 2 つ以上のモデルのパフォーマンスを比較します。

精度や再現率などの従来のパフォーマンス指標は、陽性サンプルの観察に大きく依存しています。したがって、ROC と AUC は、陽性と陰性の両方の観察を考慮して、真陽性率と偽陽性率を使用して品質を評価します。

問題を分解して機械学習を使用して問題を解決するまでのプロセスには、複数のステップがあります。これには、データの収集、クリーニングと特徴エンジニアリング、モデルの構築、そして最後にモデルのパフォーマンスの評価が含まれます。

モデルの品質を評価するときは、通常、データ マイニングの分野では、精度と再現率 (それぞれ信頼性と感度とも呼ばれます) などの指標を使用します。

これらのメトリクスは、予測値を、通常はホールドアウト セットからの実際の観測値と比較し、混同行列を使用して視覚化します。

まず、陽性的中率とも呼ばれる精度に焦点を当てましょう。混同行列を使用すると、すべての真陽性とすべての予測陽性の比率として精度を構築できます。

真陽性率とも呼ばれる再現率は、観察されたすべての陽性者および予測された陽性者に対する真陽性者の比率を表します。

混同行列でさまざまな観測値のセットを使用して Precision と Recall を説明すると、これらの指標がどのように機能するかを理解し始めることができます。モデルのパフォーマンス ビューに通知します。

精度と再現率は、否定的な例を考慮せず、肯定的な例と予測のみに焦点を当てていることに注意してください。さらに、モデルのパフォーマンスをシナリオの中央値と比較していませんが、これは単なるランダムな推測にすぎません。

1. ROC Curve

ROC は、精度と再現率の間のトレードオフを視覚化するために使用される要約ツールです。 ROC 分析では、ROC 曲線を使用して、バイナリ信号の値がどの程度ノイズ、つまりランダム性によって汚染されているかを判断します。これは、さまざまな操作点にわたる連続予測子の感度と特異度の概要を提供します。 ROC 曲線は、Y 軸の真陽性率に対して X 軸に偽陽性率をプロットすることで得られます。

真陽性率はシグナルを検出する確率であり、偽陽性率は偽陽性の確率であるため、ROC 分析は病気や病気を確実に検出するしきい値を決定するために医学研究でも広く使用されています。他の行動。

完璧なモデルでは偽陽性率と真陽性率が 1 に等しいため、ROC プロットの左上隅にある単一の操作点になります。 。そして、考えられる最悪のモデルでは、ROC プロットの左下隅に単一の操作点があり、偽陽性率が 1 に等しく、真陽性率が 0 に等しくなります。

ランダム推測モデルは結果を正しく予測できる確率が 50% であるため、偽陽性率は常に真陽性率と等しくなります。グラフに対角線があるのはこのためです。これは、信号とノイズを検出する確率が 50/50 であることを表しています。

2. AUC 面積

ROC 曲線を完全に分析し、モデルのパフォーマンスを他のいくつかのモデルと比較するには、実際に曲線下面積 (AUC) を計算する必要があります。文献では c 統計量と呼ばれています。曲線下面積 (AUC) は 0 ～ 1 の値を持ちます。これは、曲線が 1x1 グリッド上にプロットされ、信号理論に平行しているためであり、信号の検出可能性の尺度になります。

これは、モデルが実際の観測値と誤った観測値をどの程度ランク付けしているかがわかるため、非常に便利な統計です。これは実際には、ウィルコクソン・マン・ホイットニー順位和検定の正規化バージョンであり、2 つの順序付けされた測定サンプルが 1 つの分布から抽出される帰無仮説を検定します。

ROC 曲線をプロットして曲線下面積 (AUC) を計算するには、SckitLearn の RocCurveDisplay メソッドを使用し、同じ分類タスクを解決するために多層パーセプトロンをランダム フォレスト モデルと比較することにします。

以上がPython モデルのパフォーマンス ROC と AUC とは何ですかの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。