Baca penunjuk penilaian model klasifikasi dalam satu artikel

Penilaian model ialah bahagian yang sangat penting dalam pembelajaran mendalam dan pembelajaran mesin, digunakan untuk mengukur prestasi dan keberkesanan model. Artikel ini akan memecahkan matriks kekeliruan, ketepatan, ketepatan, ingat kembali dan skor F1 langkah demi langkah

Matriks Kekeliruan

Matriks kekeliruan digunakan untuk menilai prestasi model dalam masalah klasifikasi , ia ialah model tunjuk cara pada jadual Pengelasan sampel. Baris mewakili kategori sebenar dan lajur mewakili kategori yang diramalkan. Untuk masalah klasifikasi binari, struktur matriks kekeliruan adalah seperti berikut:

• True Positive (TP): Bilangan sampel yang sebenarnya merupakan contoh positif, model meramalkan sebagai contoh positif, dan keupayaan model untuk mengenal pasti kejadian positif dengan betul. TP yang lebih tinggi biasanya diingini
• False Negative (FN): Bilangan sampel yang sebenarnya positif dan diramalkan oleh model sebagai negatif, bergantung pada aplikasi ini boleh menjadi kritikal (mis. gagal mengesan ancaman keselamatan).
• Positif Palsu (FP): Bilangan sampel yang sebenarnya negatif dan diramalkan positif oleh model, menekankan kes di mana model meramalkan positif apabila tidak sepatutnya, yang mungkin mempunyai akibat bergantung pada aplikasi (Contohnya , rawatan yang tidak perlu dalam diagnosis perubatan)
• True Negative (TN): Bilangan sampel yang sebenarnya adalah contoh negatif dan diramalkan oleh model sebagai contoh negatif mencerminkan keupayaan model untuk mengenal pasti kejadian negatif dengan betul. Biasanya TN yang lebih tinggi diperlukan

Ia kelihatan tidak kemas untuk pemula, tetapi ia sebenarnya agak mudah. Negatif/Positif di belakang ialah nilai ramalan model, dan Betul/Salah di hadapan ialah ketepatan ramalan model. Contohnya, True Negative bermaksud ramalan model adalah negatif dan konsisten dengan nilai sebenar, iaitu ramalan adalah betul. Ini menjadikannya lebih mudah untuk difahami. Berikut ialah matriks kekeliruan mudah:

from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()

Gunakan TP dan TN apabila anda ingin menekankan ramalan yang betul dan ketepatan keseluruhan. Gunakan FP dan FN apabila anda ingin memahami jenis ralat yang dibuat oleh model anda. Contohnya, dalam aplikasi yang kos positif palsu adalah tinggi, meminimumkan positif palsu mungkin kritikal.

Sebagai contoh, mari kita bincangkan tentang pengelas spam. Matriks kekeliruan membantu kami memahami bilangan e-mel spam yang dikenal pasti dengan betul oleh pengelas dan bilangan e-mel bukan spam yang ditandakan dengan betul sebagai spam

Berdasarkan matriks kekeliruan, banyak metrik penilaian lain boleh dikira seperti ketepatan, tahap ketepatan, ingat dan markah F1.

ACCURACY

According ke ringkasan kami di atas, apa yang dikira adalah perkadaran yang boleh diramalkan dengan betul. model

Ketepatan

Anda boleh melihat formula Ia mengira perkadaran Positif, iaitu, berapa banyak positif dalam data yang diramalkan dengan betul, jadi ketepatan kadar juga dipanggil ketepatan.

Ini menjadi sangat penting dalam situasi di mana penggera palsu mempunyai akibat atau kos yang ketara. Mengambil model diagnosis perubatan sebagai contoh, ketepatan dipastikan untuk memastikan bahawa hanya mereka yang benar-benar memerlukan rawatan menerima rawatan, juga dikenali sebagai sensitiviti atau kadar positif sebenar, merujuk kepada model yang menangkap semua kelas positif

Formula pengiraan skor F1 ialah: F1 = 2 * (Ketepatan * Ingat) / (Ketepatan + Ingat) Antaranya, ketepatan merujuk kepada perkadaran sampel yang diramalkan sebagai contoh positif oleh model yang sebenarnya adalah contoh positif kadar ingatan merujuk kepada perkadaran bilangan sampel yang diramalkan dengan betul sebagai contoh positif oleh model kepada bilangan sampel yang sebenarnya; contoh positif. Skor F1 ialah min harmonik bagi ketepatan dan ingatan semula, yang boleh mempertimbangkan secara menyeluruh ketepatan dan kekomprehan model untuk menilai prestasi model antara kadar. Apabila anda ingin mencari keseimbangan antara ketepatan dan ingat semula, atau untuk aplikasi umum, anda boleh menggunakan F1 Score

Ringkasan

Dalam artikel ini, kami memperkenalkan matriks kekeliruan, ketepatan, ketepatan, ingatan semula dan skor F1 secara terperinci, dan menunjukkan bahawa penunjuk ini boleh menilai dan meningkatkan prestasi model dengan berkesan

Atas ialah kandungan terperinci Baca penunjuk penilaian model klasifikasi dalam satu artikel. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!