Python에서 기계 학습 모델의 성능을 평가하는 방법은 무엇입니까?

적절한 평가 표시기 선택 : 분류 작업은 정확도, 정확도, 리콜, F1 점수, ROC-AUC 및 Confusion Matrix를 사용하며 회귀 작업은 MAE, MSE, RMSE 및 R²를 사용합니다. 2. Scikit-Learn을 사용하여 지표를 계산하고 Sklearn.metrics 모듈의 기능을 통해 분류 및 회귀 모델의 평가를 구현하십시오. 3. 단일 분열로 인한 편차를 피하기 위해보다 강력한 성능 평가를 수행하기 위해 교차 검증 (Cross_val_score)을 사용하십시오. 4. 선택적으로 ROC 곡선 및 혼동 매트릭스 열 측정법을 통해 모델 성능을 시각화합니다. 모델을 평가하는 열쇠는 문제에 따라 적절한 지표를 선택하고 교차 검증 및 시각적 포괄적 인 분석을 결합하여 모델 효과를 정확하게 판단하고 지표의 오용으로 인한 잘못된 결론을 피하는 것입니다.

Python에서 머신 러닝 모델의 성능을 평가하려면 문제 유형 (정류, 회귀 또는 기타)에 따라 올바른 메트릭 및 도구를 선택하고 scikit-learn 과 같은 라이브러리를 사용하여 계산합니다. 효과적으로 수행하는 방법은 다음과 같습니다.

1. 올바른 평가 메트릭을 선택하십시오

첫 번째 단계는 작업에 따라 적절한 메트릭을 선택하는 것입니다.

분류 작업 :

• 정확도 : 올바른 예측의 비율. 수업이 균형을 잡을 때 좋습니다.
• 정밀도, 리콜, F1- 점수 : 불균형 데이터 세트에 대한 유익한 정보.
  • 정밀도 : 예측 된 모든 긍정적 인 중에서 실제 긍정적 인 것은 몇 명입니까?
  • 리콜 (민감도) : 모든 실제 긍정적 인 중 어느 것이 올바르게 예측 되었습니까?
  • F1- 점수 : 고조파 정밀도 및 리콜 수단.
• ROC-AUC : 모델이 예측 순위가 얼마나 잘 순위를 매기는지 측정합니다. 확률 출력으로 이진 분류에 유용합니다.
• 혼란 매트릭스 : 상세한 분석을 위해 진정한 긍정적, 오 탐지 등을 보여줍니다.

회귀 작업의 경우 :

• 평균 절대 오차 (MAE) : 예측 된 값과 실제 값의 평균 절대 차이.
• 평균 제곱 오류 (MSE) : 더 큰 오류를 더 크게 불평합니다.
• 루트 평균 제곱 오류 (RMSE) : 원래 스케일의 MSE.
• R² (R-Squared) : 모델에 의해 설명 된 변동의 비율 (1에 가깝습니다).

2. Scikit-Learn을 사용하여 메트릭을 계산하십시오

모델이 훈련되고 예측이 이루어지면 sklearn.metrics 사용하십시오.

예 : 분류

 sklearn.model_selection import train_test_split
sklearn. ensemble import randomforestclassifier
skearn.metrics import accuracy_score, precision_recall_fscore_support, roc_auc_score, confusion_matrix
sklearn.datasets import make_classification

# 샘플 데이터를 생성합니다
x, y = make_classification (n_samples = 1000, n_features = 10, n_classes = 2, random_state = 42)
x_train, x_test, y_train, y_test = train_test_split (x, y, test_size = 0.3, random_state = 42)

# 기차 모델
Model = RandomForestClassifier (random_state = 42)
model.fit (x_train, y_train)
y_pred = model.predict (x_test)
y_prob = model.predict_proba (x_test) [:, 1] # 양수 클래스의 확률

# 평가하다
정확도 = accuracy_score (y_test, y_pred)
정밀, 리콜, f1, _ = precision_recall_fscore_support (y_test, y_pred, 평균 = 'binary')
auc = roc_auc_score (y_test, y_prob)
cm = confusion_matrix (y_test, y_pred)

print (f "정확도 : {정확도 : .3f}")
print (f "정밀 : {정밀 : .3f}, 리콜 : {Recall : .3f}, f1 : {f1 : .3f}")
print (f "roc-auc : {auc : .3f}")
print ( "혼란 매트릭스 :")
인쇄 (cm)

예 : 회귀

 sklearn. ensemble import randomforestregressor
Sklearn.metrics에서 import mean_absolute_error, means_squared_error, r2_score
sklearn.datasets import make_regression

# 샘플 데이터를 생성합니다
x, y = make_regression (n_samples = 1000, n_features = 5, Noise = 0.1, random_state = 42)
x_train, x_test, y_train, y_test = train_test_split (x, y, test_size = 0.3, random_state = 42)

# 기차 모델
reg_model = random_state = 42)
reg_model.fit (x_train, y_train)
y_pred = reg_model.predict (x_test)

# 평가하다
mae = mean_absolute_error (y_test, y_pred)
mse = mean_squared_error (y_test, y_pred)
RMSE = MSE ** 0.5
r2 = r2_score (y_test, y_pred)

print (f "mae : {mae : .3f}")
print (f "mse : {mse : .3f}")
print (f "rmse : {rmse : .3f}")
print (f "r² : {r2 : .3f}")

3. 강력한 평가를위한 교차 검증

단일 열차 테스트 분할 대신 교차 검증을 사용하여보다 신뢰할 수있는 추정치를 얻으십시오.

 sklearn.model_selection에서 import cross_val_score

# 분류 용
cv_accuracy = cross_val_score (모델, x, y, cv = 5, 스코어링 = '정확도')
print (f "cv 정확도 : {cv_accuracy.mean () :. 3f} ( /- {cv_accuracy.std () * 2 : .3f}").

# 회귀 용
cv_r2 = cross_val_score (reg_model, x, y, cv = 5, scoring = 'r2')
print (f "cv r² : {cv_r2.mean () :. 3f} ( /- {cv_r2.std () * 2 : .3f})")

일반적인 스코어링 옵션 : 'accuracy' , 'precision' , 'recall' , 'f1' , 'roc_auc' , 'r2' , 'neg_mean_squared_error' 등

4. 성능 시각화 (선택 사항이지만 유용)

• ROC 곡선 :

  Sklearn.metrics import roc_curve
  matplotlib.pyplot을 plt로 가져옵니다

fpr, tpr, _ = roc_curve (y_test, y_prob) plt.plot (fpr, tpr, label = f "roc 곡선 (auc = {auc : .2f})") plt.plot ([0, 1], [0, 1], 'k--') plt.xlabel ( "false positive rat") plt.title ( "Roc Curve") plt.legend () plt.show ()

- ** 혼란 매트릭스 열 맵 ** :
```Python
SABORN을 SNS로 수입하십시오
sns.heatmap (cm, annot = true, fmt = 'd', cmap = 'blues')
plt.title ( "혼란 매트릭스")
plt.ylabel ( "실제")
plt.xlabel ( "예측")
plt.show ()

기본적으로 파이썬에서 모델을 평가하는 것은 다음과 같습니다.

• 문제에 대한 올바른 메트릭을 선택하고
• scikit-learn 함수를 사용하여 계산하고
• 교차 검증으로 검증,
• 그리고 선택적으로 결과를 시각화합니다.

복잡하지는 않지만 잘못된 메트릭을 선택하면 (불균형 데이터의 정확도와 같은) 오해 할 수 있습니다. 따라서 항상 "좋은 성능"이 사용 사례에 어떤 의미가 있는지 생각해보십시오.

위 내용은 Python에서 기계 학습 모델의 성능을 평가하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!