了解 MAE、MSE 和 RMSE：机器学习中的关键指标-Python教程-PHP中文网

Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

In der Welt des maschinellen Lernens ist die Bewertung der Leistung eines Modells von entscheidender Bedeutung. Diese Auswertung hilft uns zu verstehen, wie gut unser Modell Daten vorhersagt oder klassifiziert. Unter den vielen verfügbaren Metriken sind der mittlere absolute Fehler (MAE), der mittlere quadratische Fehler (MSE) und der mittlere quadratische Fehler (RMSE) drei der am häufigsten verwendeten Metriken. Aber warum nutzen wir sie? Was macht sie so wichtig?

1. Mittlerer absoluter Fehler (MAE)

Was ist MAE?

Der mittlere absolute Fehler misst die durchschnittliche Größe der Fehler in einer Reihe von Vorhersagen, ohne deren Richtung zu berücksichtigen. Es ist der Durchschnitt der absoluten Differenzen zwischen vorhergesagten Werten und tatsächlichen Werten.
Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

Warum MAE verwenden?

Interpretierbarkeit:MAE bietet eine klare, unkomplizierte Interpretation des durchschnittlichen Fehlers. Wenn der MAE im Durchschnitt 5 beträgt, weichen die Vorhersagen des Modells 5 Einheiten von den tatsächlichen Werten ab.
**Robustheit: **MAE ist im Vergleich zu MSE und RMSE weniger empfindlich gegenüber Ausreißern, da es die Fehlerterme nicht quadriert.

Wann sollte MAE verwendet werden?

MAE wird bevorzugt, wenn Sie ein direktes Verständnis des durchschnittlichen Fehlers wünschen, ohne die Auswirkungen großer Fehler zu übertreiben. Dies ist besonders nützlich, wenn der Datensatz Ausreißer aufweist oder die Fehlerkosten linear sind.

2. Mittlerer quadratischer Fehler (MSE)

Was ist MSE?

Der mittlere quadratische Fehler ist der Durchschnitt der quadrierten Differenzen zwischen den vorhergesagten und den tatsächlichen Werten.

Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

Warum MSE verwenden?

Fehlerverstärkung:Durch die Quadrierung der Fehler verleiht MSE größeren Fehlern mehr Gewicht, was es zu einer guten Metrik macht, wenn große Fehler besonders unerwünscht sind.
Mathematische Eigenschaften:MSE ist differenzierbar und wird häufig als Verlustfunktion in Optimierungsalgorithmen wie Gradient Descent verwendet, da ihre Ableitung einfach zu berechnen ist. Wann sollte MSE verwendet werden?

MSE wird häufig verwendet, wenn große Fehler problematischer sind als kleine und wenn Sie möchten, dass die Metrik große Abweichungen stärker bestraft. Es wird auch häufig beim Modelltraining verwendet, da es rechentechnisch praktisch ist.

3. Root Mean Squared Error (RMSE)

Was ist RMSE?

Root Mean Squared Error ist die Quadratwurzel des MSE. Es bringt die Metrik wieder auf den ursprünglichen Maßstab der Daten zurück und macht sie einfacher zu interpretieren als MSE.
Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

Warum RMSE verwenden?

Interpretierbarkeit im Maßstab: RMSE liegt im Gegensatz zu MSE im gleichen Maßstab wie die Originaldaten, wodurch sie besser interpretierbar sind.
Empfindlich gegenüber großen Fehlern: Wie MSE bestraft auch RMSE große Fehler, da es jedoch auf der Originalskala liegt, kann es eine intuitivere Messung der Fehlergröße liefern.

Wann sollte RMSE verwendet werden?

RMSE wird bevorzugt, wenn Sie eine Metrik wünschen, die große Fehler bestraft, die Ergebnisse aber dennoch in derselben Einheit wie die Originaldaten vorliegen müssen. Es wird häufig in Zusammenhängen verwendet, in denen die Verteilung der Fehlergrößen wichtig ist und es entscheidend ist, dass sie im gleichen Maßstab wie die Daten sind.

Auswahl der richtigen Metrik

Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

MAE对异常值更加稳健，并给出与数据相同单位的平均误差，方便解读。
MSE放大较大的误差，当较大的误差代价特别高昂时非常有用，并且在模型训练中经常用作损失函数。
RMSE结合了MSE和MAE的优点，提供了一个错误度量，可以惩罚大错误并保持可解释性。

在实践中，MAE、MSE 和 RMSE 之间的选择取决于当前问题的具体要求。如果您的应用程序需要简单、可解释的指标，MAE 可能是最佳选择。如果需要更严厉地惩罚较大的错误，MSE 或 RMSE 可能更合适。

图形表示

1. 建立和回归模型

以下是我们如何使用回归模型生成 MAE、MSE 和 RMSE 的图形表示：

雷雷

Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

2. 剧情说明

**蓝点：**这些代表实际的数据点。
红线：这是代表模型预测值的回归线。
灰线：这些虚线代表每个数据点的残差或误差。这些线的长度对应于误差大小。
MAE、MSE、RMSE：在图中进行了注释，显示这些值可帮助可视化模型性能的评估方式。

3. 解释

MAE：给出与数据相同单位的平均误差，显示数据点到回归线的平均距离。
MSE：对误差进行平方，更加强调较大的误差，常用于回归模型的训练。
RMSE：提供与原始数据相同规模的指标，使其比MSE更易于解释，同时仍然惩罚较大的错误。

训练机器学习模型

Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

训练机器学习模型时，特别是在回归任务中，选择正确的误差度量至关重要，因为它会影响模型的学习方式及其性能评估方式。我们来分解一下MAE、MSE、RMSE在模型训练中的意义：

1.MAE（平均绝对误差）

定义：MAE是预测值和实际值之间绝对差的平均值。

在模型训练中的意义：

对异常值的鲁棒性：与 MSE 和 RMSE 相比，MAE 对异常值不太敏感，因为它平等地对待所有错误，而不对它们进行平方。这意味着在训练过程中，模型的目标是最小化平均误差，而不会过分关注较大的误差。
线性惩罚：MAE的线性性质意味着每个错误对模型学习过程的影响与该错误的大小成正比。
Interpretability：MAE与原始数据的单位相同，更容易解释。如果 MAE 为 5，则意味着模型的预测平均偏差 5 个单位。

2.MSE（均方误差）

定义：MSE是预测值和实际值之间的平方差的平均值。

Significance in Model Training:

Sensitivity to Outliers: MSE is sensitive to outliers because it squares the error, making larger errors much more significant in the calculation. This causes the model to prioritize reducing large errors during training.
Punishing Large Errors: The squaring effect means that the model will penalize larger errors more severely, which can lead to a better fit for most data points but might overfit to outliers.
Smooth Gradient: MSE is widely used in optimization algorithms like gradient descent because it provides a smooth gradient, making it easier for the model to converge during training.
Model’s Focus on Large Errors: Since large errors have a bigger impact, the model might focus on reducing these at the cost of slightly increasing smaller errors, which can be beneficial if large errors are particularly undesirable in the application.

3. RMSE (Root Mean Squared Error)

Definition: RMSE is the square root of the average of the squared differences between the predicted and actual values.

Significance in Model Training:

Balance between MAE and MSE: RMSE retains the sensitivity to outliers like MSE but brings the error metric back to the original scale of the data, making it more interpretable than MSE.
Penalizes Large Errors: Similar to MSE, RMSE also penalizes larger errors more due to the squaring process, but because it takes the square root, it doesn’t exaggerate them as much as MSE does.
Interpretable Units: Since RMSE is on the same scale as the original data, it’s easier to understand in the context of the problem. For instance, an RMSE of 5 means that on average, the model’s prediction errors are about 5 units away from the actual values.
Optimization in Complex Models: RMSE is often used in models where the distribution of errors is important, such as in complex regression models or neural networks.

Visual Example to Show Significance in Model Training:

Let’s consider a graphical representation that shows how these metrics affect the model’s training process.

MAE Focuses on Reducing Average Error: Imagine the model adjusting the regression line to minimize the average height of the gray dashed lines (errors) equally for all points.
MSE Prioritizes Reducing Large Errors: The model might adjust the line more drastically to reduce the longer dashed lines (larger errors), even if it means increasing some smaller ones.
RMSE Balances Both: The model will make adjustments that reduce large errors but will not overemphasize them to the extent of distorting the overall fit.

import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error # Generate synthetic data with an outlier np.random.seed(42) X = 2 * np.random.rand(100, 1) y = 4 + 3 * X + np.random.randn(100, 1) y[98] = 30 # Adding an outlier # Train a simple linear regression model model = LinearRegression() model.fit(X, y) y_pred = model.predict(X) # Calculate MAE, MSE, and RMSE mae = mean_absolute_error(y, y_pred) mse = mean_squared_error(y, y_pred) rmse = np.sqrt(mse) # Plotting the regression line with errors plt.figure(figsize=(12, 8)) # Scatter plot of actual data points plt.scatter(X, y, color='blue', label='Actual Data') # Regression line plt.plot(X, y_pred, color='red', label='Regression Line') # Highlighting errors (residuals) for i in range(len(X)): plt.vlines(X[i], y[i], y_pred[i], color='gray', linestyle='dashed') # Annotating one of the residual lines plt.text(X[0] + 0.1, (y[0] + y_pred[0]) / 2, 'Error (Residual)', color='gray') # Adding annotations for MAE, MSE, RMSE plt.text(0.5, 20, f'MAE: {mae:.2f}', fontsize=12, bbox=dict(facecolor='white', alpha=0.5)) plt.text(0.5, 18, f'MSE: {mse:.2f}', fontsize=12, bbox=dict(facecolor='white', alpha=0.5)) plt.text(0.5, 16, f'RMSE: {rmse:.2f}', fontsize=12, bbox=dict(facecolor='white', alpha=0.5)) # Titles and labels plt.title('Linear Regression with MAE, MSE, and RMSE - Impact on Model Training') plt.xlabel('X') plt.ylabel('y') plt.legend() plt.show()

登录后复制

Understanding MAE, MSE, and RMSE: Key Metrics in Machine Learning

Explanation:

Outlier Impact: Notice how the model tries to adjust for the outlier in the upper region, which affects MSE and RMSE more significantly.

Model Training Implications:

With MAE: The model may place less emphasis on the outlier, leading to a fit that is more balanced but less sensitive to extreme deviations.
With MSE and RMSE: The model might adjust more aggressively to minimize the impact of the outlier, which can lead to a more distorted fit if outliers are rare.

Choosing the right approach for training a model depends on the specific problem you’re trying to solve, the nature of your data, and the goals of your model. Here’s a guide to help you decide which metric (MAE, MSE, RMSE) to focus on, along with considerations for training your model:

1. Nature of the Data

Presence of Outliers:

MAE: If your data contains outliers, and you don’t want these outliers to disproportionately affect your model, MAE is a good choice. It treats all errors equally, so a few large errors won’t dominate the metric.
MSE/RMSE: If outliers are expected and meaningful (e.g., extreme but valid cases), and you want your model to account for them strongly, MSE or RMSE might be more appropriate.

Homogeneous Data:

If your data is relatively homogeneous, without significant outliers, MSE or RMSE can help capture the overall performance, focusing more on the general fit of the model.

2. 模型的目标

可解释性：

MAE：提供更容易的解释，因为它与目标变量具有相同的单位。如果原始单位的可解释性很重要，并且您想用简单的术语理解平均误差，那么 MAE 是更好的选择。
RMSE：也可以用相同的单位解释，但重点是更多地惩罚较大的错误。

关注较大的错误：

MSE/RMSE：如果您更关心较大的错误，因为它们在您的应用程序中成本特别高或风险很大（例如，预测医疗剂量、财务预测），那么 MSE 或 RMSE 应该是您的重点。这些指标对较大的错误进行更多的惩罚，这可以指导模型优先考虑减少重大偏差。
MAE：如果您的应用程序平等对待所有错误，并且您不希望模型过度关注大偏差，那么 MAE 是更好的选择。