Python模型性能评估需选对指标、用对工具、理解含义:二分类用Accuracy/Precision/Recall/F1/AUC,多分类加macro/micro平均,回归用MAE/MSE/RMSE/R²;scikit-learn可快速计算并可视化混淆矩阵与ROC曲线;注意数据类型一致、AUC需概率输入、不均衡时慎用Accuracy、推荐交叉验证。
直接用 Python 计算模型性能指标并不难,关键是选对指标、用对工具、理解数值背后的含义。下面从常用指标、代码实现、注意事项三方面讲清楚。
不同任务类型对应的核心指标不同:
l)、F1-score、AUC-ROC比如预测用户是否会点击广告,更关注“召回率”(别漏掉潜在点击用户),而银行风控可能更看重“精确率”(别把好人当坏人)。
以二分类为例,假设已有真实标签 y_true 和预测概率 y_pred_proba 或预测类别 y_pred:
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, confusion_matrix from sklearn.model_selection import train_test_split假设 model 已训练好,X_test, y_test 已准备好
y_pred = model.predict(X_test) # 硬预测 y_pred_proba = model.predict_proba(X_test)[:, 1] # 正类概率
print("Accuracy:", accuracy_score(y_test, y_pred)) print("Precision:", precision_score(y_test, y_pred)) print("Recall:", recall_score(y_test, y_pred)) print("F1-score:", f1_score(y_test, y_pred)) print("AUC:", roc_auc_score(y_test, y_pred_proba)) print("Confusion Matrix:\n", confusion_matrix(y_test, y_pred))
多分类只需加参数 average='macro' 或 'micro';回归任务换用 mean_absolute_error、r2_score 等即可。
单看数字不够直观,可视化能快速定位问题:
示例(需安装 matplotlib):
import matplotlib.pyplot as plt from sklearn.metrics import ConfusionMatrixDisplay, RocCurveDisplay混淆矩阵图
ConfusionMatrixDisplay.from_predictions(y_test, y_pred) plt.title("Confusion Matrix") plt.show()
ROC 曲线
RocCurveDisplay.from_predictions(y_test, y_pred_proba) plt.title("ROC Curve") plt.show()
实际用的时候常踩坑,注意这几点:
y_pred 和 y_test 数据类型一致(都是 int 或都转成 0/1)cross_val_score
基本上就这些。掌握这几个指标+几行代码,就能系统评估大多数模型了。