常用机器学习评估指标
常见机器学习评估指标 晓伟 https://zhuanlan.zhihu.com/p/65663148
机器学习评估指标黄言https://zhuanlan.zhihu.com/p/36305931
Python机器学习笔记：常用评估指标的用法 https://www.cnblogs.com/wj-1314/p/9400375.html【还讲了聚类算法的评估指标】
评估指标用于评价模型的好坏，即模型在测试集上的泛化能力。
机器学习评估指标大致可以分成两类，回归（Regression）算法指标和分类（Classification)算法指标。
回归（Regression）算法指标
常用的回归（Regression）算法指标有平均绝对误差（Mean Absolute Error）、均方误差（Mean Squared Error)和均方根误差（Root Mean Squared Error)三种。
平均绝对误差（Mean Absolute Error)
平均绝对误差（Mean Absolute Error，简称MAE)从几何意义上来看，它表示预测值和实际值之间的平均距离。
它的公式如下：
平均绝对误差（Mean Absolute Error）这个评价指标比较直观好理解，但是由于公式里有绝对值，导致了函数不光滑，在某些点上不能求导。作为改进方案，我们可以把绝对值改成平均距离的平方，也就是均方误差（Mean Squared Error)。
均方误差（Mean Squared Error)
均方误差（Mean Squared Error，简称MSE)，从几何意义上来说，它可以看成预测值和实际值的平均距离的平方.
它的公式如下：
均方误差（Mean Squared Error）解决了平均绝对误差（Mean Absolute Error)不能求导的问题，但是它的大小和目标变量不在一个尺度上（量纲不一样）。为了解决这个问题，我们可以对均方误差（Mean Squared Error）的结果进行开方，于是得到均方根误差。
均方根误差（Root Mean Squared Error）
均方根误差（Root Mean Squared Error, 简称RMSE)是由均方误差（Mean Squared Error)开平方得到的结果， 它解决了均方误差（Mean Squared Error）与目标变量值量纲不一致的问题。
它的公式如下：
分类（Classification)算法指标
常见的分类（Classification）算法指标主要有精度（Accuracy）、准确率和召回率、ROC曲线和AUC空间这几种。
预备知识：混淆矩阵（Confusion Matrix）
混淆矩阵（Confusion Matrix）用矩阵的形式展现了机器学习模型的预测结果。它一般写成下面的形式：
精度（Accuracy）
精度（Accuracy)表示的是预测正确的样本占总样本的比例。参照上面混淆矩阵的表示，它的公式可以写成下面的样子：
精度（Accuracy）这个指标简单直观，但是有两个不足的地方。
一个是它无法衡量有倾向性的问题。比如机场用X光扫描行李的场景，因为行李中有危险品的后果会比没有危险品的后果严重很多，所以这个时候，精度99%和精度100%的意义也是有很大区别的。
另一个是它无法衡量样本类别数量严重不均衡的情况。如果100个西瓜里有99个好瓜，只有一个坏瓜，那么这个时候我们把所有的西瓜都预测成好瓜，就会得到99%的精度，但这个结果却没有什么实际的意义。
准确率（Precision）和召回率（Recall）
准确率（Precision）又被称作查准率，它表示模型预测结果为正的样本中，预测正确的比例。它的公式如下：
召回率（Recall）又被称作查全率，它表示模型预测结果为正的样本占所有正样本的比例。它的公式如下：
ROC曲线和AUC空间
- 预备知识：假阳性率（FPR）和真阳性率（TPR）
假阳性率（FPR)表示在所有的负样本中，模型预测结果为正的比例。它的公式如下：
真阳性率（TPR）表示在所有的正样本中，模型预测结果为正的比例，其实也就是召回率（Recall）。它的公式如下：
2. ROC（Receiver Operating Characteristic）曲线
以假阳性率（FPR）为横轴，真阳性率（TPR）为纵轴，描绘出所有的预测点FPR和TPR，则可以得到一个ROC曲线，如下图中的绿线所示。
3. AUC（Area Under Curve）空间
ROC曲线所覆盖的面积就被称为AUC空间（上图中的灰色区域）。
我们可以通过AUC空间的大小来判断模型的预测能力。一般来说，AUC的空间越大，模型的预测能力越好。
AUC = 1 :
- 完美分类器。
0.5 < AUC < 1 :
- 优于随机猜测。
AUC = 0.5 :
- 跟随机猜测（抛硬币）一样。
AUC < 0.5 :
- 比随机猜测的效果还差。但只要每次取预测结果的反面，效果还是比抛硬币要好的。