分类模型的评估指标

1）混淆矩阵：

2）准确率：

3）精确率(查准率)：

4）召回率(recall，查全率)：

精准率和召回率是相互矛盾的两个参数；精准率变高，召回率会变低；反之亦然。

F1-score：综合精准率和召回率的指标

                  

5）PR曲线：

P-R曲线，即横轴为precision，纵轴为recall的曲线，通过不同模型之间曲线的高低，来判断模型的优劣，PR曲线也高，模型越优；

（1）如何绘制PR曲线

precision-recall的值，是根据分类的阈值(threshold)计算的，基于不同的阈值，precision-recall值也会波动。

在sklearn中，不能直接设置threshold，API采用model.decision_function(data)返回预测的得分值(score), 根据score>=threshold对data进行划分。

API使用方法：

decision_scores = model.decision_function(X_test)

plt.plot(precisions,recalls)

plt.show()

（2）如何观察PR曲线，根据PR曲线选择模型

      

如图所示，通过两个模型，或者两个模型给与不同的调参，绘制除了如上的两根PR曲线，显然，上面的曲线精度更高(pre一定的时候，recall更大），这种情况，说明上面曲线对应的模型更优；

6）ROC曲线

Receiver Operation Characteristic Curve

a. 曲线反应什么意义，如何根据曲线选择/调优模型(FPR,TPR)的面积

b. 如何绘制ROC曲线

c. ROC的应用场合：比较两个模型，孰优孰劣

7）AUC（area under ROC curve）指标：