分类问题中的评价指标

表格汇总

ROC曲线

• Receiver Operating Characterostoc Curve
• x轴为FPR，y轴为TPR

AUC值

• AUC 被定义为ROC曲线下的面积，取值范围一般在0.5和1之间。

PR曲线

• Precision Recall Curve
• x轴recall，y轴为Precision

指标说明

1. 混淆矩阵

• 误差矩阵

2.TP，FP，TN，FN

• 真阳性（True Positives, TP）为真实值为1，预测值为1，即正确预测出的正样本个数
• 真阴性（True Negatives, TN）为真实值为0，预测值为0，即正确预测出的负样本个数
• 假阳性（False Posiives, FP）为真实值为0，预测值为1，即错误预测出的正样本个数（即数理统计的第一类错误）
• 假阴性（False Negatives, FN）为真实值为1，预测值为0，即错误预测出的负样本个数（即数理统计的第二类错误）
  • 阳性、阴性：这两个概念是从医学上引进的，一般来说，阳性（+）是表示疾病或体内生理的变化有一定的结果。相反，化验单或报告单上的阴性（－），则多数基本上否定或排除某种病变的可能性。

3. F_1 Score

$F_1=\frac{2}{\frac{1}{Precssion}+\frac{1}{Recall}}=2\frac{Pression*Recall}{Pression+Recall}$F1​=Precssion1​+Recall1​2​=2Pression+RecallPression∗Recall​

4.F_Beta Score

$F_{\beta}=\frac{1}{\frac{1}{\beta+1}\frac{1}{Precession}+\frac{\beta}{\beta+1}\frac{1}{Recall}}\\=(1+\beta^)\frac{Precession*Recall}{\beta^*Pression+Recall}$Fβ​=β+11​Precession1​+β+1β​Recall1​1​=(1+β)β∗Pression+RecallPrecession∗Recall​

令$\beta^2$β2代替$\beta$β，则
$F_{\beta}==(1+\beta^2)\frac{Precession*Recall}{\beta^2*Pression+Recall}$Fβ​==(1+β2)β2∗Pression+RecallPrecession∗Recall​

• 召回率的权重是精确率权重的$\beta$β倍
• $\beta$β为0，则退化为$Pression$Pression
• $\beta$β无限大，则退化为$Recall$Recall
• $\beta=1$β=1，则变成$F_1 Score$F1​Score
• https://stats.stackexchange.com/questions/221997/why-f-beta-score-define-beta-like-that

参考自：https://www.****.net/gather_27/MtTacg5sNTM1NC1ibG9n.html