分类评价指标

有些东西虽然简单,但是还是要过个7、8遍才不容易记混记乱。

分类评价指标

  1. Accuracy

  2. Sensitivity
    在患病的所有人中(已经明确知道数据的分布了!),预测正确(判断为有病)的有多少?
    Sensitivity=TPTP+FNSensitivity = \frac{TP}{TP + FN}

  3. Specificity
    在未患病的所有人中(已经明确知道数据的分布了!),预测正确(判断为没病)的有多少?
    Specificity=TNTN+FPSpecificity=\frac{TN}{TN + FP}

  4. Recall
    Sensitivity = Recall;再提一遍——已经明确知道数据的分布了!

  5. Precision
    预测的都是有病的人中,真正有病的人有多少——查准率。
    Precision=TPTP+FPPrecision = \frac{TP}{TP + FP}

  6. PPV-positive predictive value
    预测的都是有病的人中,真正有病的人有多少——查准率。
    PPV=TPTP+FPPPV = \frac{TP}{TP + FP}
    ⚠️: PPV = Precision

  7. NPV-negative predictive value
    在预测的所有没有病的人中,真正没病的人所占的比例。
    NPV=TNTN+FNNPV = \frac{TN}{TN + FN}

  8. AUC - ROC曲线下方的面积大小
    ROC:参考*

从AUC判断分类器(预测模型)优劣的标准:

  • AUC = 1,是完美分类器,采用这个预测模型时,存在至少一个阈值能得出完美预测。绝大多数预测的场合,不存在完美分类器。
  • 0.5 < AUC < 1,优于随机猜测。这个分类器(模型)妥善设定阈值的话,能有预测价值。
  • AUC = 0.5,跟随机猜测一样(例:丢铜板),模型没有预测价值。
  • AUC < 0.5,比随机猜测还差;但只要总是反预测而行,就优于随机猜测。