机器学习模型评价指标准确率召回率精确率

    做机器学习相关内容的同学肯定得接触的一件事就是模型的评价指标,我会把我收集的内容总结一下。

    首先举一个简单的例子:

     假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了.

     我们先谈到正确率accurcy的计算,在这个例子中这个人一共分对了70个人,因此accurcy为0.7.

     机器学习模型评价指标准确率召回率精确率

       在正负样本不平衡的情况下,准确率这个评价指标有很大的缺陷。假设女性是正样本,男性是负样本在这个例子中TP=20,FP=30,FN=0,TN=50.

2.精确率precision的定义为:

机器学习模型评价指标准确率召回率精确率

精确率计算为表示被分为正例的示例中实际为正例的比例。此例计算得0.4

3、召回率(recall)


召回率是覆盖面的度量,度量有多个正例被分为正例,recall=TP/(TP+FN)=TP/P=sensitive,可以看到召回率与灵敏度是一样的。召回率为100%

4.综合评价指标F1

P和R指标有时候会出现的矛盾的情况,这样就需要综合考虑他们,最常见的方法就是F-Measure(又称为F-Score)。 

机器学习模型评价指标准确率召回率精确率

最后总结一下,准确率就是找得对,召回率就是找得全。准确率和召回率是互相影响的,理想情况下肯定是做到两者都高,但是一般情况下准确率高、召回率就低,召回率低、准确率高,当然如果两者都低,那是什么地方出问题了。一般情况,用不同的阀值,统计出一组不同阀值下的精确率和召回率,如下图:

机器学习模型评价指标准确率召回率精确率

PR(Precision-Recall)曲线