分类问题的评价指标

姓名：Jyx
课程：csdn人工智能直通车-5期
描述：这是本人学习人工智能课程时的学习笔记，加深理解

分类问题同回归问题一样，也可以采用损失函数作为评价指标，
一、以损失函数作为评价指标
1.1 logistic／负log似然损失（log_loss):

\begin{matrix} (2) & - l o g l o s s = - \frac{1}{N} \sum_{i = 1}^{N} \sum_{j = 1}^{M} y_{i j} \log p_{i j} y_{i j} = {\begin{cases} 1, i \neq j \\ 0, i = j \end{cases}, p_{i j} 代表预测为 i 类实际为第 j 类的概率,N代表样本数，M代表类别数 \end{matrix}

1.2 0-1损失

M C E = - \frac{1}{N} \sum_{\hat{y_{i}} \neq y_{i}} 1

二、混淆矩阵
针对分类问题特有的评价指标
2.1 混淆矩阵

	$p r e d_{1}$	$p r e d_{0}$	$\sum$
$r e a l_{1}$	TP	FN	$N_{+}$
$r e a l_{0}$	FP	TN	$N_{-}$
$\sum$	${\hat{N}}_{+}$	${\hat{N}}_{-}$

精度(accuracy)： $a c c u r a c y = \frac{T P + T N}{N}$
错误率(error rate): $e r r o r r a t e = \frac{F P + F N}{N}$

\begin{aligned} P P V (p o s i t i v e p r e d i c t i v e v a l u e) = \frac{T P}{T P + F N} = \frac{T P}{{\hat{N}}_{+}}, 预测结果为真的样本中真正为真的比例 \\ F D R (f a l s e d i s c o v e r r a t e) = \frac{F N}{T P + F N} = 1 - P P V \\ T P R = \frac{T P}{N_{+}}, 预测为真的样本中真正为真的样本占真正为真的的样本的比例，又称为 r e c a l l \\ F P R = \frac{F P}{N_{-}}, 预测结果将多少假的样本预测成了真 \end{aligned}

一点分析：f1 socre 与FPR, TPR之间的关系，

\begin{aligned} 假定 N_{p} 代表样本中真正的正样本个数， N_{n} 代表样本中真正的负样本个数 \\ P P V = \frac{T P}{T P + F P} = \frac{N_{p} T P R}{N_{p} T P R + N_{n} F P R} \\ f 1 s c o r e = \frac{2}{\frac{1}{P P V} + \frac{1}{T P R}} = \frac{2 N_{p} T P R}{N_{p} + N_{p} T P R + F P R N_{n}} \\ 令 α = \frac{N_{n}}{N_{p}}, 则 \\ f 1 s o c r e = \frac{2 T P R}{1 + T P R + α F P R} \end{aligned}

参考wiki Positive and negative predictive values，Sensitivity and specificity
F1 score 是recall与precision的调和平均值,
即：

f 1 s c o r e = \frac{2}{\frac{1}{r e c a l l} + \frac{1}{p r e c i s i o n}} = \frac{2}{\frac{1}{T P R} + \frac{1}{P P V}}

2.2 ROC, Receiver operating characteristic
对于某一特定的算法，在给定不同分类阈值的情况下得到一系列TPR,FPR,以FPR为横坐标，TPR为纵坐标绘图，得到的就是ROC曲线，曲线下的面积就是AUC，对于不同的算法，一般而言auc越高的算法性能越好
分类问题的评价指标

A U C = \int_{0}^{1} T P R d F P R

2.3 PR(Precision and recall) 曲线
负样本非常多，因此 $F P R = F P / N_{-}$ 总是很小，考察TPR和FPR不是很有意义，这是候我们就只讨论正样本，考察TPR（recall）和PPV(pricision).,

2.4 PR curve
PR 曲线信息检索中定义的一种曲线，并不适用于一般的分类问题。假定k为每次检索返回的信息条目数量，很显然，根据我们的定义recall将随k的增大而增大，precision将随k的增大而减小。在不同的k下得到一组recall，pricision值，绘制在同一坐标系中就是PR曲线。
分类问题的评价指标
AP（average pricision): PR曲线下的面积就是AP
MAP(mean average pricision): 对多次查询得到的AP进行平均就是MAP
[email protected]: 不计算全部，只计算pricision最高的前k个的AP
[email protected]多次查询[email protected]的平均值

分类问题的评价指标

相关推荐