机器学习复习3-模型评估与选择Part2-ROC与AUC等

ROC与AUC

机器学习复习3-模型评估与选择Part2-ROC与AUC等
机器学习复习3-模型评估与选择Part2-ROC与AUC等
机器学习复习3-模型评估与选择Part2-ROC与AUC等
机器学习复习3-模型评估与选择Part2-ROC与AUC等

代价敏感错误率与代价曲线

机器学习复习3-模型评估与选择Part2-ROC与AUC等
在非均等代价下,ROC曲线不能直接反映出学习器的期望总体代价,而 “代价曲线” 可以。

FNR=1-TPR 为假反例率。
机器学习复习3-模型评估与选择Part2-ROC与AUC等

比较检验

如何比较度量的结果:
1) 假设检验
2) 交叉验证t检验

3) McNemar检验
4) Friedman检验 与 Nemenyi后续检验

偏差与方差

机器学习复习3-模型评估与选择Part2-ROC与AUC等
不考虑噪声,偏差很大可以认为是由模型欠拟合引起的,方差很大可以认为是由模型过拟合引起的。