chap 3 线性模型

对率函数是任意阶可导的凸函数

多分类学习

MvM:

• ECOC, Error Correcting Output Codes
• DAG, Directed Acyclic Gragh
  比如，在图3.5中，分类器$f_2$f2​将$C_1$C1​类和$C_3$C3​类的样例作为正例，$C_4$C4​和$C_2$C2​类作为反例。
  

类别不平衡问题 class-imbalance

问题描述：分类任务中不同类别的训练样例数目差别很大的情况。
不失一般性，本节假定正类样例较少，反类样例较多。

在我们用$y=\bm{w}^T\bm{x}+b$y=wTx+b对新样本$\bm{x}$x进行分类时——是在用于测出的$y$y值与一个阈值进行比较，分类器决策规则为：
$if : y/(1-y) >1, then 预测为正例$if:y/(1−y)>1,then预测为正例 (3.46)
令$m^+$m+表示正例数目，$m^-$m−表示反例数目，则观测几率是$m^+/m^-$m+/m−，由于我们通常假设训练集是真实样本总体的无偏估计，观测几率即代表了真实几率。
$if:y/(1-y)>m^+/m^-,then 预测为正例$if:y/(1−y)>m+/m−,then预测为正例(3.48)

无偏采样：真实样本的总体类别比例在训练集中得以保持

我们的分类器是基于3.46进行决策，因此，需要对其预测值进行调整，使其在基于3.46决策时，实际是在执行3.47，因此，另
$\frac{y'}{1-y'}=\frac{y}{1-y}\times\frac{m^+}{m^-}$1−y′y′​=1−yy​×m−m+​
(3.48)
解决类不平衡的基本策略：再平衡/再缩放rescaling。

解决现实中没有“无偏采样”的做法：

• 欠采样/下采样(downsampling):对训练集里的反类进行欠采样，去除一些反例后再进行学习。

代表算法：EasyEnsemble

• 过采样/上采样(upsampling)：对训练集里的正例进行过采样，增加一些正例。

不能简单对初始正例样本进行重复采样，否则会造成严重过拟合，代表性算法：SMOTE

• 阈值移动(threshold-moving)：基于原始训练集进行学习，在训练好的分类器进行预测时将(3.48)嵌入到其决策过程中.

“再缩放”也是“代价敏感学习的基础”

阅读材料

稀疏表示 sparse representation

see chap11

习题

https://blog.****.net/icefire_tyh/article/details/52069025