机器学习个人总结

线性模型

1. 基本形式
   $d$d个属性描述示例$x=(x_1,x_2,\cdots,x_d)^T$x=(x1​,x2​,⋯,xd​)T(列向量$d\times1$d×1),其中，x_i是x在第i个属性取值。
   $f(x)=\omega_1x_1+\omega_2x_2+\cdots+\omega_dx_d+b$f(x)=ω1​x1​+ω2​x2​+⋯+ωd​xd​+b
   向量形式：
   $x=(x_1,x_2,\cdots,x_d)^T$x=(x1​,x2​,⋯,xd​)T
   $\omega=(\omega_1,\omega_2,\cdots,\omega_d)^T$ω=(ω1​,ω2​,⋯,ωd​)T
   $\color{Blue}f(x)=\omega^Tx+b$f(x)=ωTx+b
   或：
   $x=(x_1,x_2,\cdots,x_d,1)^T$x=(x1​,x2​,⋯,xd​,1)T
   $\hat{\omega}=(\omega_1,\omega_2,\cdots,\omega_d,b)^T$ω^=(ω1​,ω2​,⋯,ωd​,b)T
   $\color{Blue}f(x)=\hat{\omega}^Tx$f(x)=ω^Tx

2. 线性判别分析(LDA):二分类
   思想：投影到一条直线上，同类样例尽可能近，异类样例尽可能远。投影直线为$\omega$ω
   两类样本中心投影在直线上均值为：$\omega^T\mu_0$ωTμ0​、$\omega^T\mu_1$ωTμ1​
   两类样本的协方差分别为：$\omega^T\sum_0\omega$ωT∑0​ω、$\omega^T\sum_1\omega$ωT∑1​ω
   同类样例尽可能近：协方差尽可能小，即类内散度矩阵$S_\omega=\sum_0+\sum_1$Sω​=∑0​+∑1​尽可能小；
   异类样例尽可能远：中心之间距离尽可能远，即类间散度矩阵：$S_b=(\mu_0-\mu_1)(\mu_0-\mu_1)^T$Sb​=(μ0​−μ1​)(μ0​−μ1​)T尽可能大。
   定义"广义瑞利商"$\color{Blue}J=\frac{\omega^TS_b\omega}{\omega^TS_\omega\omega}$J=ωTSω​ωωTSb​ω​，越大越好。
   由于分子、分母都是$\omega$ω的二次多项式，因此解与$\omega$ω的长度无关，只与方向有关，那么可令$\omega^TS_\omega\omega=1$ωTSω​ω=1,
   则 $max \, J$maxJ等价于$min \,-\omega^TS_b\omega$min−ωTSb​ω
   即得：$S_b\omega=\lambda S_\omega\omega$Sb​ω=λSω​ω
   而，$S_b\omega$Sb​ω方向始终为$\mu_0-\mu_1$μ0​−μ1​,可令$S_b\omega=\lambda(\mu_0-\mu_1)$Sb​ω=λ(μ0​−μ1​),那么有：
   $\omega=S_\omega^{-1}(\mu_0-\mu_1)$ω=Sω−1​(μ0​−μ1​).
   将$S_\omega$Sω​进行奇异值分解可得$S_\omega^{-1}$Sω−1​。
   $\color{Red}**$∗∗当两类数据同先验、满足高斯分布且协方差相等时，LDA可达到最优分类。

3. 将LDA推广到多分类任务
   假定存在N个类，第i类示例数为$m_i$mi​，所有示例的均值向量为$\mu$μ。定义：
   全局散度矩阵$S_t=S_\omega+S_b=\sum\limits_{i=1}^{m}(x_i-\mu)(x_i-\mu)^T$St​=Sω​+Sb​=i=1∑m​(xi​−μ)(xi​−μ)T
   重定义$S_\omega=\sum\limits_{i=1}^{N}S_{\omega i}$Sω​=i=1∑N​Sωi​,
   其中，$S_{\omega i}=\sum\limits_{x\in X_i}(x-\mu_i)(x-\mu_i)^T$Sωi​=x∈Xi​∑​(x−μi​)(x−μi​)T
   $X_i$Xi​为第$i$i类数据集，$\mu_i$μi​为该类的均值向量。
   $S_b=S_t-S_\omega=\sum\limits_{i=1}^{N}m_i(\mu_i-\mu)(\mu_i-\mu)^T$Sb​=St​−Sω​=i=1∑N​mi​(μi​−μ)(μi​−μ)T,使用$S_t,S_\omega,S_b$St​,Sω​,Sb​中任意两个即可解决多分类问题。

4. 多分类学习
   OvO:产生$N(N-1)/2个$N(N−1)/2个二分类学习器，在测试阶段，将新样本放入所有的二分类学习器中测试，得出$N(N-1)$N(N−1)个结果，把预测得最多的类别作为分类结果。($\color{Blue}空间开销大，训练时间开销小$空间开销大，训练时间开销小)
   OvR:产生$N$N个二分类学习器，在测试阶段，得出$N$N个结果，若仅有一个学习器预测为正类，则对应的类标作为最终分类结果。若有多个学习器预测为正类，则考虑各个分类器的预测置信度，选择置信度最大的类别作为分类标记结果。($\color{Blue}空间开销小，训练时间开销大$空间开销小，训练时间开销大)
   MvM:常用纠错输出码(ECOC)完成正反类构造。海明距离：序列相同位置上不同数据的个数。
   欧氏距离：即两点之间的距离，$\sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$(x1​−x2​)2+(y1​−y2​)2​

5. 类别不平衡问题
   分类任务中不同类别的训练样本数目差别很大
   欠采样法：去掉一些数目过多的类别的训练样本
   过采样法：加入一些正例（假设正例数目太少），常用插值法
   阈值移动：采用原始训练集训练。但对于线性分类器而言，$y>0.5$y>0.5时判定为正例，$y<0.5$y<0.5时判定为正例，而$\frac{y}{1-y}$1−yy​表示正例可能性和反例可能性的几率，以0.5为阈值意味着分类器决策规则为： $\frac{y}{1-y}>1$1−yy​>1；然而，当正反例数目不一致时，观测几率为：$\frac{m^+}{m^-}$m−m+​，由于通常假设训练集是真实样本总体的无偏采样，因此观测几率代表了真实几率。所以，只要分类器的预测几率高于观测几率就判为正例，即决策规则为：$\color{Blue}\frac{y}{1-y}>\frac{m^+}{m^-}$1−yy​>m−m+​，实际实现时令：$\frac{y'}{1-y'}=\frac{y}{1-y}\frac{m^-}{m^+}$1−y′y′​=1−yy​m+m−​再同1比较判别类别。