LDA线性判别分析

LDA$($(Linear Discriminant Analysis$)$)的原理是，将数据通过线性投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。如下图：

待分数据$X$X有$m$m个样本
$X=\{x_1,x_2,x_3,\text{…},x_i,\text{…},x_m\}$X={x1​,x2​,x3​,…,xi​,…,xm​}
其中，$x_i$xi​是第$i$i个样本，有$n$n个特征,
$x_i=\{x_i^1,x_i^2,x_i^3,\text{…},x_i^j,\text{…},x_i^n\}$xi​={xi1​,xi2​,xi3​,…,xij​,…,xin​}
类别标签有两类，$D_1$D1​和$D_2$D2​
投影函数为
$Y=W^TX$Y=WTX
Y为投影后的数据点。
设第$D_i$Di​类有$k$k个样本，则第$D_i$Di​类的原始数据的均值为
$u_i=\frac{1}{k}\sum_{x\in D_i}x$ui​=k1​x∈Di​∑​x
第$D_i$Di​类的原始数据方差为
$S_i^2=\sum_{x\in D_i}(x-u_i)(x-u_i)^T$Si2​=x∈Di​∑​(x−ui​)(x−ui​)T
线性映射后的第$D_i$Di​类的均值为
$\widehat u_i =\frac{1}{k}\sum_{y\in D_i}y=\frac{1}{k}\sum_{x\in D_i}W^Tx=W^Tu_i$ui​=k1​y∈Di​∑​y=k1​x∈Di​∑​WTx=WTui​
线性映射后第$D_i$Di​类的方差为
$\begin{aligned} \widehat S_i^2 &=\sum_{y\in D_i}(y-\widehat u_i)(y-\widehat u_i)^T\\ &=\sum_{x\in D_i}(W^Tx-W^Tu_i)(W^Tx-W^Tu_i)^T\\ &=\sum_{x\in D_i}W^T(x-u_i)(x-u_i)^T(W^T)^T\\ &=\sum_{x\in D_i}W^T(x-u_i)(x-u_i)^TW\\ &=W^TS_i^2W \end{aligned}$Si2​​=y∈Di​∑​(y−ui​)(y−ui​)T=x∈Di​∑​(WTx−WTui​)(WTx−WTui​)T=x∈Di​∑​WT(x−ui​)(x−ui​)T(WT)T=x∈Di​∑​WT(x−ui​)(x−ui​)TW=WTSi2​W​
分类的目的是使得类间间距最大，类内间距最小。因此设置损失函数为
$\begin{aligned} J(W) &=\frac{\vert\widehat u_1-\widehat u_2\vert^2}{\widehat S_1^2+\widehat S_2^2} \\ &=\frac{\vert W^Tu_1-W^Tu_2\vert^2}{W^TS_1^2W+W^TS_2^2W}\\ &=\frac{W^T\vert u_1-u_2\vert^2W}{W^T(S_1^2+S_2^2)W}\\ &=\frac{W^TS_B^2W}{W^TS_W^2W} \end{aligned}$J(W)​=S12​+S22​∣u1​−u2​∣2​=WTS12​W+WTS22​W∣WTu1​−WTu2​∣2​=WT(S12​+S22​)WWT∣u1​−u2​∣2W​=WTSW2​WWTSB2​W​​
我们希望分母越小越好，分子越大越好：分母小，则每个类内部数据点比较聚集；分子大，则两个类别的距离较远。所以需要找出一个 $W$W使 $J(W)$J(W) 的值最大。