线性回归，逻辑回归总结

1.线性回归

学得
$f(x_{i})=\omega ^ T x_{i} + b，使得f(x)\simeq y_{i}$f(xi​)=ωTxi​+b，使得f(x)≃yi​

目标

拟合数据

loss

均方误差
----->目标
$（\omega^*, b^*）= \argmax_{(\omega,b)} \sum_{i=1}^{m} (f(x_{i})-y_{i})^2$（ω∗,b∗）=(ω,b)argmax​i=1∑m​(f(xi​)−yi​)2
最小二乘法求解。

多元线性回归

学得
$f(\bm{x_{i}})=\bm{\omega} ^ T \bm{x_{i}} + b，使得f(x)\simeq y_{i}$f(xi​)=ωTxi​+b，使得f(x)≃yi​
相较前者，属性个数进行了扩展。
计算与前者方法类似
推导西瓜书P55

3.对数线性回归与广义线性模型

对数线性回归

$f(\bm{x})=e^{\bm{\omega} ^ T \bm{x} + b}$f(x)=eωTx+b
形式上仍是线性回归
对y进行了映射
$\ln f(\bm{x})=\bm{\omega} ^ T \bm{x} + b$lnf(x)=ωTx+b

广义线性模型

更一般地，考虑单调可微函数g(.)，令
$f(\bm{x})=g^{-1}(\bm{\omega} ^ T \bm{x} + b)$f(x)=g−1(ωTx+b)

对数几率回归

也称逻辑回归 一般简称LR即在表示对数几率回归；
虽然后面接着回归，实为分类模型。

对数几率函数

希望利用上述模型进行分类，
—>使用单位跃迁函数
但是其不连续
—>对数几率函数（sigmod函数的重要代表）
$y = \frac{1}{{1+e^{-z}}}$y=1+e−z1​

表现形式

$y = \frac{1}{{1+e^{\bm{\omega} ^ T \bm{x} + b}}}$y=1+eωTx+b1​

----->
$\ln \frac{y}{1-y} = \bm{\omega} ^ T \bm{x} + b$ln1−yy​=ωTx+b
具体推导西瓜书P59

loss

因其使用极大似然法进行计算，
最大化“对数似然”
（加了对数，是为了0-1之间对数变化极大，希望使得loss大；后续求导比较方便）

利用牛顿法求解

补充

线性模型的多分类（投票等）西瓜书P63
应该有所欠缺