Lecture 3 : The Linear Model I

视频地址：https://www.youtube.com/watch?v=FIbVs5GbBlQ

---

输入形式

一个数据集：

每个数字尺寸是 16×16$16\times 16$，也就是 256$256$个值。

‘raw’ input X=(x0,x1,x2,...,x256)(x0=1)$X=(x_0,x_1,x_2,...,x_{256})(x_0=1)$
linear model : (w0,w1,w2,...,w256)$(w_0,w_1,w_2,...,w_{256})$

特征 ： 提取有用的信息。
例如强度和对称性：X=(x0,x1,x2)$X=(x_0,x_1,x_2)$
此时 W=(w0,w1,w2)$W=(w_0,w_1,w_2)$
x1$x_1$是强度 ， x2$x_2$是对称性。下图是1和5的区别。

---

线性分类

PLA的应用：
- Ein$E_{in}$ 和 Eout$E_{out}$ 的演化

- 最终的边界

- Pocket 算法
保存迭代过程中的最优解

---

线性回归

regression ≡$\equiv$ real-valued output

继续用银行信用举例
- 分类：是否有信用
- 回归：信用额度

Input： x$x$

年龄	性别	年薪	定居时间	债务	…
23岁	男	$30000	1年	$15000	…

Output:

数据集： (x1,y1),(x2,y2),...,(xN,yN)$(x_1,y_1),(x_2,y_2),...,(x_N,y_N)$

误差函数： 利用 (h(x)−f(x))2$(h(x)-f(x){)}^2$

Ein$E_{in}$ 的表示：

其中

最小化 Ein$E_{in}$

X†是X的伪逆矩阵(以防X是非可逆矩阵)$X^{†}是X的伪逆矩阵(以防X是非可逆矩阵)$

关于伪逆矩阵
https://en.wikipedia.org/wiki/Generalized_inverse
https://en.wikipedia.org/wiki/Moore%E2%80%93Penrose_inverse

线性回归算法：
1.构建 X$X$ 矩阵和 Y$Y$ 矩阵
2.计算伪逆矩阵 X†=(XTX)−1XT$X^{†}=(X^{T}X{)}^{-1}{X}^T$
3.返回 W=X†Y$W=X^{†}Y$

线性回归也可以用于分类

---

非线性变换

线性是受限的，比如：

在银行信用额度示例里，居住年限是非线性影响额度的

将 (x1,x2)⟶Φ(x21,x22)$(x_1,x_2)\stackrel{\mathrm{\Phi }}{⟶}(x_1^2,x_2^2)$ 上图变为：