吴恩达《Machine Learning》-Linear Regression with Multiple Variables多元线性回归（四）
多特征情况Multiple Features
多特征角标解释：
m 样本个数
n 特征个数 本例中，n=4 （x1，x2，x3，x4）
x(i)第i行特征向量 x(2)=[1416，3，2，40]
xj(i) 第i行特征向量的第j个特征值 x3(2)=2
练习题：
选择（C）第4行第一个。（o(╥﹏╥)o 英文看了一会才看懂）
多元线性回归multivariate linear regression
特征向量 x=[x0,x1,x2…xn]
参数向量 θ = [θ0,θ1,θ2…θn]
定义x0=1 本例中θ0x0=θ01=θ0
解释：为何增添x0=1
为了矩阵运算的方便。如此，参数向量矩阵 θ = [θ0,θ1,θ2…θn] 为一行n+1列，特征向量矩阵 x=[x0,x1,x2…xn] 为n+1行1列。只有行列相同都为n+1的两个矩阵才可以相乘，进行矩阵运算。
英文解释：
意思是：
1 by （n+1） ：一行 n+1列的矩阵
多变量梯度下降 Gradient Descent for Multiple Variables
使用向量J(θ)来代替J( θ0,θ1,θ2…θn)
损失函数变成：
梯度下降算法变成：
练习题：
选择（A,B）本题比较重要建议多看
A选项.x(i)代表i行向量 故乘以θ向量的转置
B选项.xj(i)代表i行向量，第j个值，故乘以θ向量中第j个
单一特征梯度下降与多特征梯度下降对比：
单一特征时（因为特征向量只有一行）：x(i)表示 第一行 第i个值
多特征时：xj(i)表示第i行第j个值。故多特征 x0(i)= 单特征 x(i)
特征缩放 Feature Scaling （标准化）
不需要很精准，目的为了梯度下降更快收敛
如下图，x1的取值为0-2000，而x2的取值为1-5，假如只有这两个特征，对其进行优化时，会得到一个窄长的椭圆形，导致在梯度下降时，梯度的方向为垂直等高线的方向而走之字形路线，这样会使迭代很慢，相比之下，右图的迭代就会很快。
故采用特征缩放，来使特征都在统一范围内。
缩放范围：
区间[-1,1]比较好。具体举例如下图：
均值归一化 Mean normalization （归一化）
均值归一化从输入变量的值中减去输入变量的平均值，从而使输入变量的新平均值为零。
将特征归一到区间[-0.5,0.5]
注意
x0特征 不需要归一化
一般方法：
x1=x1-均值/数值范围(最大值-最小值) 或者 平方差
练习题：
选择(D) 为归一化.
判断梯度下降算法是否正确工作
在梯度下降中，损失函数J(θ)应该在每一轮的迭代中 越来越小。
方法一 看图：
图中可以看到300-400曲线 J(θ)几乎平，不再大幅下降，接近收敛
方法二 收敛测试：
每一轮中的J(θ)下降少于门限值(10^-3)。门限值需要人为定义且需要经验
常见错误案例：
解决方案：使用小一点的学习率α
练习题：
选择(B)
在图C中，成本函数在增加，因此学习率设置得太高。图A和图B都收敛到成本函数的最优值，但图B收敛得很慢，所以它的学习率设置得太低。图A位于两者之间。
选择学习率α：
定义新特征
房屋长*房屋宽=房屋面积
特征选择 polynomial regression 多项式回归
假设函数不适合数据，不是线性的（直线）。
我们可以假设函数成为二次、三次或平方根函数（或任何其他形式）来改变它的行为或曲线。
要记住的一件重要的事情是，如果以这种方式选择特性，那么特性缩放就变得非常重要。
使用特征的次方来代替特征
在多项式回归 标准化，归一化很重要，
因为size：1-1000
size^：1-1000000
size3：1-109
练习题：
选择（C）。
解释：x1范围在1-1000，x2范围在0-32.故两个都应该在同样大小范围。
正态方程 normal equation
用来求解θ值，寻找最佳的θ值
导数为0的地方，是二次函数的最低点。即为最优的θ值。
故，多维J( θ0,θ1,θ2…θn)损失函数 方法为，求θ0,θ1,θ2…θn的偏导，并使偏导数为0
设计矩阵design matrix
将所有特征变成m行n+1列矩阵X，所有结果变成m行的向量Y
最优θ值，可以用矩阵求解出来
当x(i)为列向量时，上面的公式 X矩阵 ，为x(i)列项列的转置
练习题：
选择(D)
Normal equation 正规方程组
正规方程组算法，对特征标准化不要求。
正规方程组 与 梯度下降 优缺点比较：
正规方程优点：
1.梯度下降法 需要手动选择 学习率α，正规方程法 不需要选择学习率α
2.梯度下降需要多轮迭代计算，细节计算较慢。正规方程法不需要多轮迭代计算
梯度下降优点：
1.梯度下降计算θ0，θ1…θn,当特征数量n很大的时候，运行速度依然很稳定。正规方程法计算θ向量，由于需要计算设计矩阵的逆矩阵，在特征数n很大时，时间复杂度很高，为o（n^3）
2.一般来说，特征数量n>10000时，采用梯度下降方法。
X^T*X不可逆的情况
1.两个特征在不相同的尺度，（即两个特征线性相关时）删除线性相关的另一个特征
如 x1尺度为平方英尺
x2尺度为平方米
2.有特别多特征时。
删除一些特征或者使用正规化方法
pseudo inverse function
当在octave使用正规方程组时，尽量使用pinv函数，而不是inv函数。当X^T*X不可逆的时候，pinv函数也可以给出对应的θ值。
练习题
归一化处理：有两种方式：
1.（当前值-平均值）/（最大值-最小值）；
2.（当前值-平均值）/方差；
range=94-69=25
平均值：(89+72+94+69)/4=81
both feature scaling and mean normalization = (89-81)/25=0.32
（C）J(θ)下降很慢，且多轮迭代仍然下降。说明还未收敛。故需要将学习率α调大
（A）X是n+1列，因为在normal equation中，0号特征为1
（C）可以看到特征数并不是很大。故选择normal equation。特征数量n>10000时，采用梯度下降方法。
（C） 加快了梯度下降，通过更少的迭代来达到一个好的结果