关于线性代数中:方程组个数与未知数个数对解的影响分析以及该问题在机器学习中的实际意义(regularization)
转载本文需要得到本人许可,谢谢!
1.先给出方程组个数与未知数个数对解的影响分析
2.该问题在机器学习中的实际意义
在线性回归问题中(linear regression),we assume that:T
he solution of regression is a straight line whos equation is as follows.
由于X不满秩,所以参照1.中的③或者第一行,我们可以得出θ有无穷解。
3.总结:
先定义一下:输入数据X(i.e. coefficient matrix)是m-by-n+1,样本数目为m,特征量n+1个
一般对于机器学习来讲,样本数目相对于特征量是少的,所以
当X不可逆时,且方程组个数(i.e. m)小于未知数θ的个数(i.e. n+1)时,我们需要考虑使用regularization来解决如下两个问题:
4.本人联系方式:QQ1355365561