最小二乘有监督回归（一）
最小二乘有监督回归
最小二乘学习法是根据输入训练数据，不断调整输入数据的权重，直到模型输出和训练集输出的平方误差最小。所以训练目的就是权重。
平方误差：
（Xi，Yi）是输入的数据，theta代表权重。
使用线性模型，也就是如下图，可以理解为类似级数的感觉
如此一来，平方误差可以表示为
而线性模型可以表示为
平方误差关于权重theta的偏微分就可以写成
偏微分为0时，最小二乘满足关系式
根据这个等式可以求出权重theta。
对于不可逆矩阵，可以使用广义逆矩阵，如图
matlab例程如下：
此例程中矩阵求解被简化，
来提高计算效率。
加权最小二乘
平方误差
加权后求解
以上是线性模型下的最小二乘。