AI数学基础（2）——数学期望、方差和最小二乘法
数学期望、方差和最小二乘法
一、数学期望
数学期望简称期望，说白了就是平均值。
1、离散型
2、连续型
二、方差
也称均方误差，说白了就是考察值与期望（平均值）的偏离程度。
三、最小二乘法
在线程回归中：
f(Xi) = WX i+ b，通过训练输入X，得到参数W和b，如何确定W和b呢？关键在于衡量f(x)与y的差别，均方误差是线性回归中最常用的性能度量，因此我们可试图让均方误差最小化。
记f(Xi)为预测值，yi为真实值，那么均方误差为：
均方误差有非常好的几何意义，它对应了常用的欧几里得距离或简称“欧 氏距离”（Euclidean distance)。基于均方误差最小化来进行模型求解的方法称 为“最小二乘法”（least square method).在线性回归中，最小二乘法就是试图 找到一条直线，使所有样本到直线上的欧氏距离之和最小