线性回归——推导及实践

分类: 文章 • 2024-11-10 19:32:40

使用极大似然估计解释最小二乘
线性回归——推导及实践
似然函数推导过程：

高斯的对数似然与最小二乘：

θ的解析式的求解过程：

最小二乘意义下的参数最优解：

加入λ扰动后：

线性回归的复杂度惩罚因子：

正则项与防止过拟合：

梯度下降算法：
线性回归——推导及实践
梯度方向推导：

批量梯度下降算法：

随机梯度下降算法：