线性回归于逻辑回归损失函数的由来

把这两个放在一起不是因为名字像,而是因为推到过程所用的方法是一样的,都是求最大似然函数:已知结果,假设概率分布函数,求解使结果出现的概率最大的参数

1.线性回归:损失函数为最小二乘损失1/2(y-y^)^2

假设误差e=y-y^满足均值为0,方程为一个常数的整体分布,最大化对数似然函数后,可推导出最终的损失为最小二乘

线性回归于逻辑回归损失函数的由来

2.逻辑回归:实际上逻辑回归解决的是一个分类问题,主要是二分类,也可以拓展到多分类上

同样利用最大似然概率,推导出损失函数为交叉熵

线性回归于逻辑回归损失函数的由来