标签为{+1,-1}时,逻辑回归损失函数推导


1.标签为{0,1}损失函数推导

参考资料:本部分资料来自这个链接

网上搜到的多数是标签为0-1的时候,损失函数是

标签为{+1,-1}时,逻辑回归损失函数推导标签为{+1,-1}时,逻辑回归损失函数推导

可以看到上述似然函数用到一个技巧:把标签0-1的两种情况在似然函数里用一个式子统一起来。 在这个基础上进行推导就得到这个损失函数。



2.标签为{+1,-1}损失函数推导

2.1 似然函数

纵向逻辑回归的一篇论文中,当标签为{+1,-1}时候,损失函数为:
标签为{+1,-1}时,逻辑回归损失函数推导这样的好处是在纵向联合学习的场景下,可以实现“分布式”计算 yxβ。

它的似然函数原理上和标签为{0,1}一样,不过形式有所变化:

标签为{+1,-1}时,逻辑回归损失函数推导

2.2 损失函数

损失函数是负的对数似然:

标签为{+1,-1}时,逻辑回归损失函数推导在机器学习中考虑到样本数n,还要在上述loss(x,y)前面加上1/n,就得到了前述的损失函数。