标签为{+1,-1}时,逻辑回归损失函数推导
1.标签为{0,1}损失函数推导
网上搜到的多数是标签为0-1的时候,损失函数是
可以看到上述似然函数用到一个技巧:把标签0-1的两种情况在似然函数里用一个式子统一起来。 在这个基础上进行推导就得到这个损失函数。
2.标签为{+1,-1}损失函数推导
2.1 似然函数
纵向逻辑回归的一篇论文中,当标签为{+1,-1}时候,损失函数为:这样的好处是在纵向联合学习的场景下,可以实现“分布式”计算 yxβ。
它的似然函数原理上和标签为{0,1}一样,不过形式有所变化:
2.2 损失函数
损失函数是负的对数似然:
在机器学习中考虑到样本数n,还要在上述loss(x,y)前面加上1/n,就得到了前述的损失函数。