logistic损失函数推导

$\qquad$ Sklearn中逻辑回归的损失函数的推导：

$\qquad$假设y的标签为1和-1，用极大似然估计法估计模型参数,$P(Y=1|X_i)$P(Y=1∣Xi​)=$h(X_i^TW+C)$h(XiT​W+C)=$\frac{1}{1+exp(-(X_i^TW+C))}$1+exp(−(XiT​W+C))1​,则目标为估计最大化下列概率的参数：
Step1:
$\qquad$ $\prod_{i,y_i=1}$∏i,yi​=1​$P(Y=1|X_i)$P(Y=1∣Xi​)$\prod_{i,y_i=-1}$∏i,yi​=−1​$P(Y=-1|X_i)$P(Y=−1∣Xi​)
$\qquad$=$\prod_{i,y_i=1}$∏i,yi​=1​$P(Y=1|X=i)$P(Y=1∣X=i)$\prod_{i,y_i=-1}$∏i,yi​=−1​$(1-P(Y=1|X=i))$(1−P(Y=1∣X=i))
$\qquad$ =$\prod_{i,y_i=1}$∏i,yi​=1​$h(X_i^TW+C)$h(XiT​W+C)$\prod_{i,y_i=-1}$∏i,yi​=−1​$h(-(X_i^TW+C))$h(−(XiT​W+C))
$\qquad$=$\prod_{i,y_i}$∏i,yi​​$h(y_i(X_i^TW+C))$h(yi​(XiT​W+C))
$\qquad$对数化之后不影响求参过程，则目标变为求使得$\Sigma_{i,y_i}$Σi,yi​​$log(h(y_i(X_i^TW+C)))$log(h(yi​(XiT​W+C)))最大化的参数。为将其转化为损失函数，目标转为最小化-$\Sigma_{i,y_i}$Σi,yi​​$log(h(y_i(X_i^TW+C)))$log(h(yi​(XiT​W+C)))的参数，则：
$\qquad$-$\Sigma_{i,y_i}$Σi,yi​​$log(h(y_i(X_i^TW+C)))$log(h(yi​(XiT​W+C)))
$\qquad$=-$\Sigma_{i,y_i}$Σi,yi​​$log(\frac{1}{1+exp(-y_i(X_i^TW+C))})$log(1+exp(−yi​(XiT​W+C))1​)
$\qquad$=$\Sigma_{i,y_i}$Σi,yi​​$log(1+exp(-y_i(X_i^TW+C)))$log(1+exp(−yi​(XiT​W+C)))

$\qquad$推导完成！撒花撒花撒花。非常感谢sanshun大佬的大力支持，大家有空可以去大佬的博客逛逛呀sanshun博客，会慢慢更新哦