交叉熵代价函数
问题描述:在使用sigmoid**函数和方差代价函数的场景中,因为sigmoid的性质,导致σ'(z)在z取大部分值时会很小,如下图,导致w和b更新非常慢
是什么:
两个性质:1.非负性
2.当真实输出a与期望输出y接近的时候,代价函数接近于0
为什么:
导数中没有σ'(z)这一项,权重的更新受σ(z)-y 影响,即受误差的影响。
所以当误差大的时候,权重更新就快,误差小的时候,权重的更新就慢
看了wepon大神的博客后自己的总结:https://blog.****.net/u012162613/article/details/44239919