神经网络中误差值计算公式的选取

神经网络中误差值计算公式的选取
（1）第一种可以清晰地看到由于正负抵消，总体误差和为0相当于总体没有误差，即使正负不能完全抵消也不符合真实情况。因此这种方式不是一种很好的测量方式。
（2）第二种采用绝对值，因为不考虑符号，解决了误差相互抵消问题。但这样的误差函数图像是V字行的，在最小值附近不连续。因此这种方式不是一种很好的测量方式。
（3）第三种采用差的平方，使得误差函数平滑连续，并容易计算梯度下降的斜率，越接近最小值梯度越小，因此可以通过调节步长来降低超调风险。
当然，我们还可以自己创建新的误差函数，可能有的行不通，可能有的针对特定问题效果很好。