神经网络优化_损失函数

以下是学习的笔记。

• 损失函数loss 预测值y和已知答案y_的差距（mse、自定义、ce）
  **函数 relu sigmoid tanh
  偏置项b
  NN复杂度
  层数 待优化参数个数
  层数=隐藏层个数+1个输出层
  总参数=总W+总b

mse 均方误差 平方差之和求平均

自定义 如成本和利润不同，考虑大于已知答案和小于的差距

ce 交叉熵 概率是否接近
n分类 通过softmax 可以满足概率分布要求
ce=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_,1))
cem=tf.reduce_mean(ce)

上图片均是引用 人工智能实践：Tensorflow笔记 的PPT图片。因为公式很难敲。