代价函数详解(合页代价与softmax代价)

机器学习中,一般都是找到适合的代价函数来构建目标函数,然后用优化算法进行代价函数的最小化。这就涉及到一个关键的内容,如何确定适合的代价函数,不仅要考虑求解,还要考虑对问题的适用性。
本次只列出分类学习问题中,最常见的2种代价函数(合页代价与softmax代价),分别对其的性质进行详细的探讨。
本文参考《机器学习精讲》的图形与推导。

  • 合页代价函数:应用、缺点、改进
  • softmax代价函数:定义、与合页的关系、证明

tip:合页代价函数之所以称为“合页”,是因为它的图形就想一页打开的书本。
代价函数详解(合页代价与softmax代价)