拟合问题比较简单，所用到的衡量指标也相对直观。假设yi是第i个样本的真实值，y^i是对第i个样本的预测值。

1. 平均绝对误差

平均绝对误差MAE（Mean Absolute Error）又被称为l1范数损失（l1-norm loss）：

MAE(y,y^)=1nsamples∑i=1nsamples|yi−y^i|。

2. 平均平方误差

平均平方误差MSE（Mean Squared Error）又被称为l2范数损失（l2-norm loss）：

MSE(y,y^)=1nsamples∑i=1nsamples(yi−y^i)2。

分类

1. 精确率与召回率

精确率与召回率多用于二分类问题。精确率（Precision）指的是模型判为正的所有样本中有多少是真正的正样本；召回率（Recall）指的是所有正样本有多少被模型判为正样本，即召回。设模型输出的正样本集合为A，真正的正样本集合为B，则有：

Precision(A,B)=|A⋂B||A|,Recall(A,B)=|A⋂B||B|。

有时候我们需要在精确率与召回率间进行权衡，一种选择是画出精确率-召回率曲线（Precision-Recall Curve），曲线下的面积被称为AP分数（Average precision score）；另外一种选择是计算Fβ分数：

Fβ=(1+β2)⋅precision⋅recallβ2⋅precision+recall   。

当β=1称为F1分数，是分类与信息检索中最常用的指标之一。

2.交叉熵代价函数

方差代价函数：

在以Sigmoid函数为**函数时候，会导致权重和偏置更新非常缓慢（想了解具体细节的小伙伴看这一篇博文：http://blog.****.net/u012162613/article/details/44239919）。

为了克服这个缺点，引入了交叉熵代价函数：