方差bias 和偏差 virance

偏差:描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据。

方差:描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散,如下图右列所示。

方差bias 和偏差 virance



 

方差bias 和偏差 virance

在深度学习中,我们可以同时减小Bias和Variance,构建最佳神经网络模型。

一般来说,Train set error体现了是否出现bias,Dev set error体现了是否出现variance

方差bias 和偏差 virance如图所示,high bias对应着欠拟合,而high variance对应着过拟合。

过拟合即在训练集上表现良好,但在验证集上表现不佳。数据分布离散程度较大,即方差大。

欠拟合即使在训练集和验证集表现都不佳,数据偏离真实数据。

如何解决NN中出现的偏差和方差

 

方差bias 和偏差 virance

也可能会出现 降低了偏差 此时方差升高 

或者                降低了方差  升高了偏差的情况  这种时候应该通过训练大量的数据以及构建bigger network来解决