深度学习中的训练集与测试集

摘自https://testerhome.com/topics/10811

测试集与训练集

深度学习中的训练集与测试集

看上面的图,这是一个逻辑回归算法的DAG(有向无环图),它是这个二分类算法的简单应用流程的展示。 

可以看到我们在采集完数据并做过处理后,会把数据进行拆分。 训练集作用训练模型,而测试集会被输入到模型中来评估模型的性能。这是我们测试人工智能服务的最常用方式, 通过这个流程会产生一个模型的评估报告,如下:

深度学习中的训练集与测试集

当然这种拆分是有一定的规则的,如果数据集比较小,那么一般遵循7:3的经验拆分,7分用来训练模型,3分用来评估模型性能。 测试集不能太少,少了结果不准确,不能太多,太多了会导致训练集数据不足。 但这个规则不是死的。 如果数据集本身比较大,例如有100W行数据。那么我们抽取其中1W行做为测试集也就可以了。