模型选择和训练、验证、测试集
在上一节中,我们将数据分为训练集和测试集。我们是根据测试集的数据来选择模型和评估检测的,但是这是一个不过你公平的过程,因为我们用来进行模型选择和评估的数据是一组相同的数据,拟合的情况肯定很好,但是对于那些没有出现在测试集中的数据没有泛化作用。
所以这里我们进一步改进,我们将数据分为:训练集、验证集和测试机。
验证集用来选择模型,测试集用来评估假设。
在上一节中,我们将数据分为训练集和测试集。我们是根据测试集的数据来选择模型和评估检测的,但是这是一个不过你公平的过程,因为我们用来进行模型选择和评估的数据是一组相同的数据,拟合的情况肯定很好,但是对于那些没有出现在测试集中的数据没有泛化作用。
所以这里我们进一步改进,我们将数据分为:训练集、验证集和测试机。
验证集用来选择模型,测试集用来评估假设。