什么时候应该在训练深度学习模型时使用预训练的权重?
问题描述:
我对培训一系列图像和物体检测模型感兴趣,我想知道什么时候使用VGG16等网络的预训练权重的一般规则是什么。什么时候应该在训练深度学习模型时使用预训练的权重?
例如,很显然,微调预先训练好的VGG16 imagenet模型权重对于您正在寻找子集即是有帮助的。猫和狗。
但是,如果使用300个类训练图像分类器,其中只有一些是预训练模型中的类的子集,是否使用这些预训练好的权重是一个好主意。
这是什么直觉?
答
下层学习不一定特定于您的应用程序/数据集的特征:角落,边缘,简单形状等。因此,您的数据是否严格是原始网络可预测的类别的子集并不重要。
根据您有多少数据可用于训练,以及数据与预训练网络中使用的数据的相似程度,您可以决定冻结较低层并仅学习较高层数据,或者仅仅训练分类器在你的预训练网络之上。
检查here以获取更详细的答案