Self-trainingandPre-trainingareComplementary forSpeechRecognition
# Self-trainingandPre-trainingareComplementary forSpeechRecognition
## 论文思路:
将self-train和 预训练结合起来有互补的作用,并在有限的标注数据上(10min)取得了超过了960有监督数据的训练的最好结果。
## 1. self-training approch
现在一个有限的数据集上训练一个初始模型,然后用这个初始模型和语言模型去对未标注数据打标签。然后假标签数据和以前有标签的数据一起训练一个新模型。
## self-training 方法
解码的时候采用two-pass rescoring 方法:(1)首先通过wav2vec 2.0 和 4-gram language model 在 beam search 800 解码后挑选出50个最高的candidate list. (2) 通过Transformer LM 进行rescore.
## 实验结果
* low resource labeled data
增大有标签数据,不增加无监督数据这样的配置增益会减小。
* high-resourced data
当使用selftrain 和 wav2vec 2.0 一起使用时,语言模型的作用会减小: 在打标签使用语言模型的作用会被部分蒸馏到伪标签的数据中。
对模型表现影响较大的主要是labeled 和unlabeled data 的比例。