NLP模型小结
分类:
文章
•
2025-05-07 19:24:40
NLP 领域发展的三个主要阶段
-
1.Word Embedding
• Word2Vec
• GloVe
-
2.使用RNN及改进
• LSTM/GRU
• Seq2Seq
• Attention/Self-Attention
-
3.语义 Word Embedding
• ELMo
• OpenAI GPT
• BERT
深度迁移学习的目的
- 解决 Word Embedding 不足
- 充分利用无标注的数据
- 能够在NLP任务中也用上更深的模型
设计模型从无标注数据中学习到复杂的上下文表示成为主要方向。
