【学习笔记】自然语言处理实践（新闻文本分类）

本笔记是参加Datawhale零基础入门NLP赛事的学习笔记

1. 赛题
   赛题数据为匿名处理后的新闻文本，划分14个候选分类类别：{‘科技’: 0, ‘股票’: 1, ‘体育’: 2, ‘娱乐’: 3, ‘时政’: 4, ‘社会’: 5, ‘教育’: 6, ‘财经’: 7, ‘家居’: 8, ‘游戏’: 9, ‘房产’: 10, ‘时尚’: 11, ‘**’: 12, ‘星座’: 13}。
   训练集20w条样本，测试集A包括5w条样本。
   评测指标为f1_score。
2. 赛题理解
   f1_score是精确率（precision）和召回率（recall）的调和平均数（又称倒数平均数，是总体各统计变量倒数的算术平均数的倒数）。
   TP - 实际为正预测为正
   FP - 实际为负预测为正
   FN - 实际为正预测为负
   TN - 实际为负预测为负
   精确率 precision = TP/(TP+FP)
   召回率 recall = TP/(TP+FN)
   f1_score = 2*(precision*recall)/(precision+recall)
   f1_score的意义：使用调和平均而不是简单的算术平均是因为调和平均可以惩罚极端情况。一个具有 1.0 的精度，而召回率为 0 的分类器，这两个指标的算术平均是 0.5，但是 F1 score 会是 0。F1 score 给了精度和召回率相同的权重。
3. 数据读取
   Pandas：