NEZHA & TinyBERT预训练LM，华为诺亚方舟出品
github链接：
https://github.com/huawei-noah/Pretrained-Language-Model
开源代码
NEZHA
NEZHA是当前基于华为诺亚方舟实验室开发的BERT的中文预训练语言模型。
请注意，此代码用于在普通GPU集群上训练NEZHA，与我们训练华为云提供的NEZHA ModelArts所使用的代码不同。
为了方便重现我们的结果，此代码是在NVIDIA代码和Google代码的早期版本的基础上进行了修订，并整合了我们采用的所有技术。
TinyBERT
TinyBERT比BERT的小7.5倍，速度快9.4倍，并且在自然语言处理任务中具有竞争优势。它在预训练和任务特定的学习阶段都进行了变压器蒸馏。TinyBERT学习的概述如下所示：
* 凡来源非注明“机器学习算法与Python学习原创”的所有作品均为转载稿件，其目的在于促进信息交流，并不代表本公众号赞同其观点或对其内容真实性负责。
推荐阅读
下载 | 207页《 神经网络与深度学习 中文版 PDF 》
GitHub万星热榜 | 这个用Python做交互式图形的项目火爆了