序

• 自己笔记本8G内存，想玩bert就是做梦…但是自己只是看看代码以及效果，没有实际用它做任务，所以不想买gpu服务器,所以就试着压缩一下，看看效果，思路很简单，减小block数。

• 贴一下自己找的bert代码

第一次测试

• Bert训练好的模型的配置文件，改变layer层数。
• 由于原代码的思路是：建立网络结构，从训练好的文件里加载模型参数，赋值给现在建立的结构，所以，其实你改变现在建立的结构就行了，其网络构建时参数加载的是bert模型文件里的参数，模型最重的参数是他的bolck数，原本是12个人减成了5,刚刚好内存够用。
• 跑通了，但是cpu跑的很慢，gpu显存不够，只能当个玩具玩玩。

其结构图

测试结果