模型压缩
参考:Model Compression and Efficient Deep Learning——韩松(伯禹学堂)
模型压缩三个过程:剪枝,量化(参数的表示精度可以降低),哈夫曼编码
- 1剪枝(pruning)
卷积层可达到3倍的压缩,全连接层可达10倍
剪枝率达到50%的时候准确率明显下降,更多的剪枝要加上重新训练能够维持准确率,而想要达到更大比例的剪枝,需要多轮的重新训练才可达成。
-
2量化
-
一些主流模型的压缩成果
-
其它的关于硬件加速
参考:Model Compression and Efficient Deep Learning——韩松(伯禹学堂)
模型压缩三个过程:剪枝,量化(参数的表示精度可以降低),哈夫曼编码
剪枝率达到50%的时候准确率明显下降,更多的剪枝要加上重新训练能够维持准确率,而想要达到更大比例的剪枝,需要多轮的重新训练才可达成。
2量化
一些主流模型的压缩成果
其它的关于硬件加速