An Entropy-based Pruning Method for CNN Compression
这篇文章也是网络剪枝的早期文章，其算法是filter级别的裁剪。文章认为weights的大小不能决定一个filter的重要性，应该用熵来决定：
而对于这个概率pi，其得到方法如下：
简单来说，就是用全局平均池化来转化一个layer的output，得到一个向量。用验证集的一些图片进入网络，就可以得到一个矩阵，这个filter的熵就可以用这个矩阵计算出来。
实验上，文章针对VGG16和ResNet18采用了两个不同的裁剪策略。对于VGG16：
- 裁剪前十层的layer
- 用最大平均池化代替全连接层
对于ResNet-50的裁剪方法：
从实验结果上来说，压缩倍数和精度损失都能接受。后续的改进我觉得可以以熵为基础，加点其他东西进去。