二值网络训练--Training Competitive Binary Neural Networks from Scratch

Training Competitive Binary Neural Networks from Scratch
https://github.com/hpi-xnor/BMXNet-v2 MXNet framework

本文主要讨论了从零开始训练二值网络的一些情况以及 ResNet 和 DenseNet 二值网络的一些情况

这里采用符号函数进行二值化

二值梯度如何求导反向传播
Straight-Through Estimator (STE)

approxsign： a tighter approximation

applying scaling when training a model from scratch does not lead to better accuracy
使用缩放因子 不能提升精度，training a model from scratch

increasing number of connections is highly effective and size-efficient for a binary DenseNet
增加网络的 shortcut 数量可以有效提升网络的性能

replacing certain crucial layers in a binary network with full precision layers
这里我们认为 第一层，最后一层，以及 downsampling layers 比较重要，尝试使用 full precision 而不做二值化处理

11