tensorflow 之 bn - keras

目录

关于karas的修改:

1.BN的好处

1.1尽快收敛

1.2可以设置较大的学习率

1.3初始化要求不严格

1.4可能会给与更好的结果

2.keras中BN的修改点

2.1全连接层

2.2卷积层

3.全部代码

4.训练结果差别

train without bn(下图)

train_with_bn(下图)

5.全部代码:​


关于karas的修改:

https://www.dlology.com/blog/one-simple-trick-to-train-keras-model-faster-with-batch-normalization/

1.BN的好处

1.1尽快收敛

1.2可以设置较大的学习率

1.3初始化要求不严格

1.4可能会给与更好的结果

tensorflow 之 bn - keras

2.keras中BN的修改点

tensorflow 之 bn - keras

2.1全连接层

tensorflow 之 bn - keras

2.2卷积层

tensorflow 之 bn - keras
 

3.全部代码

tensorflow 之 bn - keras

4.训练结果差别

train without bn(下图)

tensorflow 之 bn - keras

train_with_bn(下图)

tensorflow 之 bn - keras

5.全部代码:
tensorflow 之 bn - keras

tensorflow 之 bn - keras

tensorflow 之 bn - keras

tensorflow 之 bn - keras

tensorflow 之 bn - keras

tensorflow 之 bn - keras