Deep learning II - I Practical aspects of deep learning - Normalizing inputs 输入归一化

分类: 文章 • 2023-12-10 13:05:10

Normalizing inputs 输入归一化

Deep learning II - I Practical aspects of deep learning - Normalizing inputs 输入归一化
1. 输入归一化能够加快训练速度
2. 首先，将输入减去均值

μ = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)}

x := x - μ

3. 其次，方差归一化

σ^{2} = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} * * 2 (* * m e a n s e l e m e n t - s q u a r e)

x := x / σ^{2}

4. 使用在test set得到的

μ, σ^{2}

来处理dev set 或者test set

Deep learning II - I Practical aspects of deep learning - Normalizing inputs 输入归一化

如果输入的变量范围差别很大（0-1，0-1000），那就很有必要使用上述方法