Deep learning II - III Hyperparameter tuning - Hyperparameter tuning process 如何调整超参数以及范围选择

Hyperparameter tuning process

调整步骤

• 有哪些超参数需要调（红色最优先，黄色次之，紫色随后）
  
• 在调谐时，不要用grid；而是要随机选择参数，因为你并不知道什么参数会更重要
  
• 由粗到细。
  

范围选择

• 对于n[l],#layers$n^{[l]},\mathrm{\#}layers$等参数，使用random sampling uniformly是合适的。
  
• 对于learning_rate，应该在log scale上进行random sampling
  
• 对于在exponentially weighted averages中的β$\beta$，需要做个小转换