解释Learning Rate在Neural Network的作用

下面这道公式, 用来更新Weight。  


解释Learning Rate在Neural Network的作用


Learning Rate的作用是什么?为何前面要有负号?此公式的目的是,不断调整w,直到找到最小的E直为止。可以用下面图来表达。

解释Learning Rate在Neural Network的作用


为何此公式可以找到最小值?下面表格可以说明清楚。

解释Learning Rate在Neural Network的作用


他靠的是斜率。斜率越大,w的调整幅度就越大,反之就越小。非常直观。大家应该有爬过山,下山时,是不是遇到陡坡,跨的步伐就会变大?到了平地,步伐就变小了?这就是表格第2行,想要表达的意思。大家自己去看,我就不多作解释了。


-Count