解释Learning Rate在Neural Network的作用
下面这道公式, 用来更新Weight。
Learning Rate的作用是什么?为何前面要有负号?此公式的目的是,不断调整w,直到找到最小的E直为止。可以用下面图来表达。
为何此公式可以找到最小值?下面表格可以说明清楚。
他靠的是斜率。斜率越大,w的调整幅度就越大,反之就越小。非常直观。大家应该有爬过山,下山时,是不是遇到陡坡,跨的步伐就会变大?到了平地,步伐就变小了?这就是表格第2行,想要表达的意思。大家自己去看,我就不多作解释了。
-Count