BP神经网络-梯度下降算法
**函数使用sigmoid函数,即
神经网络前向传输和反向传递的过程:
1.前向传递:
令D=a·w1 + b·w2 + c·w3 ,则 d = sigmoid(D) ,所以
同理,令E=a·w4 + b·w5 + c·w6,则e= sigmoid(E) ,所以
令G=d·w7 + e·w8 + f·w9 ,则g= sigmoid(G),所以
2.反向传播,根据导数的链式法则,调整权值w
假设目标函数
然后,有 ,
,
然后
同理,可求得w2 , w3 ,w4 ,w5 ,w6
假设,则
,其中
为学习率 。
同理可对其它权值进行更新。