BP推导
假设一个网络如下:
第一层是输入层,包含两个神经元i1,i2,和截距项b1;
第二层是隐含层,包含两个神经元h1,h2和截距项b2;
第三层是输出层,包含两个神经元o1,o2。
每条线上标的wi是层与层之间连接的权重,**函数我们默认为sigmoid函数。
现在对他们赋上初值,如下图:
其中,输入数据 i1=0.05,i2=0.1;
输出数据 o1=0.01,o2=0.99;
初始权重 w1=0.15,w2=0.2,w3=0.25,w4=0.3;
w5=0.4,w6=0.45,w7=0.5,w8=0.55;
w=1
目标:给出输入数据i1,i2(0.05和0.1),使输出尽可能与原始输出o1,o2(0.01和0.99)接近。
Step 1 前向传播
1.输入层······>隐含层:
计算神经元h1的输入加权和:
神经元h1的输出:(此处用到**函数为sigmoid函数):
同理: