BP神经网络

BP神经网络的特点：
- 网络由多层构成，层与层之间全连接，同一层之间无连接
- BP网络的传递函数必须可微(二值函数就不行，一般用Sigmoid或线性函数作为传递函数)
- 采用误差反向传播算法进行学习

反向传播算法推导(以三层BP网络为例)

在三层BP网络中，定义：
- 输入神经元个数为M$M$
- 隐含层神经元个数为I$I$
- 输出层神经元个数为J$J$
- 输入层第m$m$个神经元记为xm$x_m$
- 隐含层第i$i$个神经元记为ki$k_i$
- 输出层第j$j$个神经元记为yj$y_j$
- 从xm$x_m$到ki$k_i$的连接权值为wmi$w_{mi}$
- 从ki$k_i$到yj$y_j$的连接权值记为wij$w_{i}j$
- 隐含层传递函数为Sigmoid$Sigmoid$函数
- 输出层传递函数为线性函数
- 用u$u$和v$v$分别表示每一层的输入输出(如u1I$u_I^1$表示I$I$层的第一个神经元的输入)
- 网络的实际输出Y(n)=[v1J,v2J,...,vJJ]$Y(n)=[v_J^1,v_J^2,...,v_J^J]$
- 网络的期望输出d(n)=[d1,d2,...,dn]$d(n)=[d_1,d_2,...,d_n]$
- 第n$n$次迭代的误差信号ej(n)=dj(n)−Yj(n)$e_j(n)=d_j(n)-Y_j(n)$
- 第n$n$次迭代的误差能量定义为e(n)=12∑Jj=1e2j(n)$e(n)=\frac{1}{2}\sum _{j=1}^J{e}_j^2(n)$