神经网络之正向传递与反向传播

1.单个神经元

神经网络是由一系列神经元组成的模型，每一个神经元实际上做得事情就是实现非线性变换。

如下图就是一个神经元的结构：

神经元将两个部分：上一层的输出 $(x_1,x_2...,x_n)$(x1​,x2​...,xn​)与权重$(w_1,w_2...,w_n)$(w1​,w2​...,wn​)对应相乘相加，然后再加上一个偏置$b$b之后的值经过**函数处理后完成非线性变换。

记 $z=w\cdot x+b$z=w⋅x+b，$a=\sigma(z)$a=σ(z)，则 $z$z 是神经元非线性变换之前的结果，这部分仅仅是一个简单的线性函数。$\sigma$σ是Sigmod**函数，该函数可以将无穷区间内的数映射到(-1.1)范围内。$a$a 是神经元将 $z$z 进行非线性变换之后的结果。

Sigmod函数图像如下图：
$sigmod(x)=\frac{1}{1+e^{-x}}$sigmod(x)=1+e−x1​

因此，结果a就等于：
$a=\frac{1}{1+e^{w_1x_1+w_2x_2+...+w_nx_n+b}}$a=1+ew1​x1​+w2​x2​+...+wn​xn​+b1​

这里在强调一遍，神经元的本质就是做非线性变换。

2.由神经元组成的神经网络

神经元可以理解成一个函数，神经网络就是由很多个神经元组成的模型，因此神经网络可以理解成是一个非常复杂的复合函数。

3.目标函数

4.反向传播算法