人工神经网络

类神经网络，又称人工神经网络(ANN,Artificial Neural Network），是神经网络的基础，了解了基本的神经网络，则可以对于其他的神经网络有更好的了解，其基本的构成如下图。

其几个参数是输入，权重，**函数，下面就五个方面对其讲解。

1）**函数

神经网络的常见**函数有三种：linear：f(x) = x, f(x) = sign(x), f(x) = tanh(x)，其图形如下所示：

2）前向传播

在知道了权重的具体值的前提下，计算其最终的输出结果，示例图形如下。

                                      

则其最终的输出为：

其前向传播算法很好理解，从左到右依次的计算，即可以得到上式，T代表第二层的神经元的个数。 

3）反向传播算法（BP）

对于如下的一个常见的人工神经网络，其BP算法为具体的如下（认真耐心看就可以读懂）：

                                

目标：求得所有的权重w，使得输出的误差最低。

                                    

4）非凸优化(Non-Convex)

在实际的神经网络中，会遇到很多局部最优的情况，此时可能系要几个方法来解决这个问题：

  设计最初的权重时：试随机的、小的权重                            

5）正则化(Regularization)

避免神经网络的过拟合：L2的方法不能够实现权重为0，不可取。

                                     针对权重为0，L1也不可取，选择scaled L2，具体长下面

                               

图形来自于 http://www.iot-online.com/IC/case/2017/022548844_2.html M

台大林轩台--机器学习技法