人工神经网络之前馈神经网络

源链接 https://blog.****.net/qq_36330643/article/details/74852593

1.基本概念

　　深度前馈神经网络也叫作多层感知机，是深度学习中最常用的模型。它包含输入层，隐含层和输出层三个部分。它的目的是为了实现输入到输出的映射。它定义了一个函数 y = f(x,theta),并且通过学习theta，得到了映射函数f。

　　深度前馈神经网络之所以称之为深度是因为它包含了很多层（隐含层可能会有很多层），而称之前馈则是因为它在输出和模型本身之间没有反馈，而有这种反馈的网络叫做循环神经网络。深度前馈神经网络的本质就是复合函数。

　　为什么需要深度前馈神经网络呢？这要从线性模型谈起，刚开始线性模型只能够解决线性问题，后来引入了核函数就可以解决非线性的问题，但是这个核函数怎么来呢？通常的做法一个是采用通用式的核函数，容易过拟合，泛化误差太大。还有一种是通过手工设计，但是这一种的代价太大，经常几年甚至几十年才会出成果。为了更好地得到这个核函数，我们引入了神经网络。它能够通过学习，自己得到一个效果不错的核函数，我们在它的隐藏层可以加入通用的核函数，也可以结合经验加入手工设计一些核函数，那这样它就既具备前面两者的优点，又有自身的长处。

基于梯度的学习

　　线性模型和神经网络的最大的不同在于神经网络的非线性，这使得许多我们常用的损失函数变得非线性。基于梯度的优化算法是神经网络中常用的方法，但是因为它的非凸性，我们在选择初始权重和偏置的时候要尽量选择比较小的整数。

2. 单层神经网络