@(深度学习)[神经网络]
本文主要参考链接

1. 前馈神经网络基础教程

1.1. 概述

以监督学习为例，假设我们有训练样本集(x(i),y(i))，那么神经网络算法能够提供一种负责且非线性的假设模型hW,b(x)，它具有参数W,b，可以通过调整此参数来拟合我们的数据。

为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：

这个“神经元”是一个以x1,x2,x3及截距+1为输入值的运算单元，其输出为hW,b(x)=f(WTX)=f(∑3i=1Wixi+b)，其中函数f:R⟼R被称为**函数。注意，有的教程中用x0=1来表示截距+1。在本教程中，我们选用sigmoid函数作为**函数f(⋅)：

可以看出，这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归(logistic regression)。

1.2. 神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。下图是一个简单的神经网络例子：

我们使用圆圈来表示神经网络的输入，标上“+1”的圆圈被称为偏置节点，也就是截距项。神经网络最左边的一层叫做输入层，最右边的一层叫做输出层（在本例中，输出层只有一个节点）。中间所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个输入单元（偏置单元不计在内），3个隐藏单元以及1个输出单元。

我们用nl来表示网络的层数，本例中nl=3，记第l层记为Ll，于是L1是输入层，Lnl是输出层。本例神经网络有参数(W,b)=(W(1),b(1),W(2),b(2))，其中W(l)ij（下面的式子中用到）是第l层第j单元与第l+1层第i单元之间的联接参数（连接线上的权重，从j到i），b(l)i是第l+1层第i单元的偏置项。因此在本例中，W(1)∈R3×3，W(2)∈R1×3。注意，偏置单元没有输入，是因为他们总是输出+1。同时，我们用sl表示第l层的结点数（不包括偏置单元）。

我们用a(l)i表示第l层第i单元的**值的（输出值）。当l=1时，a(l)i=xi，也就是输入层的第i个输入值（输入值的第i个特征）。对于给定参数集合W,b，我们的神经网络就可以按照hW,b(x)来计算输出结果。本例中神经网络的计算步骤如下：

我们用z(l)i表示第l层第i单元输入加权和（包括偏置单元），比如，z(2)i=∑nj=1W(1)ijxj+b(1)i，a(2)i=f(z(2)i)。

我们将**函数f(⋅)扩展为向量形式：f([z1,z2,z3])=[f(z1),f(z2),f(z3)]，那么，上面的等式可以更简洁地表示为：

我们将上面的计算步骤叫做前向传播。给定第l层的**值a(l)后，第l+1层的**值a(l+1)就可以按照下面步骤计算得到：

将参数矩阵化，使用矩阵-向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。
神经网络也可以由多个隐藏层和多个输出单元，例如下图所示：

像上图这样的网络，叫做前馈神经网络，这种联接图没有闭环或回路。