神经网络之前向传播

神经网络通过输入多个“单一”的神经元x₁,x₂,x₃，通过在隐含层的计算，输出你的期望（输出值）h_w,b(x)，当你的输入和输出是一样的时候，成为自编码模型(Auto-Encoder),而当你输入和输出是不一致的时候，也就是我们常说的人工神经网络。

注释：+1称为偏置节点，又称为截距（如同直线上的b）；

其中函数f:()称为**函数，常用的**函数为sigmoid函数和tanh函数

神经网络的计算

我们用 $x_{l}$xl​表示网络的层数，本例中 $x_{l}$xl​=3 ，我们将第$l$l 层记为$L_{l}$Ll​，于是$L_{1}$L1​ 是输入层，输出层是$L_{nl}$Lnl​ 。本例神经网络有参数 $(W,b)$(W,b) = $(W^{(1)}$(W(1),$b^{(1)}$b(1),$W^{(2)}$W(2),$b^{(2)})$b(2))，其中 $W^{(l)}_{ij}$Wij(l)​ （下面的式子中用到）是第 $l$l 层第 $j$j 单元与第 $l+1$l+1 层第 $i$i单元之间的联接参数（其实就是连接线上的权重，注意标号顺序）， $b^{(l)}_i$bi(l)​是第 $l+1$l+1 层第 $i$i 单元的偏置项。因此在本例中， $W^{(1)} \in \Re^{3\times 3}$W(1)∈ℜ3×3 ，$W^{(2)} \in \Re^{1\times 3}$W(2)∈ℜ1×3 。注意，没有其他单元连向偏置单元(即偏置单元没有输入)，因为它们总是输出$+1$+1。同时，我们用 $s_l$sl​ 表示第$l$l 层的节点数（偏置单元不计在内）。

我们用$a^{(l)}_i$ai(l)​表示第$l$l 层第 $i$i 单元的**值（输出值）。当 $l=1$l=1 时， $a^{(1)}_i = x_i$ai(1)​=xi​ ，也就是第$i$i 个输入值（输入值的第$i$i 个特征）。对于给定参数集合$W,b$W,b ，我们的神经网络就可以按照函数$h_{W,b}(x)$hW,b​(x) 来计算输出结果。本例神经网络的计算步骤如下：

我们用 $z^{(l)}_i$zi(l)​ 表示第 $l$l 层第 $i$i 单元输入加权和（包括偏置单元），比如，$z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i ，则 \textstyle a^{(l)}_i = f(z^{(l)}_i)$zi(2)​=∑j=1n​Wij(1)​xj​+bi(1)​，则ai(l)​=f(zi(l)​) 。

这样我们就可以得到一种更简洁的表示法。这里我们将**函数 $f(\cdot)$f(⋅) 扩展为用向量（分量的形式）来表示，即 $f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)]$f([z1​,z2​,z3​])=[f(z1​),f(z2​),f(z3​)] ，那么，上面的等式可以更简洁地表示为：

$z^{(2)}$z(2)= $W^{(1)} x + b^{(1)}$W(1)x+b(1)
$a^{(2)}$a(2)= $f(z^{(2)})$f(z(2))
$z^{(3)}$z(3)= $W^{(2)} a^{(2)} + b^{(2)}$W(2)a(2)+b(2)
$h_{W,b}(x)$hW,b​(x)= $a^{(3)} = f(z^{(3)})$a(3)=f(z(3))

我们将上面的计算步骤叫作前向传播。回想一下，之前我们用 $a^{(1)} = x$a(1)=x 表示输入层的**值，那么给定第 $l$l 层的**值$a^{(l)}$a(l)后，第$l+1$l+1 层的**值$a^{(l+1)}$a(l+1) 就可以按照下面步骤计算得到：

$z^{(l+1)}$z(l+1)= $W^{(l)} a^{(l)} + b^{(l)}$W(l)a(l)+b(l)
$a^{(l+1)}$a(l+1)= $f(z^{(l+1)})$f(z(l+1))

将参数矩阵化，使用矩阵－向量运算方式，我们就可以利用线性代数的优势对神经网络进行快速求解。

此文主要根据下面两篇文章学习的一些心得：http://ufldl.stanford.edu/wiki/index.php/神经网络
https://www.2cto.com/net/201708/666276.html