神经网络

神经网络算法的目的

1. Logistic回归和线性回归很难或者不能处理复杂的非线性分类问题。
2. 很多分类问题需要使用数量巨大的特征，如果要使用二次项表示，会产生更多的特征项。

模型表示

神经元——逻辑单元

如图所示，是一个人工的神经元，它负责将输入信息进行加工之后输出。
其中，第一部分代表的是输入，$x_0=1$x0​=1为偏置单元；第二部分是神经元，对于输入使用激励函数进行加工；第三部分是输出。
激励函数为：
$g(z)=\frac{1}{1+e^z}$g(z)=1+ez1​

神经网络

1. 神经网络也就是神经元的集合。
   图中第一部分为输入层，第二部分为隐藏层，第三部分为输出层。
   这个表示法中神经元中的数字代表该神经元计算之后的输出值。
2. 计算过程为：
   以第二层为例：
   输入：
   $\begin{bmatrix}x_0\\x\end{bmatrix}$[x0​x​]
   输入加上权重：
   $z^{(2)}=\theta_1\begin{bmatrix}x_0\\x\end{bmatrix}$z(2)=θ1​[x0​x​]
   在神经元中经过激励函数加工：
   $a^{(2)}=g(\theta_1\begin{bmatrix}x_0\\x\end{bmatrix})$a(2)=g(θ1​[x0​x​])
   这种计算过程又被称作前向传播。