学习 《神经网络与深度学习》 笔记2

2019年5月23日 晚上十点
S型神经元
现在我们试图对于感知器网络中的权重和偏置进行一个微小的改动，试图只是引起输出一个微小的变化。例如对于手写体输出的识别，其中网络错误的将一幅“9”的图像识别成“8”的图像，我们尝试着通过对于权重和偏置微小的调整矫正这个错误。但是当我们这个网络是感知器网络的时候，这种情况是做不到的，相反的，对于这样一个微小的改动有时候会引起感知器输出的完全翻转，0变1或者1变0，这样的话，当前网络在其他图像上的行为就会以一种很难控制的方式被完全改变。这是我们引入一种被称为S型神经元的新型网络单元组成网络。S型神经元同样可以接受很多输入，但是和感知器不同的是，感知器的输出只能是0或者1，但是S型神经元的输出可以是0到1之间的任意值，不限于0和1这两个值。而神经元的输出定义为
其中x = w * 输入 + b，w为权重，b为偏置。如果有一组输入x1，x2，x3…，一组权重w1，w2，w3…，则S型神经元的输出为1/（1+exp（-∑wjxj - b））。设z=wx+b,当z是一个很大的正数时，exp(-z)≈0，σ(z)≈1，S型神经元的输出接近于1：相反的，当z是一个很小的负数时，exp(-z)趋近于无穷，σ(z)≈0，这样在这两种极限情况下，S型神经元的行为类似于一个感知器，但是在输入取中间值的时候，就不同于感知器。
当神经元的**函数时sigmoid函数是，则是S型神经元，当神经元**函数是下图的阶跃函数时，神经元则变成了一个感知器。

现在我们解释一下S型神经元的输出。之前说过S型神经元的输出可以是0到1之间任意一个数字，有时候例如0.87654或者0.23165这样的数字是很有用的。感知器输出为0到1，这样更像是一个非黑即白的判断。但是事实生活中并不是那么精确的就是能判断是与否，而S型神经元则像是一个对我们判断的一个概率值，进而我们可以约定达到一定的概率我们就相信这个判断或者是我们以一定的概率相信这个网络做出的判断。

神经网络的架构

假设我们建立一个这样的网络（上图是我在一篇博客上截图得到），其中最左边的被称为输入层，其中的神经元被称作输入神经元，最右边为输出层，其中包含的神经元是输出神经元，而夹在中间的部分就是隐藏层。有些网络只有一层网络层，但是大多数网络都存在很多层的隐藏层进行计算。如果网络中都是以上一层的输出作为下一层的输入的网络被称为前馈神经网络，网络中没有回路，信息在向前单向传播。