深度学习(持续更新)之(二)感知器的那些事

1、感知器的定义与介绍

感知器(Perceptron)是Frank Rosenblatt在1957年时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络是二元线性分类器。Frank Rosenblatt给出了相应的感知机学习算法,常用的有感知机学习、最小二乘法和梯度下降法。譬如,感知机利用梯度下降法对损失函数进行极小化,求出可将训练数据进行线性划分的分离超平面,从而求得感知机模型。

在人工神经网络领域中,感知器一般指单层的人工神经网络,用来区别弄复杂的多层感知器。且感知器的本质缺陷是不能处理线性不可分问题。人工神经网络的基本单元。感知器的应用首先要要求特征空间必须是线性可分的,其次要求二分类(单层的感知器)

我的理解就是感知器就是神经网络的一个神经元

                                                深度学习(持续更新)之(二)感知器的那些事

图中可以看到有权值偏置输出阶跃函数。一个感知器有多个输入及一个偏置,只有一个输出

2、感知器的前馈运算

深度学习(持续更新)之(二)感知器的那些事

深度学习(持续更新)之(二)感知器的那些事

深度学习(持续更新)之(二)感知器的那些事

深度学习(持续更新)之(二)感知器的那些事                            

深度学习(持续更新)之(二)感知器的那些事

3、感知器的实际运用

感知器具有一定的逻辑运算能力。可以完成一些基础的逻辑操作(与、或、非、与非)

逻辑与

深度学习(持续更新)之(二)感知器的那些事

实际图中感知器所做的就是将红色与蓝色的点划分成两个部分,只要满足这一条件都可以作为我们所求的解(权重和偏置的值)。其他的简单逻辑运算可自行验证,感知器通过设置权重和偏置的值完成一些基础逻辑运算 。

下面转换成一般情况:(图中只画出一种情况)

深度学习(持续更新)之(二)感知器的那些事

感知器的局限

  • 由于阶跃函数的关系,只能做0-1输出
  • 仅能处理线性可分问题(就是用线性的方式[一条直线]把数据分开),无法解决异或问题(没有办法用线性的方式分开数据)异或问题可用多层感知器网络来解决。

4、多层感知器

深度学习(持续更新)之(二)感知器的那些事

 多层感知器就是添加了隐层的感知器层状结构,图片中每个粉色的小圆圈代表一个感知器,隐层的各个感知器之间没有权重相连接。

图中所示的为单隐层感知器,也可以叫做双层感知器(双层是隐层和输出层)

隐层:除输入层和输出层外的所有层。隐层不会直接给出输出信号。

隐层的输出计算

深度学习(持续更新)之(二)感知器的那些事

所有同一隐层的神经元(感知器)都与上一层的每一个输出相连,且同一隐层的所有神经元不互相连接。 假设l-1层有10个神经元,那么l层的每个神经元分别有10个权重。

隐层的作用

深度学习(持续更新)之(二)感知器的那些事

 增添隐层就是解决了感知器只能解决线性可分的这一局限,决策类型有单一变为多样。

多层感知器拟合异或函数

深度学习(持续更新)之(二)感知器的那些事