深度学习入门——单层感知器

本文学习资源主要来自《5天搞定深度学习入门系列(免费)》腾讯课堂。

概念

感知器(Perceptron)是神经网络中的一个概念,在1958年由Frank Rosenblatt第一次引入。
单层感知器可以用来区分线性可分的数据,并且一定可以在有限的迭代次数中收敛。
感知器的学习规则规定,学习信号等于神经元期望输出(教师信号)与实际输出之差(r表示误差):

r=djoj

式中,dj为期望的输出,oj=f(WjTX)。感知器采用了符号函数作为转移函数,表达式为:
f(WjTX)=sgn(WjTX)={1,WjTX00,WjT<0

W代表矩阵, w代表一个值。
因此,权值调整公式为:
ΔWj=η[djsgn(WjTX)]X

Δwij=η[djsgn(WjTX)]xii=0,1,...,n

  • η表示学习率,(0<η1
  • 两次迭代之间的权值变化已经很小
  • 设定最大迭代次数,当迭代超过最大次数就停止。

式中,当实际输出与期望值相同时 , 权重不需要调整。在有误差存在的情况下,由于djsgn(WjTX)1,1,权值调整公式可简化为:

ΔWj=±2ηX

感知器学习规则只适用于二进制神经元,初始权值可取任意值。
感知器学习规则代表一种有监督学习。由于感知器理论是研究其它神经网络的基础,该规则对于神经网络的有监督学习具有极为重要的意义。
人体神经网络
深度学习入门——单层感知器

单层感知器 模拟人体神经网络:
单层感知器(Single Layer Perceptron)是最简单的神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。
深度学习入门——单层感知器

单层感知器示例:
深度学习入门——单层感知器

把偏置当做特殊可能权值:
深度学习入门——单层感知器
这时把x0固定为1,取消权值,以减化运算。