深度学习入门——单层感知器
本文学习资源主要来自《5天搞定深度学习入门系列(免费)》腾讯课堂。
概念
感知器(Perceptron)是神经网络中的一个概念,在1958年由Frank Rosenblatt第一次引入。
单层感知器可以用来区分线性可分的数据,并且一定可以在有限的迭代次数中收敛。
感知器的学习规则规定,学习信号等于神经元期望输出(教师信号)与实际输出之差(r表示误差):
式中,为期望的输出,。感知器采用了符号函数作为转移函数,表达式为:
代表矩阵, 代表一个值。
因此,权值调整公式为:
- 表示学习率,()
- 两次迭代之间的权值变化已经很小
- 设定最大迭代次数,当迭代超过最大次数就停止。
式中,当实际输出与期望值相同时 , 权重不需要调整。在有误差存在的情况下,由于和,权值调整公式可简化为:
感知器学习规则只适用于二进制神经元,初始权值可取任意值。
感知器学习规则代表一种有监督学习。由于感知器理论是研究其它神经网络的基础,该规则对于神经网络的有监督学习具有极为重要的意义。
人体神经网络
单层感知器 模拟人体神经网络:
单层感知器(Single Layer Perceptron)是最简单的神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。
单层感知器示例:
把偏置当做特殊可能权值:
这时把x0固定为1,取消权值,以减化运算。