深度学入门笔记(一)————单层感知器

感知器

也叫神经元,类似于大脑神经细胞,完成输入信号分析输出等一系列过程,是一种早期的神经网络模型

  发展历程

深度学入门笔记(一)————单层感知器

 单层感知器结构

深度学入门笔记(一)————单层感知器

神经网络的作用:调整权值使实际输出接近期望输出

学习信号:神经元期望输出与实际值输出之差

深度学入门笔记(一)————单层感知器

 深度学入门笔记(一)————单层感知器  为期望输出,深度学入门笔记(一)————单层感知器 为实际输出信号。

深度学入门笔记(一)————单层感知器

深度学入门笔记(一)————单层感知器 为输入信号矩阵,sgn为**函数,深度学入门笔记(一)————单层感知器 是实际输出值。

权值调整公式为:

深度学入门笔记(一)————单层感知器

η为学习效率, X 为输入信号,△Wj为权重的调整。

当实际输出与期望输出相同时,权重值不需要调整;有误差时,因dj和sgn(WjT X) = {-1,1},所以权值调整公式可化简为:

深度学入门笔记(一)————单层感知器

感知器学习规则只适用于二进制神经元,初始权值可取任意值。

 

学习率

  1. η学习率(0<η<1)
  2. 学习率太大,容易造成权值调整不稳定
  3. 学习率太小,权值调整太慢,迭代次数太多

 收敛条件:

  1. 误差小于某个预先设定的较小值
  2. 两次迭代之间的权值变化已经很小
  3. 设定最大迭代次数,当超过最大次数就停止