神经元及线性神经网络

神经元

仿造人类的神经结构,从其它神经元细胞传递过来的信号,经过权重系数的相乘,形成传递信息。
求和之后,经过非线性函数,也输出0或者1。因为其他神经元传递进来的也是0或者1。

神经元及线性神经网络
**函数:就是把求和映射到0或者1的函数。
神经元及线性神经网络
单层感知机的局限性:
单层感知既可以处理分类问题,但是首先要求数据及是线性可分的。这就是最大的不好泛化的一点。
单层感知机不能处理异或情况,因为异或线性不可分。
神经元及线性神经网络
性能评估函数的种类:
神经元及线性神经网络
SSE就是MAS乘以3咯。
神经元及线性神经网络
各种**函数:
**函数就是莫凡人类的神经元输出信号值。
神经元及线性神经网络
各种区别就是注意一下单极性和双极性:
神经元及线性神经网络
多层深度神经网络需要可微的**函数
神经元及线性神经网络
注意RELU,在胜读网络里面很受欢迎,因为斜率是1,误差信号向后传播不会衰减。

神经元及线性神经网络

梯度方向:函数增长最快的方向
负梯度方向:函数减少下降最快的方向
神经元及线性神经网络
梯度负责方向,学习率负责步长
神经元及线性神经网络

梯度下降法的一些缺点:
有可能陷入局部最小点出不来
也有可能设置的学习率太大或者小正当迭代很多次
神经元及线性神经网络
线性神经网络结构

神经元及线性神经网络
神经元及线性神经网络