神经元及线性神经网络
神经元
仿造人类的神经结构,从其它神经元细胞传递过来的信号,经过权重系数的相乘,形成传递信息。
求和之后,经过非线性函数,也输出0或者1。因为其他神经元传递进来的也是0或者1。
**函数:就是把求和映射到0或者1的函数。
单层感知机的局限性:
单层感知既可以处理分类问题,但是首先要求数据及是线性可分的。这就是最大的不好泛化的一点。
单层感知机不能处理异或情况,因为异或线性不可分。
性能评估函数的种类:
SSE就是MAS乘以3咯。
各种**函数:
**函数就是莫凡人类的神经元输出信号值。
各种区别就是注意一下单极性和双极性:
多层深度神经网络需要可微的**函数
注意RELU,在胜读网络里面很受欢迎,因为斜率是1,误差信号向后传播不会衰减。
梯度方向:函数增长最快的方向
负梯度方向:函数减少下降最快的方向
梯度负责方向,学习率负责步长
梯度下降法的一些缺点:
有可能陷入局部最小点出不来
也有可能设置的学习率太大或者小正当迭代很多次
线性神经网络结构