深度学习笔记一:logistic回归模型与神经网络
- 神经元——最小的神经网络
-
**函数sigmoid——二分类logistic回归模型
sigmoid的输出在0,1之间,概率正好也在0,1之间,因此我们可以做一个定义:在二分类的情况下,当输入数据的时候,属于Y = 0这个类的概率为这个函数的输出。在模型的训练之后,参数会根据训练数据进行调整,使得模型能够拟合数据。在随后的测试中,一个输入将会通过模型参数得到一个输出,完成分类任务。 -
**函数softmax-多分类logistic回归模型
此时,权重W由一个向量变为矩阵,得到多个输出,再通过归一化,将所有输出相加的和变为1(下图)
- 目标(损失)函数-衡量模型对数据的拟合程度
通常用loss表示,是真实向量和预测向量之间差别的程度。
(1)平方差损失函数
(2)交叉熵损失函数
-
神经网络训练目的:使损失函数(loss)最小(即预测值与真实值最为接近)
-
神经网络——多层神经元