深度学习基础知识笔记
参数通过反向传播(BP)求解
超参数是对网络结构设计
而参数是反向传播自动生成的最优解是与网络结构并列的
其实用的就是一个线性回归,损失函数和梯度下降
对比
数学回忆
多位函数,分别对xyz求偏导,沿着导数方向进行调节最快
梯度下降
合适的步长很重要
对比之前知识
初始步长可以最大,0.01(收敛快)
过1w次后再变为0.001
局部最优解:非凸——加入扰动因子
CD其实是最小
参数通过反向传播(BP)求解
超参数是对网络结构设计
而参数是反向传播自动生成的最优解是与网络结构并列的
其实用的就是一个线性回归,损失函数和梯度下降
对比
数学回忆
多位函数,分别对xyz求偏导,沿着导数方向进行调节最快
梯度下降
合适的步长很重要
对比之前知识
初始步长可以最大,0.01(收敛快)
过1w次后再变为0.001
局部最优解:非凸——加入扰动因子
CD其实是最小