深度学习基础知识笔记

深度学习基础知识笔记
参数通过反向传播(BP)求解
深度学习基础知识笔记
超参数是对网络结构设计
而参数是反向传播自动生成的最优解是与网络结构并列的
深度学习基础知识笔记
其实用的就是一个线性回归,损失函数和梯度下降
深度学习基础知识笔记
对比
深度学习基础知识笔记
数学回忆
深度学习基础知识笔记
深度学习基础知识笔记
多位函数,分别对xyz求偏导,沿着导数方向进行调节最快

梯度下降
深度学习基础知识笔记
合适的步长很重要
深度学习基础知识笔记
对比之前知识
深度学习基础知识笔记
初始步长可以最大,0.01(收敛快)
过1w次后再变为0.001

局部最优解:非凸——加入扰动因子
深度学习基础知识笔记
CD其实是最小