飞桨深度学习集训营学习心得

1. 硬性设施：免费的V100 GPU运行算力以及专业的导师队伍答疑。

2. 专业的知识：深度学习模型的相关内容

深度学习模型的训练步骤，包括数据，模型，损失函数和优化器等，无论是Paddlepaddle，还是tensorflow、pytorch等深度学习框架，都离不开如下步骤：

1）数据收集，数据划分，数据读取，数据增强；

2）模型创建和权值初始化；

A. 模型创建包括构建网络层（卷积层、池化层和**层等）和拼接网络层（LeNet，AlexNet，VGGNet，GoogleNet，ResNet等模型）；

B. 权值初始化包括均匀分布和正态分布等。

3）正向传播

A. 将数据输入网络模型（每个神经元先将输入值加权累加再输入**函数作为该神经元的输出值）正向传播，得到“得分”;

B. 将“得分”输入损失函数，与期望值做差值得到误差，通过误差判断模型的训练效果（损失值越小越好）；

4）反向传播

优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。

A. 通过反向传播（反向求导，损失函数和神经网络中每个**函数都要求，最终目的是使误差最小）来确定梯度向量；

B. 通过梯度向量来调整每一个权值，向“得分”使误差趋于0或收敛的趋势调节；

C. 重复上述过程，直到设定的迭代次数或损失函数不再下降（最低点），即可表示训练完成。

其中，需要注意的是损失函数、代价函数和目标函数的区别，具体可见链接: https://blog.csdn.net/weixin_39615327/article/details/104362989

百度深度学习训练营的课程真心推荐 AI stdio：