前言

正向传播计算图在深度学习理解中尤为重要，下面展开博主对正向传播的理解，以书中3.14.2节为例

正文

图3.6正向传播计算图的各个元素理解：

1. 方框中x为数据集的特征，方框中y为数据集的标签
2. 方框中的z为隐藏层输出
3. 方框中的h为**层输出
4. 方框中的o为线性层输出
5. W1为隐藏层权重；W1为线性权重
6. 圆圈L2为求W1和W2的L2范数的意思，即W1和W2矩阵变平为向量后计算L2范数（平方和再开方）
7. 圆圈中s表示通过求L2范数得到的正则化项（注意：s不单单是L2范数，还需要乘上λ/2，其中λ为一个超参数，可以控制权重衰减的大小）
8. 圆圈中的l表示求输出标签值o与真实标签y之间的损失函数
9. 方框中的L表示通过圆圈l求得的损失函数值赋给了变量L

图3.6正向传播计算图的流程理解：

1. 整个网络结构是：隐藏层——**层——线性层
2. 隐藏层和线性层的权重W1；W2计算L2范数构成正则化项s
3. 算是函数项L加上正则化项s得到目标函数J