反向传播算法的理解（图片来自cs231n李飞飞课件）
1 链式求导法则（L是损失函数）
2 简单例子（没有矩阵向量参与运算）
把复杂的函数表达式拆分成一个个基础运算，每个基础运算记做一个节点，针对单个节点进行求导。需要服从链式求导法则，由后端开始反向传递，节点左边（前端）的梯度等于该节点求导的结果乘上右边（后端）的求导梯度（箭头上端是正向输入，下端是反向梯度，这里最末端的梯度1.0是提前假设的）。
2.1 引入Sigmoid函数可以简化节点图
2.2 常见运算节点梯度传播总结
加法运算：梯度不变
最大值运算：最大值的输入分支获得整个梯度，其他输入分支梯度为0
乘法运算：梯度交换（假设f(x)=xy，对y求导结果为x，对x求导结果为y）
3 复杂例子（有矩阵向量参与运算）
3.1 f(x,W)函数反向求q梯度
思路解析：
3.2 f(x,W)函数反向求W梯度
思路解析：
3.1 f(x,W)函数反向求x梯度
思路解析：