反向传播算法 from 吴恩达的机器学习
反向传播算法目的
最小化神经网络代价函数
表示：
l：代表目前所计算的是第几层。
j：代表目前计算层中的**单元的下标，也将是下一层的第个输入变量的下标。
i：代表下一层中误差单元的下标，是受到权重矩阵中第行影响的下一层中的误差单元的下标。
：表示误差
：误差矩阵
假设，即我们不做任何正则化处理时有
反向传播算法
1.获得训练集
2.对所有的 i j l初始化
3.对训练集数据i=1：m
（1）设置a1 = x(i,:)
（2）使用前向传播算法，获得a2,a2...至 aL
（3）计算输出层误差
（4）从输出层到输入层，计算每一层误差
（5）计算
（6）计算出代价函数的偏导数，即预测参数
反向传播算法直观理解
前向传播：
后向传播：