机器学习(第五周)--神经网络

神经网络代价函数

K:最终分类类的类别个数

L:神经网络层数

si:第i层中的单位数量(不包括偏差单位)

我们已知逻辑回归代价函数的一般形式,神经网络最后一层的分类算法也可以是逻辑回归。最后一层是K个分类目标函数,约束条件的参数在L层中每个映射均有对应的约束参数,对目标函数累加值求均值,以及对参数的正则项约束条件,可得神经网络的代价函数。

双重总和只是将输出层中每个单元计算的逻辑回归成本相加
三重和只是将整个网络中所有单个Θ的平方相加。
我在三重总和中并没有提到训练例子i


机器学习(第五周)--神经网络


J(θ)训练过程,对θ求偏导,进行迭代回归,使J(θ)与y输出的方差最小,证明过程可参考:

https://blog.csdn.net/starzhou/article/details/52687609

证明过程如下


梯度下降过程如下:

机器学习(第五周)--神经网络

反向传播算法如下:

机器学习(第五周)--神经网络


证明过程如下

机器学习(第五周)--神经网络


机器学习(第五周)--神经网络


机器学习(第五周)--神经网络

前向传播算法过程:

机器学习(第五周)--神经网络


代价函数

机器学习(第五周)--神经网络


反向传播算法过程如下:

机器学习(第五周)--神经网络


向量和矩阵方式的高级优化算法

机器学习(第五周)--神经网络

使用矩阵表达的好处: 当你的参数以矩阵的形式储存时 你在进行正向传播 和反向传播时 你会觉得更加方便 当你将参数储存为矩阵时 一大好处是 充分利用了向量化的实现过程

 向量表达式的优点:如果你有像thetaVec或者DVec这样的矩阵 当你使用一些高级的优化算法时 这些算法通常要求 你所有的参数 都要展开成一个长向量的形式

展开矩阵成为长向量和重新构建向量举例

机器学习(第五周)--神经网络



机器学习(第五周)--神经网络

梯度下降检验法

对代价函数进行双边求导

机器学习(第五周)--神经网络


octave程序实现过程

机器学习(第五周)--神经网络

反向传播是个非常高效的算法,得到的DVEC是个近似值

梯度下降法gradApprox是个迭代的精确值,但是迭代速度和计算量是很大的

在验证了DVEC计算正确之后就可以调整关闭梯度下降法,使用反向传播的算法计算


梯度下降要注意初始值,在逻辑回归可以领theta初始值为0,在神经网络中要避免矩阵对称导致的权重值相等

机器学习(第五周)--神经网络


举例如下

If the dimensions of Theta1 is 10x11, Theta2 is 10x11 and Theta3 is 1x11.

Theta1 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;
Theta2 = rand(10,11) * (2 * INIT_EPSILON) - INIT_EPSILON;

Theta3 = rand(1,11) * (2 * INIT_EPSILON) - INIT_EPSILON;

神经网络的流程

随机初始化权重
对任何x实施正向传播以得到
实施成本函数
实施反向传播以计算偏导数
使用梯度检查来确认您的反向传播工作。 然后禁用梯度检查。
使用梯度下降或内置优化功能,以theta中的权重最小化成本函数。