本篇笔记主要记录及推导Andrew NG的Machine Learning课程中出现的公式。

　　我们假设对于任意的分类、聚类、回归等问题在自然界中总是存在一个精确的模型与之相对应，接下来我们要做的就是根据获取的样本来反推并确定这个模型。由于我们毕竟无法遍历这个问题所有的情况，所以我们只能根据获取的样本去尽可能接近的确定这个模型。

　　公式化上面这段描述，问题对应的模型就藏在假设空间(Hypothesis) hθ(x)$h_{\theta }(x)$中，我们需要通过观测样本，确定其中的θ$\theta$值。在确定θ$\theta$值的过程中，定义一个损失函数(Cost Function) J(θ)$J(\theta )$，如果我们获取的样本在某一个参数θ$\theta$时使损失值达到最小，即表示当前θ$\theta$值确定的模型可以使预测值很接近观察值。那么这个模型就是我们需要寻找的。

　　对于监督学习，我们要做的就是确定目标函数，损失函数，然后通过样本训练，得到损失值最小的那一组参数值，用该参数值代入目标函数，即可得到对应问题的模型。

一、线性回归模型

1、单一变量的线性回归模型

　　目标函数：

　　损失函数：

　　公式说明：
　　hθ(x(i)):第i个样本$h_{\theta }(x^{(i)}):第i个样本$
　　y(i):第i个样本对应的实际值$y^{(i)}:第i个样本对应的实际值$

　　接下来的目标就是找到一组参数值，使得损失函数值最小，即

　　求损失函数最小值时，使用梯度下降(Gradient descent)的方法。在微积分中我们学过梯度，梯度方向是函数值下降最快的方向，所以在梯度下降方法中，我们分别求θ0和θ1${\theta }_0和{\theta }_1$的偏导数，然后用该导数值更新参数值。

　　说明，上面公式中的:=$:=$表示赋值的意思，如果直接写a = 1可能会被误理解为判断a是否等于1。

　　求损失函数J(θ0,θ1)$J({\theta }_0,{\theta }_1)$对θ0${\theta }_0$和θ1${\theta }_1$的偏导数，

使用偏导数公式对上式展开。

　

2、多变量线性回归模型

　　上一节的模型中只有一个指标x$x$，理解了线性回归模型及其寻找最优化参数的过程。接下来将该思路应用到多变量模型中。

（1）目标函数

　　上式中的x1,x2,⋯,xn$x_1,x_2,\cdots ,x_n$都是给定样本中的指标，其中x0=1$x_0=1$是人为增加的。
　　如果将目标函数使用向量表示，

（2）损失函数

（3）梯度下降

　　分别对θ0,θ1,θ2${\theta }_0,{\theta }_1,{\theta }_2$求偏导数并进行展开，如下所示

（4）公式法

　　如果我们将目标函数向量化，TXTθ=y$T{X}^T\theta =y$，需要求解其中的θ$\theta$，

　　这里需要说明一下，θ,y,X$\theta ,y,X$分别代表的含义。在本文中，向量都是小写字母表示，并且都是列向量，即n∗1$n\ast 1$维。矩阵的维度m∗n$m\ast n$表示有m$m$行n$n$列。那么上式中，我们假设m=4$m=4$，n=5$n=5$其中包括x0$x_0$，给出一组示例数据

　　对应的X$X$为，每个x(i)$x^{(i)}$表示一行数据的话：

　　对应的y$y$为：

　　对应的θ$\theta$为：

二、逻辑回归模型

1、逻辑回归模型

　　上面的线性回归模型输出结果为连续值，如果我们面对的是一个分类模型，比如判断是否为垃圾邮件，或者其他的分类问题时，就不能直接使用线性回归模型了。

　　逻辑回归模型是在线性回归模型上的一个演变，它通过一个逻辑函数可以将线性回归模型的输出结果转变为0或1的离散输出。

（1）逻辑函数

　　即Logistic Function，也称为Sigmoid Function，如下所示，

　　对应的函数图形为：

　　从图中可以看到，横轴是连续取值，但是纵轴上的取值范围被限制在0和1之间，Sigmoid函数可以将连续值转变为0或1的离散值。

　　如果将上面的逻辑函数g(z)$g(z)$应用在线性回归模型的输出函数hθ(x)$h_{\theta }(x)$上，就可以得到本节所讲的逻辑回归模型。

（2）目标函数

　　当y=1$y=1$时，hθ(x)$h_{\theta }(x)$的值，可以理解为是对当前样本x$x$，在参数θ$\theta$的情况下被预测为1的概率。即

（3）损失函数

　　在前面的线性回归模型中，损失函数如下

　　上式第二行中将12$\frac{1}{2}$向后移动到求和项中，如果将求和项中整体定义为

，

　　那么线性回归的损失函数可以写成

　　线性回归使用的是平方损失，如果我们直接将平方损失函数应用到逻辑回归模型中，最终得到的J(θ)$J(\theta )$可能如下图所示，

　　逻辑回归模型中使用的是对数损失，定义如下

　　可以画出对数损失函数图形来看，当y=1$y=1$ 并且 hθ(x)=1$h_{\theta }(x)=1$时，Cost=0$Cost=0$，当y=1$y=1$ 并且 hθ(x)→0$h_{\theta }(x)\to 0$时，Cost→∞$Cost\to \mathrm{\infty }$。y=0$y=0$时情况类似。

　　最后，将逻辑回归的对数损失函数进行融合，

　　将Cost(hθ(x),y)$Cost(h_{\theta }(x),y)$代入J(Θ)$J(\mathrm{\Theta })$可以得到逻辑回归完整的损失函数如下

　　逻辑回归中使用对数损失函数来求解参数，与采用极大似然估计求参数是一致的。

　　以下为对数损失函数和极大似然估计的分析过程：

　　假设样本服从伯努利分布(0-1分布)，则有

P(hθ(x)=y)={1−ppn=0n=1$$P(h_{\theta }(x)=y)=\{\begin{array}{ll}1-p& n=0\\ p& n=1\end{array}$$

　　似然函数如下：

L(θ)=∏i=1mP(y=1|xi,θ)yiP(y=0|xi,θ)1−yi$$L(\theta )=\prod _{i=1}^{m}P(y=1|x_i,\theta {)}^{y_i}P(y=0|x_i,\theta {)}^{1-y_i}$$

　　对数似然函数为：

lnL(θ)=∑i=1m[yiln(P(y=1|xi,θ)+(1−yi)lnP(y=0|xi,θ)]=∑i=1m[yiln(P(y=1|xi,θ)+(1−yi)ln(1−P(y=0|xi,θ))]$$\begin{gathered} lnL(\theta )=\sum _{i=1}^m[y_{i}ln(P(y=1|x_i,\theta )+(1-y_i)lnP(y=0|x_i,\theta )] \\ =\sum _{i=1}^m[y_{i}ln(P(y=1|x_i,\theta )+(1-y_i)ln(1-P(y=0|x_i,\theta ))] \end{gathered}$$

　　根据对数损失函数的定义

Cost(y,p(y|x)=−ylnp(y|x)−(1−y)ln(1−p(y|x))$$Cost(y,p(y|x)=-ylnp(y|x)-(1-y)ln(1-p(y|x))$$

　　那么对于全体样本，损失函数如下：

Cost(y,p(y|x)=−∑i=1m[yilnp(yi|xi)−(1−yi)ln(1−p(yi|xi))]$$Cost(y,p(y|x)=-\sum _{i=1}^m[y_{i}lnp(y_i|x_i)-(1-y_i)ln(1-p(y_i|x_i))]$$

　　可以看到，对数损失函数与上面的极大似然函数本质上是等价的。所以，逻辑回归直接采用对数损失函数，与采用极大似然估计是一致的。

（4）梯度下降

　　接下来使用梯度下降方法求解逻辑回归的最佳参数，求解损失函数

　　的最优解过程如下，

　　以下为求∂∂θjJ(θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\theta }_j}J(\theta )$的过程，

以下为了简便，将hθ(x)$h_{\theta }(x)$记作h$h$，那么h=11+e−θTx$h=\frac{1}{1+e^{-{\theta }^{T}x}}$对θ$\theta$求偏导数如下，

∂∂θh=xe−θTx(1+e−θTx)2=xe−θTx1+e−θTx11+e−θTx=x(1−11+e−θTx)11+e−θTx=x(1−h)h$$\begin{array}{rl}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h& =\frac{x{e}^{-{\theta }^{T}x}}{(1+e^{-{\theta }^{T}x}{)}^2}\\ & =x\frac{e^{-{\theta }^{T}x}}{1+e^{-{\theta }^{T}x}}\frac{1}{1+e^{-{\theta }^{T}x}}\\ & =x(1-\frac{1}{1+e^{-{\theta }^{T}x}})\frac{1}{1+e^{-{\theta }^{T}x}}\\ & =x(1-h)h\end{array}$$

将

Cost(hθ(x),y)=−ylog(hθ(x))−(1−y)log(1−hθ(x))$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$

简记为

Cost(h,y)=−ylog(h)−(1−y)log(1−h)$$Cost(h,y)=-ylog(h)-(1-y)log(1-h)$$

那么

∂∂θCost(h,y)=−y1h∂∂θh−(1−y)11−h(−∂∂θh)=−y1h∂∂θh+(1−y)11−h∂∂θh=−y(1−h)h(1−h)∂∂θh+h(1−y)h(1−h)∂∂θh=−y+yh+h−yhh(1−h)∂∂θh=h−yh(1−h)∂∂θh=h−yh(1−h)xh(1−h)=x(h−y)$$\begin{array}{rl}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }Cost(h,y)& =-y\frac{1}{h}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h-(1-y)\frac{1}{1-h}(-\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h)\\ & =-y\frac{1}{h}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h+(1-y)\frac{1}{1-h}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h\\ & =\frac{-y(1-h)}{h(1-h)}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h+\frac{h(1-y)}{h(1-h)}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h\\ & =\frac{-y+yh+h-yh}{h(1-h)}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h\\ & =\frac{h-y}{h(1-h)}\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }h\\ & =\frac{h-y}{h(1-h)}xh(1-h)\\ & =x(h-y)\end{array}$$

将上式代入J(θ)=1m∑mi=1Cost(hθ(x),y)$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x),y)$，可得到

∂θJ(θ)=1m∑i=1m∂∂θCost(hθ(x),y)=1m∑i=1m(hθ(x(i))−y(i))x(i)$$\begin{array}{rl}\frac{\mathrm{\partial }}{\theta }J(\theta )& =\frac{1}{m}\sum _{i=1}^m\frac{\mathrm{\partial }}{\mathrm{\partial }\theta }Cost(h_{\theta }(x),y)\\ & =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}\end{array}$$

那么对于梯度下降，

θj:=θj−α∂θJ(θ):=θj−α1m∑i=1m(hθ(x(i))−y(i))x(i)j$$\begin{array}{rl}{\theta }_j& :={\theta }_j-\alpha \frac{\mathrm{\partial }}{\theta }J(\theta )\\ & :={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}\end{array}$$

因为α$\alpha$是一个常量，并且1m$\frac{1}{m}$对于一个给定的样本也是一个常量，所以可以将αm$\frac{\alpha }{m}$直接写成α$\alpha$。

三、正则化

1、过拟合

　　正则化的目的是防止过拟合，当指标较多，并且训练样本较少时得到的模型可能会出现过拟合。过拟合从函数图像上的理解就是，训练得到的模型完全拟合给定样本，可能出现对于训练样本，损失值为0，而对于未在训练样本中出现过的样本，误差会很大。下图示例了过拟合，

2、线性回归模型正则化

　　图中蓝色线条为线性回归模型的过拟合情况，增加了θ3x3${\theta }_3{x}^3$和θ4x4${\theta }_4{x}^4$两项后，曲线完全拟合给定样本。而红色曲线是训练的比较好的情况。在这里，我们如果想将θ3x3${\theta }_3{x}^3$和θ4x4${\theta }_4{x}^4$从模型中剔除，可以将损失函数进行一定改造，如下所示，

　　上面这个损失函数中，由于给了θ3${\theta }_3$和θ4${\theta }_4$两个很大的系数，所以最终得到θ3${\theta }_3$和θ4${\theta }_4$接近于0才能使损失函数值尽可能小。

　　正则化基本上就是这个过程，会为除θ0${\theta }_0$之外每个参数值增加一个类似的系数。增加了正则化后的线性回归模型损失函数如下，

3、欠拟合

　　假如我们给λ$\lambda$设置一个很大的参数，可能会出现过拟合的情况，因为这时候需要得到最小损失值，可能会将所有θ$\theta$全部训练为0。可能最终得到的目标函数是hθ(x)=θ0$h_{\theta }(x)={\theta }_0$，欠拟合的函数图形如下所示，

4、线性回归模型梯度下降

　　对正则化之后的损失函数进行梯度下降求解参数值的过程如下所示，

　　这里更新θj${\theta }_j$时乘以了一个系数1−αλm$1-\alpha \frac{\lambda }{m}$，由于α,λ,m$\alpha ,\lambda ,m$都是正数，所以该系数是一个大于零的分数，最终和之前不同的是在更新θ$\theta$值时会逐渐缩小θ$\theta$值。

5、逻辑回归模型正则化

　　逻辑回归模型的正则化也是在损失函数最后增加正则项，如下所示，

6、逻辑回归模型梯度下降

7、L1正则

8、L2正则

四、神经网络

1、神经网络结构

　　神经网络模型是模拟生物神经元，神经网络中每个节点可以理解成一个变量比如xi$x_i$，不同层之间的连接线可以理解成参数比如θj${\theta }_j$。神经网络结构如下所示，

　　上图中，第一层中的x1,x2,x3$x_1,x_2,x_3$即前面回归模型中见到的样本各指标值，第一层也被称为输入层，最后一层的输出就是我们前面介绍到的hθ(x)$h_{\theta }(x)$的输出值，最后一层也被称为输出层。并且在实现神经网络模型时会为除输出层之外的每一层增加一个x0$x_0$或$a_0^{(2)}这么一个偏置项。

　　定义几个概念：

• a(j)i$a_i^{(j)}$，表示第j$j$层的第i$i$个节点

• Θ(j)${\mathrm{\Theta }}^{(j)}$，表示从第j$j$层到第j+1$j+1$层的参数矩阵，图中Θ(1)${\mathrm{\Theta }}^{(1)}$是一个3∗4$3\ast 4$的矩阵，3表示下一层(即第2层)有3个节点，4表示本层(即第1层)有4个节点(包含x0$x_0$项)

  　　生物上的神经元之间传递的电信号，一般是高低电平，而非一个连续的值。所以在我们的神经网络中一般会应用一个**函数g(x)$g(x)$，以后未作特殊说明，g(x)$g(x)$一般取Sigmoid函数。上图中神经网络结构对应的表达式如下

　　需要注意的是神经网络并不是如上面示例中只有一个中间层，而是可以更多，并且每一层的**函数g(x)$g(x)$也可以不相同。

2、神经网络实现的逻辑功能

　　这里用简单的神经网络结构示例如何实现XOR,XNOR,OR,AND,OR$XOR,XNOR,OR,AND,OR$等逻辑操作。

（1）AND

　　网络结构如下所示

　　表达式为

（2）OR

　　网络结构如下所示

　　表达式为

（3）NOT

　　网络结构如下所示

　　表达式为

（4）XNOR

　　网络结构如下所示，要想实现XNOR$XNOR$功能，简单的模型就不能实现了。下面同时使用了AND,OR,NOT$AND,OR,NOT$进行组合，并且构建多层网络模型才得以实现。

3、损失函数

　　神经网络的损失函数如下：

　　上式中，L$L$表示神经网络的总层数，sl$s_l$表示第l$l$层中神经元的个数(不包括偏置单元)。hΘ(x)∈RK,（hΘ(x))i=ith output$h_{\mathrm{\Theta }}(x)\in R^K,（h_{\mathrm{\Theta }}(x){)}_i=i^{th}output$，其中K$K$表示第K$K$个节点，那么y(i)k$y_k^{(i)}$表示对于样本i$i$的第k$k$个输出值。当分析的问题为二分类问题时，k=1$k=1$，当分析的问题为多分类问题时，k$k$为对应的分类数。

4、BP算法(Backpropagation Algorithm)

　　我们需要根据上一节中列举的损失函数求出全部的θ$\theta$值，得到minΘJ(Θ)$\underset{\mathrm{\Theta }}{min}J(\mathrm{\Theta })$，接下来用梯度下降求解的话，需要计算∂∂Θ(l)ijJ(Θ)$\frac{\mathrm{\partial }}{\mathrm{\partial }{\mathrm{\Theta }}_{ij}^{(l)}}J(\mathrm{\Theta })$。

　　对于一个包含两个隐含层的神经网络结构，给定一组样本(x,y)$(x,y)$，可以依次得到每一层相关数据：

　　根据公式(1)$\text{(1)}$，对于二分类的单个样本，损失函数如下

　　以下为该公式的推导过程

计算Θ(3)${\mathrm{\Theta }}^{(3)}$的梯度，结合公式(2)$\text{(2)}$：

\frac {\partial J(\Theta)}{\partial \Theta^{(3)}}=\frac {\partial J(\Theta)}{\partial a^{(4)}}*\frac {\partial a^{(4)}}{\partial z^{(4)}} * \frac {\partial z^{(4)}}{\partial \Theta^{(3)}} \tag{4}\label{4}$$\text{frac {partial J(Theta)}{partial Theta^{(3)}}=frac {partial J(Theta)}{partial a^{(4)}}*frac {partial a^{(4)}}{partial z^{(4)}} * frac {partial z^{(4)}}{partial Theta^{(3)}} tag{4}label{4}}$$

如果将式(4)$\text{(4)}$中等号右边前两项定义为δ(4)${\delta }^{(4)}$，则有

\delta^{(4)}=\frac {\partial}{\partial z^{(4)}}J(\Theta)=\frac {\partial J(\Theta)}{\partial a^{(4)}}*\frac {\partial a^{(4)}}{\partial z^{(4)}}\tag{5}\label{5}$$\text{delta^{(4)}=frac {partial}{partial z^{(4)}}J(Theta)=frac {partial J(Theta)}{partial a^{(4)}}*frac {partial a^{(4)}}{partial z^{(4)}}tag{5}label{5}}$$

结合(3)(5)$\text{(3)}\text{(5)}$并且a(4)=hΘ(x)=g(z(4))$a^{(4)}=h_{\mathrm{\Theta }}(x)=g(z^{(4)})$得到如下推导过程：

g(z(4))g′(z(4))=11+e−z(4)=e−z(4)(1+e−z(4))2=g(z(4))(1−g(z(4)))$$\begin{array}{rl}g(z^{(4)})& =\frac{1}{1+e^{-z^{(4)}}}\\ g^{\prime }(z^{(4)})& =\frac{e^{-z^{(4)}}}{(1+e^{-z^{(4)}}{)}^2}\\ & =g(z^{(4)})(1-g(z^{(4)}))\end{array}$$

\begin{split}
\delta^{(4)}&=\frac {\partial}{\partial z^{(4)}}J(\Theta)\\
&=\frac {\partial J(\Theta)}{\partial a^{(4)}}*\frac {\partial a^{(4)}}{\partial z^{(4)}}\\
&=-[y\frac 1{h_\Theta(x)}*h_\Theta'(x)+(1-y)\frac 1{1-h_\Theta(x)}*(-(h_\Theta'(x))]\\
&=-[y\frac 1{g(z^{(4)})}*g'(z^{(4)})+(1-y)\frac 1{1-g(z^{(4)})}*(-g'(z^{(4)}))]\\
&=-[y(1-g(z^{(4)})) + (y-1)g(z^{(4)})]\\
&=g(z^{(4)})-y\\
&=a^{(4)}-y
\end{split}\tag{6}\label{6}$$\text{begin{split}delta^{(4)}\&=frac {partial}{partial z^{(4)}}J(Theta)\&=frac {partial J(Theta)}{partial a^{(4)}}*frac {partial a^{(4)}}{partial z^{(4)}}\&=-[yfrac 1{h\_Theta(x)}*h\_Theta'(x)+(1-y)frac 1{1-h\_Theta(x)}*(-(h\_Theta'(x))]\&=-[yfrac 1{g(z^{(4)})}*g'(z^{(4)})+(1-y)frac 1{1-g(z^{(4)})}*(-g'(z^{(4)}))]\&=-[y(1-g(z^{(4)})) + (y-1)g(z^{(4)})]\&=g(z^{(4)})-y\&=a^{(4)}-yend{split}tag{6}label{6}}$$

接下来求∂J(Θ)∂Θ(2)$\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{\mathrm{\Theta }}^{(2)}}$和∂J(Θ)∂Θ(1)$\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{\mathrm{\Theta }}^{(1)}}$，由式(2)$\text{(2)}$可得，

\frac {\partial J(\Theta)}{\partial \Theta^{(2)}}=\frac {\partial J(\Theta)}{\partial a^{(4)} }\frac {\partial a^{(4)}}{\partial z^{(4)}}\frac {\partial z^{(4)}}{\partial a^{(3)}}\frac {\partial a^{(3)}}{\partial z^{(3)}}\frac {\partial z^{(3)}}{\partial \Theta^{(2)}}\tag{7}\label{7}$$\text{frac {partial J(Theta)}{partial Theta^{(2)}}=frac {partial J(Theta)}{partial a^{(4)} }frac {partial a^{(4)}}{partial z^{(4)}}frac {partial z^{(4)}}{partial a^{(3)}}frac {partial a^{(3)}}{partial z^{(3)}}frac {partial z^{(3)}}{partial Theta^{(2)}}tag{7}label{7}}$$

令δ(3)=∂∂z(3)J(Θ)=∂J(Θ)∂a(4)∂a(4)∂z(4)∂z(4)∂a(3)∂a(3)∂z(3)${\delta }^{(3)}=\frac{\mathrm{\partial }}{\mathrm{\partial }{z}^{(3)}}J(\mathrm{\Theta })=\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{a}^{(4)}}\frac{\mathrm{\partial }{a}^{(4)}}{\mathrm{\partial }{z}^{(4)}}\frac{\mathrm{\partial }{z}^{(4)}}{\mathrm{\partial }{a}^{(3)}}\frac{\mathrm{\partial }{a}^{(3)}}{\mathrm{\partial }{z}^{(3)}}$，结合(5)$\text{(5)}$则有

\delta^{(3)} = \frac{\partial }{\partial z^{(3)}}J(\Theta)=\delta^{(4)}*\frac {\partial z^{(4)}}{\partial a^{(3)}}\frac {\partial a^{(3)}}{\partial z^{(3)}}=\delta^{(4)}*\Theta^{(3)}*g'(z^{(3)})\tag{8}\label{8}$$\text{delta^{(3)} = frac{partial }{partial z^{(3)}}J(Theta)=delta^{(4)}*frac {partial z^{(4)}}{partial a^{(3)}}frac {partial a^{(3)}}{partial z^{(3)}}=delta^{(4)}*Theta^{(3)}*g'(z^{(3)})tag{8}label{8}}$$

\frac {\partial J(\Theta)}{\partial \Theta^{(1)}}=\frac {\partial J(\Theta)}{\partial a^{(4)} }\frac {\partial a^{(4)}}{\partial z^{(4)}}\frac {\partial z^{(4)}}{\partial a^{(3)}}\frac {\partial a^{(3)}}{\partial z^{(3)}}\frac {\partial z^{(3)}}{\partial a^{(2)}}\frac {\partial a^{(2)}}{\partial z^{(2)}}\frac {\partial z^{(2)}}{\partial \Theta^{(1)}}\tag{9}\label{9}$$\text{frac {partial J(Theta)}{partial Theta^{(1)}}=frac {partial J(Theta)}{partial a^{(4)} }frac {partial a^{(4)}}{partial z^{(4)}}frac {partial z^{(4)}}{partial a^{(3)}}frac {partial a^{(3)}}{partial z^{(3)}}frac {partial z^{(3)}}{partial a^{(2)}}frac {partial a^{(2)}}{partial z^{(2)}}frac {partial z^{(2)}}{partial Theta^{(1)}}tag{9}label{9}}$$

令δ(2)=∂∂z(2)J(Θ)=∂J(Θ)∂a(4)∂a(4)∂z(4)∂z(4)∂a(3)∂a(3)∂z(3)∂z(3)∂a(2)∂a(2)∂z(2)${\delta }^{(2)}=\frac{\mathrm{\partial }}{\mathrm{\partial }{z}^{(2)}}J(\mathrm{\Theta })=\frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{a}^{(4)}}\frac{\mathrm{\partial }{a}^{(4)}}{\mathrm{\partial }{z}^{(4)}}\frac{\mathrm{\partial }{z}^{(4)}}{\mathrm{\partial }{a}^{(3)}}\frac{\mathrm{\partial }{a}^{(3)}}{\mathrm{\partial }{z}^{(3)}}\frac{\mathrm{\partial }{z}^{(3)}}{\mathrm{\partial }{a}^{(2)}}\frac{\mathrm{\partial }{a}^{(2)}}{\mathrm{\partial }{z}^{(2)}}$
结合(8)$\text{(8)}$有

\delta^{(2)}=\frac{\partial }{\partial z^{(2)}}J(\Theta)=\delta^{(3)}*\frac {\partial z^{(3)}}{\partial a^{(2)}}\frac {\partial a^{(2)}}{\partial z^{(2)}}=\delta^{(3)}*\Theta^{(2)}*g'(z^{(2)})\tag{10}\label{10}$$\text{delta^{(2)}=frac{partial }{partial z^{(2)}}J(Theta)=delta^{(3)}*frac {partial z^{(3)}}{partial a^{(2)}}frac {partial a^{(2)}}{partial z^{(2)}}=delta^{(3)}*Theta^{(2)}*g'(z^{(2)})tag{10}label{10}}$$

结合式(5)(8)(10)$\text{(5)}\text{(8)}\text{(10)}$可以提炼出一个式子，

\delta^{(l)}=\frac{\partial }{\partial z^{(l)}}J(\Theta)\tag{11}\label{11}$$\text{delta^{(l)}=frac{partial }{partial z^{(l)}}J(Theta)tag{11}label{11}}$$

正是有了式(11)$\text{(11)}$的存在，当反向BP算法反向计算时，会根据保存的上一步的计算结果，进行一些简单计算得到下一层。这样在神经网络很复杂的时候，可以避免大量重复计算。
(4)$\text{(4)}$中最后一项∂z(4)∂Θ(3)=a(3)$\frac{\mathrm{\partial }{z}^{(4)}}{\mathrm{\partial }{\mathrm{\Theta }}^{(3)}}=a^{(3)}$，所以

\frac {\partial J(\Theta)}{\partial \Theta^{(3)}}=\delta^{(4)}*a^{(3)}=(a^{(4)}-y)a^{(3)}\tag{12}\label{12}$$\text{frac {partial J(Theta)}{partial Theta^{(3)}}=delta^{(4)}*a^{(3)}=(a^{(4)}-y)a^{(3)}tag{12}label{12}}$$

(7)$\text{(7)}$中最后一项∂z(3)∂Θ(2)=a(2)$\frac{\mathrm{\partial }{z}^{(3)}}{\mathrm{\partial }{\mathrm{\Theta }}^{(2)}}=a^{(2)}$，所以

\frac {\partial J(\Theta)}{\partial \Theta^{(2)}}=\delta^{(3)} * a^{(2)}=\delta^{(4)}*\Theta^{(3)}*g'(z^{(3)})*a^{(2)}\tag{13}\label{13}$$\text{frac {partial J(Theta)}{partial Theta^{(2)}}=delta^{(3)} * a^{(2)}=delta^{(4)}*Theta^{(3)}*g'(z^{(3)})*a^{(2)}tag{13}label{13}}$$

(9)$\text{(9)}$中最后一项∂z(2)∂Θ(1)=a(1)$\frac{\mathrm{\partial }{z}^{(2)}}{\mathrm{\partial }{\mathrm{\Theta }}^{(1)}}=a^{(1)}$，所以

∂J(Θ)∂Θ(1)=δ(2)∗a(1)=δ(3)∗Θ(2)∗g′(z(2))∗a(1)(14)$$\begin{array}{}\text{(14)}& \frac{\mathrm{\partial }J(\mathrm{\Theta })}{\mathrm{\partial }{\mathrm{\Theta }}^{(1)}}={\delta }^{(2)}\ast a^{(1)}={\delta }^{(3)}\ast {\mathrm{\Theta }}^{(2)}\ast g^{\prime }(z^{(2)})\ast a^{(1)}\end{array}$$

　　最后对于上面的四层神经网络模型，结合公式推导过程，可以得到PPT中如下公式，δ(l)j${\delta }_j^{(l)}$可以理解为第l$l$层第j$j$个节点的误差。