梯度下降公式的求导过程(吴恩达课程)

该课程在讲到梯度下降时。有一个公式。如下图

梯度下降公式的求导过程(吴恩达课程)

难点就是求导过程,求导结果如下:

梯度下降公式的求导过程(吴恩达课程)

但老师直接给出了求导的答案。没有讲解推导过程。我便学了两天微积分的导数。试图推导该公式。若有什么不正确的地方望指正。

首先是j=0时的求导公式推导:

梯度下降公式的求导过程(吴恩达课程)

梯度下降公式的求导过程(吴恩达课程)

j=1时的求导公式推导

 

梯度下降公式的求导过程(吴恩达课程)

梯度下降公式的求导过程(吴恩达课程)

其实只要学下导数就可以进行推导了

课程链接:

微分课程:http://open.163.com/special/Khan/differentialcalculus.html

结果

梯度下降公式的求导过程(吴恩达课程)

多元梯度下降求导

梯度下降公式的求导过程(吴恩达课程)

 

梯度下降公式的求导过程(吴恩达课程)

梯度下降公式的求导过程(吴恩达课程)

结果

梯度下降公式的求导过程(吴恩达课程)