用梯度下降法求根号2的值

阿里实习面试的时候,面试官问了这个问题:如何用梯度下降法求根号2的值。我一开始是懵逼的,后来在面试官的指引下有了一些思路,最后面试官讲出了其中的原理。下面总结一下,是个挺有意思的问题。


我们知道梯度下降法是用来求函数的极值的。假设一个函数f(x)f(x)可导,要求它的极值的话,应该是求解f(x)=0f'(x)=0。对于一般函数,这个方程不好解。所以我们使用梯度下降法这样的迭代算法。具体地,不断进行如下更新:
xxαf(x)x\leftarrow x-\alpha f'(x)

直到f(x)0f'(x)\approx 0.(这里以求极小值为例)

回到最开始的问题。如果一个函数的极小值是根号2,那么我们就可以通过梯度下降法找到这个值。不过,这个函数应该满足以下条件:

  • 函数在某个区间内,只有根号2这一个极小值点。否则我们可能找到的是其他极值点。

如果函数(可导)的极小值是根号2,那么它的导函数以根号2为根。并且,在上述区间内,导函数单调递增且过零点。所以我们可以直接找这样的导函数,不用找原函数了。

这样的导函数有:f(x)=x/2+1/xf'(x)=x/2+1/x.它的图形是:
用梯度下降法求根号2的值
可以看到,它在(0,+)(0,+\infty)上满足条件。所以,我们只需要在(0,+)(0,+\infty)上使用梯度下降找f(x)=0f'(x)=0的点就可以了。

另一个函数是:f(x)=x22f'(x)=x^2-2.它的图形是:
用梯度下降法求根号2的值
也满足条件。


一般地,可以推广到求根号n。这样的导函数是:f(x)=x/n+1/xf'(x)=x/n+1/xf(x)=x2nf'(x)=x^2-n