机器学习相关数学问题

微分应用

已知函数f(x)=x^x，x>0,求f(x)的最小值

• 领会幂指函数的一般处理套路
• 在信息熵这块我已经次遇到它，有感兴趣的可以看看我以前写的

附:

在计算机算法跳跃表SkipList的分析中，用到了该常数。

背景：跳表是支持增删改查的动态数据结构，能够达到与平衡二叉树、红黑树近似的效率，而代码实现简单。

求解x^x

积分应用

方向导数

如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：

其中，ψ为x轴到方向L的转角。

方向导数

如果函数z=f(x,y)在点P(x,y)是可微分的，那么，函数在该点沿任一方向L的方向导数都存在，且有：

其中，ψ为x轴到方向L的转角。

梯度

设函数z=f(x,y)在平面区域D内具有一阶连续偏导数，则对于每一个点P(x,y)∈D，向量

为函数z=f(x,y)在点P的梯度，记做gradf(x,y)

梯度的方向是函数在该点变化最快的方向

凸函数

若函数f的定义域domf为凸集，且满足

一阶可微

若f一阶可微，则函数f为凸函数当前仅当f的定义域domf为凸集，且

一阶可微虽然看起来比较简单,但是碰到机器学习当中的而一些实例,还有需要细细琢磨的,比如说我以前的写过的文章里面的关于超平面问题,感兴趣的朋友可以去看看我以前的文章.

关于下面的核函数我么可以深入思考一些小问题:

• 结合凸函数图像和支撑超平面理解该问题
• 对于凸函数，其一阶Taylor近似本质上是该函数的全局下估计。
• 反之，如果一个函数的一阶Taylor近似总是起全局下估计，则该函数是凸函数。
• 该不等式说明从一个函数的局部信息，可以得到一定程度的全局信息。

二阶可微

若函数f二阶可微，则函数f为凸函数当前仅当dom为凸集，且

• 若f是一元函数，上式表示二阶导大于等于0
• 若f是多元函数，上式表示二阶导Hessian矩阵半正定。

凸函数举例

指数函数

幂函数

负对数函数

负熵函数

范数函数

最大值函数

指数线性函数

Jensen不等式：若f是凸函数

基本Jensen不等式如下所示:

利用y=-logx是凸函数，证明：

利用f(E(x))≤E(f(x))，(f是凸函数)，证明下式D≥0

个人感觉以应用为目的的高等数学并不难，几乎所有问题都可以通过熟悉的结论细致的推导出来。下架如果不相信可以看看考研数学一2010年和2016年以及我去年的做的数学一,难度真的不在一个层面上.

以机器学习的角度来看，

推导没什么意义，与应试教育是不一样的,我们至于奥掌握方法,照样让机器乖乖的跑起来。

csdn不定期打包发送，微信每日一篇，快乐学习，赢在中国
欢迎大家关注这个微信公众号，尊重原创，转载请注明出处