ML:机器学习与高等数学之间那些不可告密的七七八八事
其实,我一直相信这么一句话:数学其实很容易,只是有些数学家讲得不明白
一、ML与高等数学
1、导数/梯度
2、Taylor展开
3、凸函数
二、ML与概率统计
概率与统计,其实关注的是两个不同类的点,实际上是两个相反的思路。
概率:已知总体,去求具体事件A的概率;
统计:已知某件事B发生,估计产生事件B的总体概率是多少。
1、古典概率
2、贝叶斯公式
3、常见概率分布
4、重要统计量(基于全局的而不是样本)
(1)、期望与方差
期望:可以理解为这个变量的平均值,是对随机变量本身“客观价值”的一种表现。因为随机无法确定,大家心里需要有个数,这个随机的因素到底围绕的哪条线变化,期望就是那条线。
方差:是另一种特征,他描述的是随机变量的波动性(围绕着期望波动)的大小。方差越大,说明这个事变数越大,容易偏离平均值很远。
(2)、协方差与相关系数
协方差:两个变量在变化过程中是同方向变化?还是反方向变化?同向或反向程度如何? 你变大,同时我也变大,说明两个变量是同向变化的,这时协方差就是正的。 你变大,同时我变小,说明两个变量是反向变化的,这时协方差就是负的。 从数值来看,协方差的数值越大,两个变量同向程度也就越大。反之亦然。
相关系数:是用以反映变量之间相关关系密切程度的统计指标。比如,降维算法就是从10万变量中,挑选相关系数Top1000。
- 相关系数是指利用ML提取的10万个特征向量,分别与标签向量之间得到,从而挑选相关系数。
-
相关系数矩阵可以发现特征之间的相关性,越蓝越靠近1越正相关。
(3)、独立和不相关
5、不等式系列
Jensen不等式
切比雪夫不等式
大数定律
中心极限定理
6、样本估计参数
矩估计
极大似然估计
三、ML与线性代数