如何理解统计中的特征函数?

先说结论,特征函数是随机变量的分布的不同表示形式。

一般而言,对于随机变量如何理解统计中的特征函数?的分布,大家习惯用概率密度函数来描述。

比如说:

如何理解统计中的特征函数?

意思就是如何理解统计中的特征函数?服从正态分布,对应的概率密度函数如下:

如何理解统计中的特征函数?

虽然概率密度函数理解起来很直观,但是确实随机变量如何理解统计中的特征函数?的分布还有另外的描述方式,比如特征函数。


1 关于特征

1.1 剪影

下面是两个剪影:

如何理解统计中的特征函数?

是同一个人吗?不知道,看不清楚,不过如果知道这两个剪影的特征,比如:

  • 名字

  • 血型

  • 身高

  • 声音

  • ...

以上特征如果都一样,那么:

如何理解统计中的特征函数?

1.2 泰勒级数

根据泰勒级数可知,两个函数如何理解统计中的特征函数?的各阶导数相等的越多,那么这两个函数越相似:

如何理解统计中的特征函数?

也即是:

如何理解统计中的特征函数?

关于泰勒级数请查看这两篇文章:“泰勒公式,上”、“泰勒公式,下”。

那么,随机变量分布的特征有吗?


2 随机变量分布的特征

随机变量的特征有如下:

  • 期望如何理解统计中的特征函数?

  • 方差如何理解统计中的特征函数?

  • 偏态如何理解统计中的特征函数?

  • 峰态如何理解统计中的特征函数?

  • ...

这些特征具体是什么含义就不解释了,说来话长。不过这些特征都跟随机变量的“矩”有关系。

比如期望:

如何理解统计中的特征函数?

方差:

如何理解统计中的特征函数?

偏态:

如何理解统计中的特征函数?

可见这些特征都和各阶矩有关系。

直觉上可以有以下推论:

如何理解统计中的特征函数?


3 特征函数

随机变量如何理解统计中的特征函数?的特征函数定义为:

如何理解统计中的特征函数?

为什么这么定义呢?首先,如何理解统计中的特征函数?的泰勒级数为:

如何理解统计中的特征函数?

代入可以推出:

如何理解统计中的特征函数?

原来特征函数包含了分布函数的所有矩,也就是包含了分布函数的所有特征啊。

有数学家是这么形容特征函数(特征函数是下面文中的生成函数的一种):

A generating function is a clothesline on which we hang up a sequence of numbers for display.

(生成函数是一列用來展示一串数字的晾衣架。)

----Herbert Wilf

特征函数如何理解统计中的特征函数?看上去确实像把各阶矩串在绳子上:

如何理解统计中的特征函数?

所以我们可以进一步完善刚才的结论:

如何理解统计中的特征函数?

所以,特征函数其实是随机变量如何理解统计中的特征函数?的分布的另外一种描述方式。


4 傅立叶变换

关于傅立叶变换可以参考以下文章:

4.1 特征函数是共轭傅立叶变换

假设某连续随机变量如何理解统计中的特征函数?的概率密度函数为如何理解统计中的特征函数?,那么可知:

如何理解统计中的特征函数?

特征函数是:

如何理解统计中的特征函数?

如何理解统计中的特征函数?的傅立叶变换为:

如何理解统计中的特征函数?

可见两者是共轭的关系:

如何理解统计中的特征函数?

也就是说,特征函数是如何理解统计中的特征函数?的共轭傅立叶变化,共轭在这里影响不大,下面把特征函数当作傅立叶变换来理解。

4.2 特征函数相当于换了一个坐标系

傅立叶变换是什么?就好比在直角坐标系下,圆的方程为:

如何理解统计中的特征函数?

图示如下:

如何理解统计中的特征函数?

在极坐标系下,同样的圆的方程为:

如何理解统计中的特征函数?

如何理解统计中的特征函数?坐标系下的图像为:

如何理解统计中的特征函数?

同一个数学对象,在不同坐标系中,有不同的表达形式:

如何理解统计中的特征函数?

傅立叶变换和直角坐标、极坐标的情况类似,相当于换了坐标系。

矩形波在时域“坐标系”中是这样的:

如何理解统计中的特征函数?

代数形式如下:

如何理解统计中的特征函数?

在频域“坐标系”中的图像如下:

如何理解统计中的特征函数?

代数形式如下(傅立叶变换有很多形式,本文采用下面这种形式):

如何理解统计中的特征函数?

也是同一个数学对象,在不同“坐标系”中,有不同的表达方式:

如何理解统计中的特征函数?

所以,特征函数是把分布函数换了一个坐标系,当然是分布函数的另外一种表现形式:

如何理解统计中的特征函数?


5 特征函数的好处

正如把直角坐标系换到极坐标系,可以获得一些计算上的便利。

特征函数把分布函数换到另外一个坐标系,也可以获得一些计算的好处:

  • 假如我们不知道分布函数,但是通过实验算出了期望、方差、偏度、峰度等,那么可以用特征函数去代替分布函数

  • 两个分布函数的卷积:

    如何理解统计中的特征函数?

    通过特征函数更换坐标系后,可以变为更容易计算的乘法:

    如何理解统计中的特征函数?

  • 通过对如何理解统计中的特征函数?求导,可以简单求出各阶矩:

    如何理解统计中的特征函数?

  • ...