斯坦福大学公开课-傅里叶变换及其应用-学习记录3-卷积

本文是对斯坦福大学公开课-傅里叶变换及其应用的一些学习总结
对应的课程视频链接为：课程链接
课程用到的讲义下载地址：讲义链接

本篇对应视频8-10节，讲义第三章，有关卷积的一些内容。

卷积的由来

对于两个函数 $f$ 、 $g$ ，它们的傅里叶变换为 $\hat{f}$ 、 $\hat{g}$ ，不难得出 $\hat{f} + \hat{g} = \hat{f + g}$ ，即两个函数的傅里叶变换之和等于它们和的傅里叶变换。那么现在考虑一个问题，两个函数的傅里叶变换之积等于它们积的傅里叶变换吗？显然不对，因为傅里叶变换涉及到积分运算，那么现在考虑两个函数经过怎样的操作才能满足：经过这样的一个操作后，得到的函数的傅里叶变换等于这两个函数傅里叶变换之积。那么先从这两个函数的傅里叶变换之积出发：

\hat{f} \hat{g} = \int_{- \infty}^{\infty} e^{- 2 π i s t} g (t) d t \int_{- \infty}^{\infty} e^{- 2 π i s x} f (x) d x = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} e^{- 2 π i s (t + x)} g (t) f (x) d t d x

设

u = t + x

，则

t = u - x

，

d t = d u

则有

\hat{f} \hat{g} = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} e^{- 2 π i s u} g (u - x) f (x) d u d x = \int_{- \infty}^{\infty} e^{- 2 π i s u} (\int_{- \infty}^{\infty} g (u - x) f (x) d x) d u

注意到

(\int_{- \infty}^{\infty} g (u - x) f (x) d x)

是关于u的一个函数，设为

h (u)

，因此上式可写作

\hat{f} \hat{g} = \int_{- \infty}^{\infty} e^{- 2 π i s u} h (u) d u

右侧不就是对

h (u)

作傅里叶变换的式子吗？因此我们得到

\hat{f} \hat{g} = \hat{h} (u)

统一一下变量可得：

\hat{f} (s) \hat{g} (s) = \hat{h} (s)

其中

h (t) = \int_{- \infty}^{\infty} g (t - x) f (x) d x

由此就得到了卷积的定义：
对于两个函数 $g (t)$ 和 $f (t)$ ，定义它们的卷积为函数 $h (t) = \int_{- \infty}^{\infty} g (t - x) f (x) d x$ ，可记作： $(g * f) (t)$
卷积定理：两个函数的卷积的傅里叶变换等于这两个函数傅里叶变换之积。

一个容易错的地方： $g (2 t) * f (t) = ？$
直觉上它应该为 $h (t) = \int_{- \infty}^{\infty} g (2 t - x) f (x) d x$ ，但是很遗憾这是错误的。

\hat{f} \hat{g} = \int_{- \infty}^{\infty} e^{- 2 π i s t} g (2 t) d t \int_{- \infty}^{\infty} e^{- 2 π i s x} f (x) d x = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} e^{- 2 π i s (t + x)} g (2 t) f (x) d t d x

设 $u = t + x$ 得到的应该是：

= \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} e^{- 2 π i s u} g (2 (u - x)) f (x) d u d x

再作进一步变换就得到：

g (2 t) * f (t) = \int_{- \infty}^{\infty} g (2 (u - x)) f (x) d x

这个地方要格外注意，不能想当然地代入。

这里表明了时域中的两个函数卷积会导致这两个函数对应的频域中的函数作乘法，那么对应的，如果两个函数在频域中作卷积，对应的时域中会做乘法。

卷积的性质

卷积在很多地方的表现非常像乘法，比如

f * g = g * f

这个性质不难理解，因为卷积就对应频域中的两个函数作乘法，而乘法是具备交换律的，因此卷积也具有交换律。
由乘法的性质不难得出卷积的一些性质：

(f * g) * h = f * (g * h)

f * (g + h) = f * g + f * h

现在考虑卷积是否存在“1”？即是否存在使

f * g = f

成立的

g

？对应到频域中：

\hat{f} \hat{g} = \hat{f}

，即是否存在

\hat{g} = 1

的

g

？那么

g

应该为

1

的傅里叶逆变换，即：

g (t) = \int_{- \infty}^{\infty} e^{2 π i s t} d s

但是很遗憾，等式右边是积不出来的，在经典理论下函数

g

是不存在的，这个问题将在下一章中放在广义函数中解决。
还有一些其他的性质：

((f \cdot g) * (h \cdot k))

对应到频域为

((F * G) \cdot (H * K))

(f + g) (h + k)

对应到频域为

(F + G) * (H + K)

f \cdot (g * k)

对应到频域为

F * (G \cdot K)

卷积的应用1——滤波

斯坦福大学公开课-傅里叶变换及其应用-学习记录3-卷积
这是一幅基于统计数据的波形图，可以看到，这条曲线非常不平滑，存在大量的毛刺，看起来非常不舒适，现在要将这条曲线变得平滑，该怎么处理？
这种毛刺的存在源于信号中的高频成分，因为频率越高扰动地就越快，因此我们的目的就是消除掉这个曲线对应的频域中高频成分，消除掉频域中的某些成分的过程叫做滤波，而滤波与卷积的关系非常紧密。

低通滤波：如果要消除掉高频成分，就需要用低通滤波，让频率低的成分被保留，实现低频滤波的方法是在频域中乘上一个矩形波函数，即：

H (s) = {\begin{cases} 1, & |s| < 1/2 \\ 0, & |s| >= 1/2 \end{cases}

上面的这个矩形波函数是让频率处于[0,1/2]的成分被保留，而如果要将其一般化则为：

H_{2 v} (s) = H (s / 2 v) = {\begin{cases} 1, & |s/2v| < 1/2 \\ 0, & |s/2v| >= 1/2 \end{cases} = {\begin{cases} 1, & |s| < v \\ 0, & |s| >= v \end{cases}

在频域中将两个信号做乘法，等于在时域中将两个信号做卷积，因此如果要对一个信号做低通滤波，只需要将它与矩形波在时域中的表达作卷积即可，而

\overset{ˇ}{H} (t) = s i n c (t)

，故

{\overset{ˇ}{H}}_{2 v} (t) = 2 v s i n c (2 v t)

(傅里叶变换的拉伸性质)

带通滤波：
仅让一定频率范围内的成分通过
斯坦福大学公开课-傅里叶变换及其应用-学习记录3-卷积

B (s) = {\begin{cases} 1, & v0 - vc < |s| < v0 + vc \\ 0, & otherwise \end{cases} = H_{2 v_{c}} (s - v 0) + H_{2 v_{c}} (s + v 0)

不难得到它在时域中的表达：

b (t) = 2 v_{c} h (2 v_{c} t) e^{2 π i v_{0} t} + 2 v_{c} h (2 v_{c} t) e^{- 2 π i v_{0} t} = 4 v_{0} c o s (2 π v_{0} t) s i n c (2 v_{c} t)

高通滤波：
斯坦福大学公开课-傅里叶变换及其应用-学习记录3-卷积
与低通滤波对应，

H i g h (s) = 1 - H_{2 v_{c}} (s)

但是以目前所学到的内容无法得到1的逆傅里叶变换，因此这个滤波在时域上的表达暂时无法得到，需要在下一章中解决。

卷积的应用2——微分方程

对于一个信号 $f (t)$ ，它的导数的傅里叶变换满足： $\hat{f^{'}} (s) = 2 π i s \hat{f} (s)$ ，利用这个性质可以求解一些微分方程问题，例如： $u^{″} - u = - f$
两边都作傅里叶变换：

(2 π i s)^{2} \hat{u} - \hat{u} = - \hat{f}

\hat{u} = \frac{1}{1 + 4 π^{2} s^{2}} \hat{f}

易验证：

(\frac{1}{2} e^{- | t |})

的傅里叶变换为

\frac{1}{1 + 4 π^{2} s^{2}}

，因此可得：

u (t) = (\frac{1}{2} e^{- | t |}) * f = \frac{1}{2} \int_{- \infty}^{\infty} e^{- | t - x |} f (x) d x

讲义中关于热方程问题的那个微分方程又做了深入的探讨，有兴趣的可以去阅读。

卷积的应用3——中心极限定理

斯坦福大学公开课-傅里叶变换及其应用-学习记录3-卷积
上图是对一个矩形波信号连续与自己本身作四次卷积的结果，可以看到它的形状非常接近高斯函数。

上图是对一个随机信号连续与自己本身作四次卷积的结果，可以看到它的形状也非常接近高斯函数。
这似乎并不是一种巧合，好像任意一个信号与自己本身作卷积会逐渐趋近于高斯函数的形状？借助这样一个直观的印象，来开始接下来的讨论：

下面先从随机变量分布的角度出发，来说明卷积与分布的关系：（涉及到概率密度函数）
假设随机变量 $x 1$ 的概率密度函数为 $p_{1} (x 1)$ ，随机变量 $x 2$ 的概率密度函数为 $p_{2} (x 2)$ ，如果x1、x2完全独立，那么 $x 1 + x 2$ 的概率密度函数是怎样的？考虑 $x 1 + x 2 <= t$ 的概率：

p (x 1 + x 2 <= t) = \int \int_{x 1 + x 2 <= t} p_{1} (x 1) \cdot p_{2} (x 2) d x_{1} d x_{2}

换元：设

v = x 1 + x 2

u = x 1

得：

p (x 1 + x 2 <= t) = \int_{- \infty}^{\infty} \int_{- \infty}^{t} p_{1} (u) p_{2} (v - u) d v d u

交换积分次序：

p (x 1 + x 2 <= t) = \int_{- \infty}^{t} (\int_{- \infty}^{\infty} p_{1} (u) p_{2} (v - u) d u) d v

中间的这一项显然是卷积，因此得到概率为：

p (x 1 + x 2 <= t) = \int_{- \infty}^{t} (p 1 * p 2) d v

因此

p 1 * p 2

是

x 1 + x 2

的概率密度函数。
不难推广到多维的情况

x 1 + x 2 + \dots \dots + x n = p 1 * p 2 * \dots \dots * p n

下面来看中心极限定理，中心极限定理指的是：大量随机变量近似服从正态分布的条件。这个定理是可以证明的：
假设 $x 1 、 x 2 、 \dots \dots 、 x n$ 是n个随机的独立变量，并且它们都满足：
1.有相同的概率密度函数 $p 1 = p 2 = p 3 = \dots \dots = p n = p (x)$
2.有相同的期望 $μ = 0$
3.有相同的标准差 $σ = 1$
4.总概率为: $\int_{- \infty}^{\infty} = p (x) d x = 1$

现在我们考虑它们的和 $S n = x 1 + x 2 + x 3 \dots \dots + x n$
$S n$ 的概率密度函数已经证明了是： $p_{1} (x) * p_{2} (x) \dots \dots * p_{n} (x) = p *^{n}$
现在考虑它的期望和标准差：
首先考虑x1+x2的期望：设 $S 2 = x 1 + x 2$

μ (S 2) = \int_{- \infty}^{\infty} x (p * p) (x) d x = \int_{- \infty}^{\infty} x \int_{- \infty}^{\infty} p (x - y) p (y) d y d x = \int_{- \infty}^{\infty} (\int_{- \infty}^{\infty} x p (x - y) d x) p (y) d y

设

u = x - y

得：

\int_{- \infty}^{\infty} (\int_{- \infty}^{\infty} (u + y) p (u) d u) p (y) d y = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} (u p (u) + y p (u) d u) p (y) d y = \int_{- \infty}^{\infty} (μ + y) p (y) d y = μ + μ = 2 μ

因此

S 2

的期望为

2 μ

，由此不难得出

S n

的期望为

n μ

。

接着来讨论 $S n$ 的标准差，那么不妨先来讨论方差的关系。

σ^{2} (s 2) = \int_{- \infty}^{\infty} x^{2} (p * p) (x) d x = \int_{- \infty}^{\infty} x^{2} \int_{- \infty}^{\infty} p (x - y) p (y) d y d x = \int_{- \infty}^{\infty} (\int_{- \infty}^{\infty} x^{2} p (x - y) d x) p (y) d y

设

x - y = u

，得：

\int_{- \infty}^{\infty} \int_{- \infty}^{\infty} (u + y)^{2} p (u) d u p (y) d y = \int_{- \infty}^{\infty} \int_{- \infty}^{\infty} (u^{2} + y^{2} + 2 u y) p (u) d u p (y) d y =

\int_{- \infty}^{\infty} \int_{- \infty}^{\infty} (σ^{2} + y^{2}) p (y) d y = 2 σ^{2}

由此

S 2

的方差为

2 σ^{2}

，故

S n

的方差为

n σ^{2}

，由此可知

S n

的标准差为

\sqrt{n} σ

回到我们最初的问题，需要证明当 $n - > \infty$ 时， $P (a <= S_{n} <= b) = \frac{1}{\sqrt{2 π}} \int_{a}^{b} e^{- x^{2} / 2} d x$ ，一个标准的概率密度函数应该保证 $\int_{- \infty}^{\infty} x p (x) d x = 0$ 、 $\int_{- \infty}^{\infty} x^{2} p (x) d x = 1$ ，由假设 $S n$ 的期望已经满足要求为0，而 $S n$ 的标准差为 $\sqrt{n}$ 是不满足要求的，因此需要将 $S n$ 标准化，即考虑 $P_{n} (x) = \sqrt{n} p^{* n} (\sqrt{n} x)$
因此现在我们需要证明当 $n - > \infty$ 时， $\sqrt{n} p^{* n} (\sqrt{n} x)$ 趋近于标准的高斯函数。现在我们要计算这个n个卷积式的极限，但是卷积是非常不方便计算的，较好的计算方法是将卷积转换到频域计算，这样就只用计算乘法：
由傅里叶变换的缩放定理：

F (\sqrt{n} p^{* n}) (\sqrt{n} x) = \sqrt{n} \frac{1}{\sqrt{n}} (F p^{* n}) (\frac{s}{\sqrt{n}}) = (F p)^{n} (\frac{s}{\sqrt{n}})

(F p) (\frac{s}{\sqrt{n}}) = \int_{- \infty}^{\infty} e^{- 2 π i s x / \sqrt{n}} p (x) d x

利用泰勒展开

e^{- 2 π i s x / \sqrt{n}} = 1 - \frac{2 π i s x}{\sqrt{n}} + \frac{1}{2} (\frac{2 π i s x}{\sqrt{n}})^{2} + R_{n} (x)

将其代入可得：

(F p) (\frac{s}{\sqrt{n}}) = \int_{- \infty}^{\infty} (1 - \frac{2 π i s x}{\sqrt{n}} + \frac{1}{2} (\frac{2 π i s x}{\sqrt{n}})^{2}) p (x) d x

= \int_{- \infty}^{\infty} p (x) d x - \frac{2 π i s}{\sqrt{n}} \int_{- \infty}^{\infty} x p (x) d x - \frac{2 π^{2} s^{2}}{n} \int_{- \infty}^{\infty} x^{2} p (x) d x = 1 - \frac{2 π^{2} s^{2}}{n}

利用

(1 + x / n)^{n} - > e^{x}

可以得出：

(F p)^{n} (\frac{s}{\sqrt{n}}) = (1 - \frac{2 π^{2} s^{2}}{n})^{n} - > e^{- 2 π^{2} s^{2}}

在上一节中，有

e^{- π s^{2}}

的逆傅里叶变换仍是它本身的结论，现在将

e^{- 2 π^{2} s^{2}}

变回到时域，利用傅里叶变换的缩放定理，可以得到

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

。
因此就得到了最终的结论：当

n - > \infty

时，Sn的概率密度函数趋近于高斯函数

\frac{1}{\sqrt{2 π}} e^{- x^{2} / 2}

这就是中心极限定理的证明。

注意在证明中泰勒展开部分舍掉了余项，可以证明即使不丢掉余项，最后当 $n - > \infty$ 时，这一项也是趋近于0的，因此它不影响最终的结果。有关这里的证明可以详见讲义的
3.10 Appendix: More Details on the Derivation of the Central Limit Theorem

斯坦福大学公开课-傅里叶变换及其应用-学习记录3-卷积

卷积的由来

卷积的性质

卷积的应用1——滤波

卷积的应用2——微分方程

卷积的应用3——中心极限定理

相关推荐