基本采样原理知识点总结

PDF(Pobability Density Function)：概率密度函数

CDF(Cumulative distribution function): 累计概率函数

对于一个概率分布的采样是我们研究统计相关知识的基本操作，下面我们就来介绍下不同的采样方法。

标准采样

在介绍基本采样之前，我们先推导一下随机变量函数的PDF。对于一个随机变量x，我们知道其概率密度函数是基本采样原理知识点总结，那么随机变量的概率密度函数是多少呢？我们知道，按找概率密度函数的定义，以随机变量X为例，其落在区间上的概率近似为。

基本采样原理知识点总结

假设随机变量y和x是一一对应的，我们容易得到随机变量y落在对应的区间基本采样原理知识点总结上的概率是相同的（对于很小的值，落在上的观测会被转移到上）。因此，我们有，进而如果

基本采样原理知识点总结

绝对值符号是因为概率密度函数必须是正数。

上面得出的结论有什么用呢？我们知道，计算机可以比较容易的得出在 [0, 1] 上的均匀分布随机数，但是比较复杂的分布如何得到其随机数呢？是否可以利用均匀分布随机数来转化为其它分布随机数？问题抽象为，已知随机变量x符合0到1的均匀分布，目标为求取函数基本采样原理知识点总结使得随机变量y的概率密度函数为。我们套用上面的公式，这时

基本采样原理知识点总结

两边积分，得到

基本采样原理知识点总结

可以看出，上式右边是随机变量y的CDF，我们称之为基本采样原理知识点总结。所以，

基本采样原理知识点总结

基本采样原理知识点总结即为我们要求的函数！

我们用一个比较直观的描述来解释以上方法吧，对于已知概率密度为基本采样原理知识点总结的随机变量y，我们在其CDF函数图像的纵轴（恰巧其值域为[0, 1]）上以均匀分布的方式随机取值，每个样本对应的横轴坐标也看作一个随机变量，则该随机变量分布同y相同！值得注意的是，标准采样不易使用于cdf不易求得的分布，且其无法应用于高维复杂问题。

拒绝采样

我们知道有些概率分布的CDF是不好求得的，比如说高斯分布（可参考各概率论教材）。这时我们会考虑通过间接的方法获取采样。对于原始概率分布基本采样原理知识点总结，考虑概率分布（也叫做proposal distribution，该分布较为易于采样），且有（k 为某一正整数使得对于任意x，有）。按找q(x)采样，但对于每一个采样点做以下处理，在做均匀分布的随机抽样y，若抽样点有基本采样原理知识点总结，则拒绝作为采样点，否则接受。

这里证明就不展开了。我们着重讨论下该采样方法的接受率，即

基本采样原理知识点总结

在条件允许的情况下，可以看出，k越小接受率越高。如果可以采样的点有限制的话，我们当然希望尽可能的少的拒绝采样点。对于基本采样原理知识点总结为凹函数的分布，我们可以使用可调节拒绝采样（adaptive reject sampling）。考虑的函数图像，对于函数上任取几个样本点，我么可以在点上做切线将整个函数“包起来”（因为是凹函数），这样分段线性函数作为基本采样原理知识点总结的“建议分布”是比较合理的；但是我们看到，这是对数域上的情况，对于原始函数上的情况呢？log的反函数是指数函数，也就是原先的线性“包络线”到了原始函数上改为了分段指数函数（格式）。拒绝采样可以扩展到多维分布, 但随着维度的增加，接受率会越来越小，所以决绝采样仅仅在1到2维的分布上有应用。当然其可以作为一些重要采样方法的子过程。