通过定义计算离散输入信号等概情况下的信道容量

考虑如下简单的加性高斯信道：

其中，X为离散输入符号集$X = \left[ {{a_0},{a_1}, \cdots ,{a_{M - 1}}} \right]$X=[a0​,a1​,⋯,aM−1​],由上图，$Y = X + n$Y=X+n。
根据信道容量的定义：

$C = \mathop {\max }\limits_{\left\{ {p\left( {x = {a_i}} \right),i = 1,2,...,M - 1} \right\}} \left\{ {I\left( {X;Y} \right)} \right\}$C={p(x=ai​),i=1,2,...,M−1}max​{I(X;Y)}
可见，我们的目的是找到一个任意可能的输入信号的概率分布，使得最大化的互信息达到信道容量。如下图计算过程：

其中，(1a)到(1c)是信息论课本中的相关定义，具体可百度；(1c)上半部分到(1d)是全概率公式的展开。

假设输入符号是在M上是均匀分布的，
所以有：
$C = \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} {{\log }_2}\left( {\frac{{p\left( {y|{a_k}} \right)}}{{\frac{1}{M}\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}} \right)dy{\rm{ }}} （2）$C=M1​k=0∑M−1​∫y​p(y∣ak​)log2​⎝⎜⎜⎛​M1​i=0∑M−1​p(y∣ai​)p(y∣ak​)​⎠⎟⎟⎞​dy（2）
再用log(ab)=log(a)+log(b)与log(a/b) = -log(b/a)的性质，把上式分母中的1/M提出来，并将分数项倒过来，有：
$C = \frac{1}{M}{\log _2}M\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } dy - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\left( {\frac{{\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}{{p\left( {y|{a_k}} \right)}}} \right)dy{\rm{ }}（3）$C=M1​log2​Mk=0∑M−1​∫y​p(y∣ak​)dy−M1​k=0∑M−1​∫y​p(y∣ak​)log2​⎝⎜⎜⎛​p(y∣ak​)i=0∑M−1​p(y∣ai​)​⎠⎟⎟⎞​dy（3）
又因为,对该项$\int\limits_y {p\left( {y|{a_k}} \right)} dy$y∫​p(y∣ak​)dy，其积分结果为1，这是因为归一性，即，y的所有概率和为1。所以有：
$C = {\log _2}M - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\left( {\frac{{\sum\limits_{i = 0}^{M - 1} {p\left( {y|{a_i}} \right)} }}{{p\left( {y|{a_k}} \right)}}} \right)dy{\rm{ }} （4）$C=log2​M−M1​k=0∑M−1​∫y​p(y∣ak​)log2​⎝⎜⎜⎛​p(y∣ak​)i=0∑M−1​p(y∣ai​)​⎠⎟⎟⎞​dy（4）

因为噪声是服从均值为0，方差为${\sigma ^2}$σ2的高斯分布。对于p(y|ak)
有：
$p\left( {y|{a_k}} \right) = \exp \left( { - \frac{{{{\left| {y - {a_k}} \right|}^2}}}{{2{\sigma ^2}}}} \right) （5）$p(y∣ak​)=exp(−2σ2∣y−ak​∣2​)（5）

将(5)带入(4)中，有：
$C = {\log _2}M - \frac{1}{M}\sum\limits_{k = 0}^{M - 1} {\int_y {p\left( {y|{a_k}} \right)} } {\log _2}\sum\limits_{i = 1}^{M - 1} {\exp \left( { - \frac{{{{\left| {y - {a_i}} \right|}^2} - {{\left| {y - {a_k}} \right|}^2}}}{{2{\sigma ^2}}}} \right)dy} （6）$C=log2​M−M1​k=0∑M−1​∫y​p(y∣ak​)log2​i=1∑M−1​exp(−2σ2∣y−ai​∣2−∣y−ak​∣2​)dy（6）
接着，令n=y-x,则dy=dz，y与z同号，故可进行积分代换,因为：

故可以得到以下计算过程：

其中，（6）到（7）是把y=x+n待入公式中，（7）到（8）是把积分写成数学期望的形式。（8）式的表达形式常可以在一些论文中见到。
总结，此计算为利用定义的常规运算，可扩展之广播和mimo中，只不过这里关于这个条件概率的形式，不直接等于噪声了，需要再推导一下。运算过程同本篇一样。
敲公式不易，觉得有帮助的话麻烦点个赞把！