信道容量

跳过字词转换说明

信道容量（Channel capacity，又譯通道容量）的单位为比特每秒、奈特每秒等等。 在電機領域、電腦科學領域、消息理論中，信道容量是指在一個通信信道中能夠可靠地傳送資訊时可达的速率上限。所谓可靠传输指的是可以以任意小的错误率传递信息。 根据有噪信道编码定理，在信息传送速率小于信道的信道容量时，可以通过合适的信道编码实现可靠的信息传输。

正式定義

香农在第二次世界大战期间发展出信息论，為信道容量提了定义，並且提供了计算信道容量的数学模型。香农指出，信道容量是信道的输入与输出的互信息容量的最大值，这一最大取值由输入信号的概率分布和符号率决定。

让多数人误解的是，在香农的论文中，将信道容量C与熵H联系在一起，并且C又与互信息量I联系在了一起。这种误解甚至在广为流传的《Elements of Information Theory》一书对信道容量C的定义和描述中都仍然存在。此书多次提到H和C的算式结果为比特。那么C的度量究竟是信息量单位比特还是信息率单位比特/秒？为什么在该书中出现一个$\ C = MAX_{p_(x)} I(X;Y)\,$看似互信息量最大值的定义呢？

实际上，香农在论文中最早提到H时，是一个针对事件不确定性的度量H(p1,p2,...,pn)，并且认为这个H的形式应该是建立在一个概率集P上的熵。其定义的原思路来自于波尔兹曼的H函数和H定理，也即是广义的熵定义。他运用H定理的思路，完成了针对信息熵H(x)和条件熵H_y(x)的定义。而在香农论文的第九节开篇，当他开始给出一个无噪信道的基础理论定义时，却将H的定义调整成了“产生信息的速率”，即熵/秒。并且，在后文中所有的H都顺理成章变成了信息率而非单单信息的概念。就是这么简单的一句话，让后文中所有的H(x)和H_y(x)都从信息量变成了信息率。

于是，香农给出的信道容量C定义成为： C = Max(H(x) − H_y(x)) 且明确声明信道容量的量纲为比特/秒或者比特/符号。其中H(x)和H_y(x)分别表示发端的熵率和收发之间的条件熵率，其单位是比特/秒。 由此可知，所有继承于香农定义的信道容量的概念，其单位必然是比特/秒而非比特。更重要的是，这个定义表明了信道容量这个量，表达的是一个信道的信息率而非一个单独的信息数值。基于信息量本身去定义信道容量是没有意义的。

香农在论文中介绍了信息

X代表已傳送信號的隨機變數空間，Y代表已收到信號的隨機變數空間。

$\ p_{Y|X}(y|x)$

代表已知X的情況下Y的條件機率。我們先把通道的統計特性當作已知，p_{Y | X}(y | x)就是通道的統計特性。而X與Y的分布性质： 联合分布：

$\ p_{X,Y}(x,y)=p_{Y|X}(y|x)\,p_X(x)$

$\ p_{X,Y}(x,y)$

边缘分布：

$\ p_X(x) = \int_yp_{X,Y}(x,y)\,dy$

参见

• 信息论
• 信息熵
• 信道
• 有噪信道编码定理