离散信道的数学模型分析

离散信道的基本特征包括输入和输出，以及输入和输出之间的关系（信道模型如图3.1所示）。假设输入序列为X=（X₁，X₂，…，X_i，…），其各分量的值域为符号集A：{a₁，a₂，…，a_r}；输出序列为Y=（Y₁，Y₂，…，Y_i，…），其各分量的值域为符号集B：{b₁，b₂，…，b_s}。输入序列和输出序列之间的统计关系用条件概率P（y|x）（x=（x₁，x₂，…，x_i，…）∈X，y=（y₁，y₂，…，y_i，…）∈Y）来表示。在信息论中分析信道问题时，该条件概率通常称为转移概率（信道转移概率）或传递概率（信道传递概率）。

根据信道是否存在干扰以及有无记忆，可以将离散信道分为3大类。

1.无干扰（无噪声）信道

无干扰（无噪声）信道是没有干扰，也没有噪声的信道，此时信道输入信号可以决定信道输出信号，即存在确定的函数关系：

2.有干扰无记忆信道

信道的输出信号与输入信号之间没有确定的关系，但转移概率满足：

即每个输出信号只与当前输入信号之间有转移概率关系，而与其他非该时刻的输入信号、输出信号都无关，也就是无记忆。这种情况使问题得到简化，不需要采用矢量形式，只要分析单个符号的转移概率即可。

由输入、输出信号的符号个数，又可以进一步区分出如下一些信道模型。

（1）二元对称信道

二元对称信道（Binary Symmetric Channel，BSC）模型的输入和输出信号的符号个数都是2，即x∈A：{0，1}和y∈B：{0，1}。转移概率为

其信道模型如图3.5所示。这是一种对称的二元输入、二元输出的信道，所以称为二元对称信道。由于这种信道的输出比特仅与对应时刻的输入比特有关，而与以前的输入无关，所以这种信道是无记忆的。BSC信道常用于研究二元编码和解码问题，是最简单也是最常用的信道模型。

（2）二元删除信道

二元删除信道（Binary Erasure Channel，BEC）的输入信号的符号个数是2，即x∈A：{0，1}，输出信号的符号个数是3，即y∈B：{0，？，1}，且转移概率为

其信道模型如图3.6所示。

图3.5 二元对称信道（BSC）

图3.6 二元删除信道（BEC）

工程上是存在二元删除信道的。假如一个实际信道的输入是代表0和1的两个正、负方波信号，如图3.7a所示，那么信道输出送入译码器的将是受到干扰后的方波信号，如图3.7b所示。如果采用积分I=∫R（t）dt来判断发送的信号，若I是正值，且大于某一电平，则判别发送的是“0”；若I是负值，且小于某一电平，则判别发送的是“1”；而若I的绝对值很小，不能作出确切的判断，就认为接收到的是特殊符号“？”。假如信道干扰不是很严重，那么1→0和0→1的可能性比1→？和0→？的可能性小得多。所以，假设P（y=1x=0）=0和P（y=0|x=1）=0是较合理的。

图3.7 实际波形示意图(www.xing528.com)

a）发送的方波信号 b）信道输出的接收信号R（t）

（3）离散无记忆信道

图3.8 离散无记忆信道（DMC）

当无记忆信道的输入和/或输出符号个数大于等于2但为有限值时，称为离散无记忆信道（Discrete Mem-oryless Channel，DMC），其信道模型如图3.8所示。信道输入符号的值域为r元符号集A：{a₁，a₂，…，a_r}，输出符号的值域为s元符号集B：{b₁，b₂，…，b_s}。为了表示该r×s个转移概率，采用r×s阶转移概率矩阵P（y|x）=[P（b_j|a_i）]=[p_i，j]表示，即

且有

因为BSC信道是DMC信道的特例，故BSC信道的2×2阶转移概率矩阵可以表示为

3.有干扰有记忆离散信道

有干扰有记忆的离散信道是更一般的情况，实际上大多数的信道严格意义上说属于有干扰有记忆信道。

例如，在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。在这一类信道中，某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入符号和输出符号有关，这样的信道称为有记忆信道。这时信道的条件概率不再满足式（3.2）。

由于有记忆信道的转移概率计算涉及的参数多，因此对它的分析和计算更加复杂。常采用两种方法进行简化处理：

1）将记忆性较强的N个符号作为一个N维序列进行整体处理，而各个序列之间认为是无记忆的。这样处理会引入误差，因为实际上第一个序列的最后几个符号与第二个序列的最前面几个符号是有关联的。N取值越大，误差将越小。

2）把信源序列的转移概率当作马尔可夫链的形式，即假设信道是有限记忆的。

前面所讨论的离散信道都有输入符号集X和输出符号集Y。其中，X的值域为A：{a₁，a₂，…，a_r}，Y的值域为B：{b₁，b₂，…，b_s}。它们之间由信道所连接，描述的概率有以下几种。

1）先验概率：P（a_i）=P（x=a_i）（a_i∈A）。

2）联合概率：P（a_i|b_j）=P（x=a_i，y=b_j）（a_i∈A，b_j∈B）。

3）前向概率（即信道转移概率）：P（b_j|a_i）=P（y=b_j|x=a_i）（a_i∈A，b_j∈B）。

4）后向概率（又称后验概率）：P（a_i|b_j）=P（x=a_i|y=b_j）（a_i∈A，b|_j∈B）。

5）输出符号概率：P（b_j）=P（y=b_j）（b_j∈B）。

一般情况是已知信道（给定信道转移概率P（b_j|a_i））和信源（给定先验概率P（a_i）），或者已知联合概率P（a_i|b_j），这样就可以根据2.1.1节给出的各种概率之间的计算关系来求出所有的上述各种概率值。