第4章无失真信源编码

信源编码（又称压缩编码）分为无失真信源编码和限失真信源编码。由于信源的符号分布不均匀和符号之间的相关性，信源存在冗余度，信源编码的主要任务就是减少冗余，提高编码效率。具体说，就是针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。

信源编码的基本途径有两个，一是使序列中的各个符号尽可能地互相独立，即解除相关性；二是使编码中各个符号出现的概率尽可能地相等，即概率均匀化。

信源编码的基础是信息论中的两个编码定理：无失真编码定理和限失真编码定理。前者是可逆编码的基础。可逆是指当信源符号转换成代码后，可以从代码无失真地恢复原信源符号。无失真编码或可逆编码只适用于离散信源。对于连续信源，编成代码后就无法无失真地恢复原来的连续值，因为后者的取值可以有无限多个。此时只能根据限失真编码定理进行限失真编码。(www.xing528.com)

本章讨论离散信源无失真编码，包括定长、变长无失真编码定理和编码方法，以及几种实用的无失真信源编码，如Shannon（香农）编码、Fano（费诺）编码、Huffman（赫夫曼）编码、游程编码和算术编码等。这些编码方法是在信源的统计特性已确知时，能达到或接近压缩极限的编码方法。最后讨论通用编码（又称字典码）的原理和方法，它们是针对信源的统计特性未确知或不知时所采用的压缩编码方法。在实际的数据压缩系统中，这些编码方法都得到了广泛的应用。