高斯信源的信息率失真函数优化

高斯信源的输出为独立、同分布高斯随机变量，它是一个连续信源。这里采用假设反向检验信道的方法来求其信息率失真函数。

即使对高斯信源在一般失真函数下，其信息率失真函数也是很难求得的。但是，在平方误差失真测度下，其信息率失真函数有简单的闭式表达式。该结果表述为如下定理：

定理5.1 均值为m、方差为σ²的高斯信源，定义失真函数为d（x，y）=（x-y）2，则

证明 设试验信道输入随机变量为X，输出随机变量为Y。由定义5.11知，平均失真度为

式中，D（y）表示已知接收符号y条件下，变量x的方差，。

根据连续信源最大熵定理（定理2.4），在已知y条件下，得条件熵为

因此，有

其中，最后一个不等式是运用Jensen不等式求得的。

当允许失真为D，而当满足保真度准则D′≤D时，得

又因为I（X；Y）=h（X）-h（XY），而X是高斯信源，所以

(www.xing528.com)

由此得，在任意情况下。根据R（D）的定义，得

下面分别讨论当σ²/D的比值不同时，R（D）的取值。

当D≤σ²时，设有一个反向试验加性信道，如图5.7所示。其中Y和Z相互独立，有X=Y+Z。设Z是方差为D的高斯随机变量，因为已知X是均值为m、方差为σ²的高斯信源，所以，Y一定是方差为σ²-D的高斯随机变量。此时，平均失真E[（x-y）2]等于允许失真D。因此，有

根据式（5.55）和上式结果得，在D≤σ²条件下，有

当D＞σ²时，可恒取y=0，这时误差，此时的R（D）=I（X；0）=0。于是，最终得到高斯信源的信息率失真函数如式（5.54）所示。

【证毕】

图5.8是高斯信源在平方误差准则下的R（D）函数曲线。由图5.8可知，当D=σ²时，R（D）=0。这就是说如果允许失真等于信源的方差σ²，就只需用确知的均值m来表示信源的输出，而不需要传输信源的任何实际输出。而当D=0时，R（D）→∞。这说明在连续信源情况下，无失真地传输信源的输出是不可能的。或者说，要无失真地传输连续信源的输出，必须要求信道具有无限大的容量。

图5.7 高斯信源的反向试验信道

图5.8 高斯信源在平方误差准则下的R（D）函数

从图5.8可知，当D=σ²/4时，R（D）=1 bit/自由度。这说明，在允许均方误差小于或等于σ²/4时，连续信号的每个样本值最少需要用一个二元符号来传输，也就是说，连续信号的幅度只需要采用二值量化。但是，对高斯信号的每个样本进行最佳二值标量量化，可以计算出平均量化误差为。若允许失真为0.3633σ²，则R（0.3633σ²）=0.73＜1bit/自由度。可见，最佳二值标量量化的码率没有达到信息率失真函数的值。如果从随机序列来考虑（即矢量量化），效果将大大改变。Shannon第三编码定理证明了这种压缩编码是存在的，然而实际上要找到这种可实现的最佳编码方法是很困难的。