N维连续信源X=XN由N维概率密度函数p(x)=p(x1x2…xN)来描述,由连续信源差熵的定义2.23可以得到N维连续信源X的差熵为
若该信源还是无记忆的,满足,容易证明N维连续无记忆信源的差熵为
连续信源的N维条件差熵为
和离散信源一样,容易证明以下各种差熵之间的关系:
h(X2|X1)≤h(X2) (2.119)
当且仅当X1和X2彼此统计独立时,式(2.119)等号成立。
当且仅当随机序列X中各变量彼此统计独立时,式(2.120)等号成立。
波形信源的信息测度可以用多维连续信源的差熵来逼近。因为波形信源的消息是平稳的随机过程{x(t)},可以通过取样后分解成取值连续的无穷维随机序列X=(X1,X2,…,XN,…)来表示(N→∞),所以波形信源的差熵为
对于满足限时T、限频F的平稳随机过程{x(t)},可以近似地用有限维(维数为N=2FT)的平稳随机序列来表示。这样,一个频率和时间为有限的波形信源就转化成多维连续平稳信源来处理。
下面计算三种常见的特殊连续信源的差熵。
【例2.37】均匀分布连续信源的差熵一维连续随机变量X在[a,b]区间内均匀分布时,基本连续信源的熵为(www.xing528.com)
如果N维连续平稳信源输出的N维连续随机序列X=(X1,X2,…,XN),其分量分别在[a1,b1],[a2,b2],…,[aN,bN]区域内均匀分布,则N维连续平稳信源的差熵为
【例2.38】高斯信源的差熵
基本高斯信源是一维连续随机变量X的概率密度分布为正态分布的信源,即
基本高斯信源的熵为
可见,正态分布的连续信源的差熵与数学期望m无关,只与方差σ2有关。
当均值m=0时,X的方差σ2就等于信源输出的平均功率P,所以有
如果N维连续平稳信源输出的N维连续随机序列X=(X1,X2,…,XN)是正态分布,则称此信源为N维高斯信源。其相对熵为
当各变量之间统计独立时,则C为对角矩阵,并有|C|=σ21σ22…σ2N。所以,N维无记忆高斯信源的熵,即N维统计独立的正态分布随机变量的相对熵为
【例2.39】指数分布连续信源的差熵
一维连续随机变量X在[0,∞)区间内的概率密度分布为
则称X为指数分布的连续信源。其中,m是X的数学期望。X的熵为
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。