假设随机序列X=(X1,X2,…,XN)中的各分量之间相互独立,即X是N维离散无记忆序列信源(离散无记忆N次扩展信源),则其概率满足
将上式代入式(2.65),可得该离散无记忆序列信源的熵为
式(2.67)表明,离散无记忆序列信源的熵等于每一分量信源的熵的和。
在以上条件的基础上,进一步假设信源序列满足平稳性(是平稳的离散无记忆序列信源),即离散序列信源X的各分量的概率分布相同,则其联合概率满足
此时,各分量信源的熵相同,即H(X1)=H(X2)=…H(XN)=H(X),由式(2.67)可得平稳的离散无记忆序列信源的熵为
H(X)=H(XN)=NH(X) (2.68)
式(2.67)和式(2.68)的结论也可以根据熵的性质2.16(可加性)直接证明。
利用定义式(2.66)可以计算N维序列信源的平均符号熵HN(X)。特别地,如果该N维序列信源是平稳的、无记忆的,则有HN(X)=H(X)。
将上述分析结果总结为离散无记忆序列信源的熵定理如下:
定理2.1 1)离散无记忆信源X的N维序列信源X=XN=(X1,X2,…,XN)的熵H(X)=H(XN)是信源X的各维信源熵H(Xi)(i=1,2,…,N)的和(见式(2.67))。(www.xing528.com)
2)当该信源还具有平稳特性时,N维序列信源X=XN=(X1,X2,…,XN)的熵是信源X的信息熵H(X)的N倍(见式(2.68))。
【例2.29】
求下列离散无记忆信源X的二次扩展信源及其信源熵。
解 给定信源X的二次扩展信源X2的概率空间见表2.4。离散无记忆信源X的熵为
其二次扩展信源X2的熵为
可见,H(X)=2H(X)。
表2.4 例2.29的二次扩展信源的概率
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。