首页 理论教育 离散无记忆序列信源的熵分析

离散无记忆序列信源的熵分析

时间:2023-06-25 理论教育 版权反馈
【摘要】:,XN)中的各分量之间相互独立,即X是N维离散无记忆序列信源,则其概率满足将上式代入式,可得该离散无记忆序列信源的熵为式表明,离散无记忆序列信源的熵等于每一分量信源的熵的和。利用定义式可以计算N维序列信源的平均符号熵HN。将上述分析结果总结为离散无记忆序列信源的熵定理如下:定理2.1 1)离散无记忆信源X的N维序列信源X=XN=(X1,X2,…求下列离散无记忆信源X的二次扩展信源及其信源熵。

离散无记忆序列信源的熵分析

假设随机序列X=(X1X2,…,XN)中的各分量之间相互独立,即X是N维离散无记忆序列信源(离散无记忆N次扩展信源),则其概率满足

978-7-111-51126-7-Chapter02-153.jpg

将上式代入式(2.65),可得该离散无记忆序列信源的熵为

978-7-111-51126-7-Chapter02-154.jpg

式(2.67)表明,离散无记忆序列信源的熵等于每一分量信源的熵的和。

在以上条件的基础上,进一步假设信源序列满足平稳性(是平稳的离散无记忆序列信源),即离散序列信源X的各分量的概率分布相同,则其联合概率满足

978-7-111-51126-7-Chapter02-155.jpg

此时,各分量信源的熵相同,即HX1)=HX2)=…HXN)=HX),由式(2.67)可得平稳的离散无记忆序列信源的熵为

H(X)=HXN)=NHX) (2.68)

式(2.67)和式(2.68)的结论也可以根据熵的性质2.16(可加性)直接证明。

利用定义式(2.66)可以计算N维序列信源的平均符号熵HN(X)。特别地,如果该N维序列信源是平稳的、无记忆的,则有HN(X)=HX)。

将上述分析结果总结为离散无记忆序列信源的熵定理如下:

定理2.1 1离散无记忆信源XN维序列信源X=XN=(X1,X2,…,XN的熵H(X=H(XN是信源X的各维信源熵H(Xi)(i=12,…,N)的和见式2.67))。(www.xing528.com)

2当该信源还具有平稳特性时,N维序列信源X=XN=(X1,X2,…,XN的熵是信源X信息熵H(X)N见式2.68))。

【例2.29】

求下列离散无记忆信源X的二次扩展信源及其信源熵。

978-7-111-51126-7-Chapter02-156.jpg

解 给定信源X的二次扩展信源X2的概率空间见表2.4。离散无记忆信源X的熵为

978-7-111-51126-7-Chapter02-157.jpg

其二次扩展信源X2的熵为

978-7-111-51126-7-Chapter02-158.jpg

可见,H(X)=2HX)。

表2.4 例2.29的二次扩展信源的概率

978-7-111-51126-7-Chapter02-159.jpg

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈