首页 理论教育 离散序列信源的熵计算方法优化

离散序列信源的熵计算方法优化

时间:2023-06-25 理论教育 版权反馈
【摘要】:对于离散序列信源,其信源熵有多种计算和近似估算方法。计算N维离散序列信源中N个信源符号的联合熵由N个离散单符号信源Xi(i=1,2,…,N)组成的离散序列信源用N维随机序列X=(X1,X2,…离散序列信源的数学模型见式(2.3)。由Shannon熵的定义式,N维离散序列信源的熵为式中,P=P(x1x2…xN)是N维离散序列信源X的概率分布。

离散序列信源的熵计算方法优化

前面讨论了单符号离散信源(即信源每次输出单个符号)及其各种熵。实际信源往往输出的消息是时间和空间上的一系列符号。例如,一篇文稿是用许多文字符号组成的序列来表示,每个文字符号需要用信息交换标准代码(如ASCII码、国际标准组织制定的UNI-CODE编码等)进行表示。这时,信源每次输出的不是一个单个符号,而是一个符号序列。这就需要用序列信源或扩展信源来描述。2.1.2节已给出离散序列信源的概念,本节讨论离散序列信源的熵。

总体上讲,信源的实际熵就是信源输出每一符号所提供的平均信息量。若是离散单符号信源,其实际熵由式(2.22)定义,其熵值是每个信源符号提供的信息量。对于离散序列信源,其信源熵有多种计算和近似估算方法。

(1)计算N维离散序列信源中N个信源符号的联合熵

N个离散单符号信源Xii=1,2,…,N)组成的离散序列信源用N维随机序列(随机矢量)X=(X1X2,…,XN)表示,其中每一分量Xi的值域为符号集A:{a1a2,…,ar}。离散序列信源X产生随机事件,即随机序列为x=(x1x2,…,xN)(x1x2,…,xNA:{a1a2,…,ar})。离散序列信源的数学模型见式(2.3)。有时,也采用XN来表示N维序列信源X。

由Shannon熵的定义式(2.22),N维离散序列信源的熵为

式中,P(x)=Px1x2xN)是N维离散序列信源X的概率分布。

由于每个N维序列信源的消息由N个信源符号组成,所以N维序列信源熵H(X)的单位依据对数的底的选择可以是bit/N个符号(以2为底)、Nat/N个符号(以自然数e为底)和Hart/N个符号(以10为底)。(www.xing528.com)

定义2.15 信源X输出的N长符号序列的平均符号熵平均每个符号的熵定义为

HN(X)的单位的分母是一个信源符号,而H(X)的单位的分母是N个信源符号。平均符号熵HN(X)就是信源X实际熵的近似值。

(2)计算离散序列信源的条件熵

可以用序列信源的条件熵HXN|X1X2XN-1)作为信源X实际熵的近似值(即平均每个符号的熵)。

(3)计算马尔可夫信源熵

对于有限记忆的离散信源,可以利用信源的马尔可夫性计算信源X的实际熵。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈