前面讨论了单符号离散信源(即信源每次输出单个符号)及其各种熵。实际信源往往输出的消息是时间和空间上的一系列符号。例如,一篇文稿是用许多文字符号组成的序列来表示,每个文字符号需要用信息交换标准代码(如ASCII码、国际标准组织制定的UNI-CODE编码等)进行表示。这时,信源每次输出的不是一个单个符号,而是一个符号序列。这就需要用序列信源或扩展信源来描述。2.1.2节已给出离散序列信源的概念,本节讨论离散序列信源的熵。
总体上讲,信源的实际熵就是信源输出每一符号所提供的平均信息量。若是离散单符号信源,其实际熵由式(2.22)定义,其熵值是每个信源符号提供的信息量。对于离散序列信源,其信源熵有多种计算和近似估算方法。
(1)计算N维离散序列信源中N个信源符号的联合熵
由N个离散单符号信源Xi(i=1,2,…,N)组成的离散序列信源用N维随机序列(随机矢量)X=(X1,X2,…,XN)表示,其中每一分量Xi的值域为符号集A:{a1,a2,…,ar}。离散序列信源X产生随机事件,即随机序列为x=(x1,x2,…,xN)(x1,x2,…,xN∈A:{a1,a2,…,ar})。离散序列信源的数学模型见式(2.3)。有时,也采用XN来表示N维序列信源X。
由Shannon熵的定义式(2.22),N维离散序列信源的熵为
式中,P(x)=P(x1x2…xN)是N维离散序列信源X的概率分布。
由于每个N维序列信源的消息由N个信源符号组成,所以N维序列信源熵H(X)的单位依据对数的底的选择可以是bit/N个符号(以2为底)、Nat/N个符号(以自然数e为底)和Hart/N个符号(以10为底)。(www.xing528.com)
定义2.15 信源X输出的N长符号序列的平均符号熵(平均每个符号的熵)定义为
HN(X)的单位的分母是一个信源符号,而H(X)的单位的分母是N个信源符号。平均符号熵HN(X)就是信源X实际熵的近似值。
(2)计算离散序列信源的条件熵
可以用序列信源的条件熵H(XN|X1X2…XN-1)作为信源X实际熵的近似值(即平均每个符号的熵)。
(3)计算马尔可夫信源熵
对于有限记忆的离散信源,可以利用信源的马尔可夫性计算信源X的实际熵。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。