信息量度量与计算的详细指南

香农从通信的角度把信息的意义和效用等因素撇开，仅仅考虑不确定性，给予信息量以严格的定义，即信息量为通信中消除了的不确定性的度量。怎么来理解这个问题呢？首先，分析我们认识问题的过程，当我们对一个问题毫无了解时，我们对它的认识是不确定的；当我们通过各种途径获得信息，便逐渐消除了这个问题的不确定性；当我们对这个问题非常了解时，不确定性就变得很小了。于是，从直观上我们认为可以用不确定性的多少来进行信息量的度量。

如图3.1所示，对于系统，可以利用守恒关系A+M=B，得M=B-A。

再看下面的例子。

图3.1　通过信息消除不确定性示意图

例1　在盛夏季节里，气象台突然预报“明天无雪”的消息，在明天是否下雪的问题上，根本不存在不确定性，所以这条消息的信息量为零。

例2　当你到大会堂去找一个人时，甲告诉你两条消息：（1）此人不坐在前10排；（2）他也不坐在后10排。乙只告诉你一条消息：此人坐在第15排。问谁的信息量大？

分析：乙虽然只提供了一条消息，但这一条消息对此人的位置的不确定性消除得更多，所以后者包含的信息量应该比甲提供的两条消息所包含总信息量更大。

例3　某人到剧院找朋友，剧院有20行30排座位，朋友的位置有600种可能。消息A“他坐在第6行”，消息B“他坐在第9列”，合成的消息C=AB即“他在第6行第9列”。由概率的知识可知，p（AB）=p（A）p（B），但经验告诉人们，消息C的信息量应该是消息A的信息量和消息B的信息量之和。

为了用消除不确定性来度量信息，香农提出了信息量的4条基本性质：

（1）信息量是该事件发生概率的连续函数；

（2）如果事件A发生必有事件B发生，则得知事件A发生的信息量大于或等

于得知B发生的信息量；

（3）如果事件A的发生和事件B的发生是相互独立的，则获知事件A和B将同时发生的信息量应为单独获知两事件发生的信息量之和；

（4）任何信息的信息量均是有限的。

由上述性质——在数学建模过程中称为基本假设，香农推出了信息量的计算公式（可以称为数学模型，即用数学的语言精确地描述事物）。将某事件发生的信息记为M，该事件发生的概率记为P，设P=p，P（A）=pA，P（B）=pB，记M的信息量为I（M），则有

定理1　满足性质（1）～（4）的信息量的计算公式为

其中C是任意的正常数，对数之底a可以取任意不为1的正实数。

证明　由性质1，I（M）=f（p），函数f（p）连续；由性质（2），若A发生必有B发生，则pA≤pB，有f（pA）≥f（pB），故函数f（p）是单调不增的；由性质（3），若A，B是两个独立事件，则A，B同时发生的概率为pApB，有f（pApB）=f（pA）+f（pB）。做变量替换，令p=a-q，则q=-logap，记f（p）=f（a-q）=g（q）。又因为pApB=a-（qA+qB），则有g（qA+qB）=g（qA）+g（qB），故g也是连续函数。(www.xing528.com)

那么连续函数g（x+y）=g（x）+g（y）有什么性质？

首先，由g（0）=g（0+0）=2g（0），推出g（0）=0或g（0）=∞，但由性质（4），后式不能成立，故必有g（0）=0。

设g（1）=C，则由g（x+y）=g（x）+g（y），求得

当x取负实数时，由g（x）+g（-x）=g（0）=0，可得出g（x）=-g（-x）=Cx也成立。从而对一切实数x，都有g（x）=Cx，故g（q）=Cq。现在做逆变换q=-logap，得

I（M）=f（p）=-Clogap。

若取a=2，C=1，此时信息量的单位称为比特；

若取a=10，C=1，此时信息量的单位称为迪吉特；

若取a=e，C=1，此时信息量的单位称为奈特。

例4　设某剧院有1 280个座位，分为32排，每排40个座。现欲从中找出某人，求以下信息的信息量。（1）某人在第10排；（2）某人在第15座；（3）某人在第10排第15座。

解　在未知任何信息的情况下，此人在各排的概率可以认为是相等的，他坐在各座位上的概率也可以认为是相等的。因此，

（1）“某人在第10排”包含的信息量为

（2）“某人在第15座”包含的信息量为

（3）“某人在第10排第15座”包含的信息量为

（3）的信息量等于（1）和（2）所包含的信息量之和。

对于相对不独立的信息，若要计算在获得某信息后，其余信息的信息量，则需要用到条件概率公式，读者可以参考信息论的相关书籍。

把信息量定义为“对消除问题的不确定性的度量”是香农的伟大贡献。用定量的方法准确地描述我们所熟悉的事物是科学的创新。人们在弄清楚“热”的奥秘之前，温度也是一个较为抽象的概念，因为它实际上是物体分子运动平均速度的一种反映。人们天生就知道冷和热，但如何度量它却是曾经的一个难题。只有在解决了温度的度量问题以后，以定量分析为主的热力学才得以飞速发展。信息的问题也是如此，人们对各种信息包含的实质“内容”的多少往往也有一个直观的感觉，但用什么方法度量它，却比“今天15度”这样的说法更不易被理解。