度量信息的重要性

1.信息量的定义

信息是消息中包含的有意义的内容。信息是有大小的，是可以度量的。消息中含有的信息量的大小与消息出现的概率有关，具体表现为：

1）消息出现的概率越小，所包含的信息量就越大。

2）消息出现的概率为1，则包含的信息量为0。

3）不可能出现的消息，所包含的信息量为无穷大。

所以，香农给出的信息量的定义为

式中，P（s）是消息s出现的概率；I（s）是消息s携带的信息量，其单位：a=2时，为比特（bit），a=e时，为奈特（nat），a=10时，为哈特（hat）。在通信和计算机中常用的单位为比特。

2.信源的信息熵

设有信源S输出M种离散符号，各种符号的出现概率为P（s_i），且统计独立，即信源是无记忆的，则每个符号平均（统计平均）携带的信息量为(www.xing528.com)

式中，P（s）是消息s出现的概率；I（s）是消息s携带的信息量，其单位：a=2时，为比特（bit），a=e时，为奈特（nat），a=10时，为哈特（hat）。在通信和计算机中常用的单位为比特。

2.信源的信息熵

设有信源S输出M种离散符号，各种符号的出现概率为P（s_i），且统计独立，即信源是无记忆的，则每个符号平均（统计平均）携带的信息量为

式中，H（S）为信源S的熵，可简写为H，其单位为bit/符号。

注意：当信源各种符号等概出现，即P（s_i）=1/M时，信源熵达到最大值H_max=log₂Mbit/符号，数值上等于单个符号携带的信息量。例如，当M=2时，为二进制信源，H_max=1bit/符号，即每个二进制符号携带1bit信息；当M=4时，为四进制信源，H_max=2bit/符号，即每个四进制符号携带2bit信息。

式中，H（S）为信源S的熵，可简写为H，其单位为bit/符号。

注意：当信源各种符号等概出现，即P（s_i）=1/M时，信源熵达到最大值H_max=log₂Mbit/符号，数值上等于单个符号携带的信息量。例如，当M=2时，为二进制信源，H_max=1bit/符号，即每个二进制符号携带1bit信息；当M=4时，为四进制信源，H_max=2bit/符号，即每个四进制符号携带2bit信息。