条件熵：事件不确定度与条件影响分析

信源熵也称为无条件熵，是在没有其他条件下的熵。当存在某些条件影响事件的概率分布时，会影响事件的不确定度，所以存在条件熵。

定义2.8 在离散联合随机变量集XY上，条件熵定义为条件自信息I（xy）的数学期望，即

考虑在给定y=b_j条件下，随机变量X的不确定度为

由于不同的y和H（X|y）是变化的，对H（X|y）的所有可能值进行统计平均，就得出给定Y时，X的条件熵H（X|Y）。因此，式（2.24）也可以写成

约定符号X|y表示：“事件y（y∈Y）给定条件下，发生事件集合X的条件事件”；约定符号X|Y表示：“事件集合Y条件下，发生事件集合X的条件事件”。条件熵的单位与信息熵的单位相同。

【例2.20】

某个地名按照省市规则来填写，其中有江苏省南京市、江苏省苏州市、浙江省杭州市、浙江省宁波市、山东省济南市等。当知道了“市（如苏州市）”时，“省（江苏省）”也就唯一确定了，说明“市”已经完全提供了“省”的信息。而当知道了“省（江苏省）”时，“市（只能是南京市、苏州市等）”的选择范围也降低了，所以“省”提供了部分关于“市”的信息。(www.xing528.com)

条件熵是从平均意义上来表征信源发生条件事件的总体信息度量的一个量，其含义来源于条件自信息量的含义，也可以从多个不同的角度来理解：

1）条件熵H（X|Y）表示了在联合随机变量集XY中，所有条件事件X|Y是否发生的平均不确定度的大小。

2）条件熵H（X|Y）表示了在联合随机变量集XY中，发生事件X|Y所提供的平均信息量的大小。

3）条件熵H（X|Y）表示了在联合随机变量集XY中，确定事件X|Y中到底哪个事件发生，所需的平均信息量的大小。

4）条件熵H（X|Y）表示了联合随机变量集XY中，条件随机事件X|Y的随机性。

5）条件熵H（X|Y）（以“bit”为单位）表示了如果用二元数据将条件事件X|Y中的各个元素表示出来，所需要的二元位的个数的平均值。