§1.2 信息的度量

度量信息量的方法：消除多少不确定性，就获得多少信息量，事件的不确定程度可以用其出现的概率来描述：消息出现的概率越小，则消息中包含的信息量就越大。

自信息量

设一个随机事件x出现的概率为P(x)，那么x所含的信息量I(x)称为x的自信息量，则 P(x) 和 I(x)之间应该有如下关系：

信息量的单位称为比特(bit) ，可简记为b

自信息量的含义可以从不同的角度来理解:

(1)自信息量表示了一个事件是否发生的不确定性的大小,一旦该事件发生,就消除了这种不确定性,带来了信息量。

(2)自信息量表示了一个事件的发生带给我们信息量的大小，事件发生的概率越大，它发生后提供的信息量越小。反之，事件发生的概率越小，一旦事件发生，它带来的信息量就越大。

P(x)­越大则I(x)越小；P(x)越小则I(x)越大­； 

P(x) = 1时 I(x) ＝0； P(x) = 0时 I(x) ＝∞；

【例】 设一个二进制离散信息源，以相等的概率发送数字“0”或“1”，则信息源每个输出的自信息量为

【例】  从26个字母随机地取一个字母，则选取一个字母的自信息量为

平均自信息量——信息熵

自信息量I(x)是针对某一个具体事件而言的,如果信源是由多个事件组成的离散事件集合,I(x)不能作为整个信息源的平均自信息量的度量。在一般情况下,对于由很多事件组成的离散事件集合,集合中每个事件都有自己发生的概率,由此,概率空间(又称信源空间)可表示为: 

信息熵是从整个信息源事件集合X 的统计特性来考虑的，它从平均的意义上来表示信息源的总体信息测度，它表示信息源的事件集合X 在没有发出消息以前，信宿对信源X 存在着平均不确定性。

熵值表示了集合中事件发生，带给人们平均信息量的大小。香农的信息度量公式排除了对信息主观上的含意。

信息熵计算示例

【例】掷骰子，随机变量x表示结果，则x={1,2,3,4,5,6}，每个符号出现的概率Pi=1/6，离散事件集合X的平均自信息量（信息熵）为掷骰子

【例】设在一只布袋中装有100只对人手的感觉完全相同的木球，每只上涂有1种颜色， 其中红色球99只，白色球1只。求从布袋中随意取出一只球时，猜测其颜色所需要的信息量。

解：猜测木球颜色所需要的信息量等于木球颜色的不确定性，令R表示“取到的是红球”，W表示“取到的是白球”，即 P(R)=99/100=0.99    P(W)=1/100=0.01

则

 世界杯决赛中，猜测两个准冠军队哪个队会夺得冠军的信息量如何计算？

信息度量的应用实例

数据分析: 下表是一家智能租车公司收集的历史用户租车的记录数据，根据收集的数据，分析出用户在什么情况下会用车，并在相应时候通过手机应用或者短信推送促销信息。

历史用户租车的记录数据（局部引用）

提示：构建决策树

方案一：以“天气”为树根

分别计算三种情况的信息熵

方案二：以“衣着”为树根

分别计算两种情况的信息熵

两种决策树比较后得出结论。