因此,随机变量所包含的“信息量”和它的“不确定性”其实是同一个概念。一个随机变量越难以确定,它所包含的信息量越多。这种认识对初次接触熵的人来或许不够自然。但仔细体会一下,确实是有道理的。如果俺想告诉你的事你很容易猜到,或者你不用问几个问题就能知道,那俺要的话对你来就没多少信息量。
在熵的定义里-log(a)又是什么物理意义呢?当然这个数字可以理解为a编码所需要的比特数(在前面例子里,我们能看到以概率出现的事件,需要用3个比特来编码)。换一个角度理解,-log(a)可以理解为a的“惊度”。一个出现概率极低的事件a,比如世界末日,它一旦出现就会令人非常惊,所以对应的-log(a)就会很大;而如果a出现的概率很大,它的出现就不会太令人吃惊,所以对应的-log(a)就会很。因此,熵值h(x)也可以理解为随机变量x的“平均惊度”。
章节错误,点此报送(免注册),
报送后维护人员会在两分钟内校正章节内容,请耐心等待。