第四百七十七章 推广信息源出现熵

    把这种推演用到任意信息源。如果一个信息源往外蹦的随机变量都独立而且服从同一个定义在s={，2，…，}上的分布(x)，那么以下结论依次成立。

    信息源里蹦出的随机序列几乎可以肯定是典型的！

    每个典型序列出现的概率差不多就是()(n())(2)(n(2))…()(n())!

    典型序列的个数t差不多就是()(n())(2)(n(2))…()(n())!

    压缩这个信息源蹦出的每个随机变量平均所需要的最少比特数就是(logt)n！

    这个数字(logt)n就等于：()log()(2)log(2)…()log()

    这个数字，就是熵。

    从熵的表达式看，熵是通过一个概率分布函数(x)来定义的。因为概率分布函数(x)都对应于它所描写的随机变量x，所以俺们也可以认为熵是对随机变量x的某种特性的度量，而把它记作h(x)。从压缩的角度讲，熵值h(x)是对产生随机变量x的信息源编码所需要的平均最比特数，或随机变量x中固有的平均信息量。