信息熵与压缩编码基础

什么是信息熵？

信息嫡：是一个数学上颇为抽象的概念，在这里不妨把信息嫡理解成某种特定信息的出现概率（(离散随机事件的出现概率)。一个系统越是有序，信息摘就越低;反之，一个系统越是混乱，信息嫡就越高。信息嫡也可以说是系统有序化程度的一个度量。

香农-凡诺编码，霍夫曼编码，压缩率？

一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？

1.信息熵：
在AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE中总共含42个符号，其中6个A，4个B,9个C，4个D，19个E，其对应的概率分别为1/7,2/21,3/14,2/21,19/42。然后我们进行对其概率分布，计算其信息熵为2.043
2.香农-凡诺编码：
Shannon-Fano的树是根据旨在定义一个有效的代码表的规范而建立的。实际的算法很简单：

1. 对于一个给定的符号列表，制定了概率相应的列表或频率计数，使每个符号的相对发生频率是已知。
2. 排序根据频率的符号列表，最常出现的符号在左边，最少出现的符号在右边。
3. 清单分为两部分，使左边部分的总频率和尽可能接近右边部分的总频率和。
4. 该列表的左半边分配二进制数字0，右半边是分配的数字1。这意味着，在第一半符号代都是将所有从0开始，第二半的代码都从1开始。
5. 对左、右半部分递归应用步骤3和4，细分群体，并添加位的代码，直到每个符号已成为一个相应的代码树的叶。
   经过计算这道题的香农编码为 2.1905。
   3.霍夫曼编码
   数据结构中学习过霍夫曼编码相关算法，利用二叉树层层算。
   计算得 霍夫曼编码 2.0714

一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？

1. 如果RGB占3字节的话，文件共1024768×3=2_359_296字节
2. 保存为非压缩格式的BMP文件，文件共有2_359_351字节。