【信息论和编码理论】（王育民李晖梁传甲）课后习题集答案解析高等教育出版社.doc

信息论和编码理论习题解析 信息论是研究信息的科学，包括信息的表示、存储、处理和传输等方面。编码理论是信息论的一个重要分支，研究如何将信息编码成可靠、可读的形式，提高信息的传输效率和安全性。本文将对信息论和编码理论的一些重要概念和技术进行详细的解释和分析。 2.1 解：信息论中，信息量是衡量信息的重要概念。平均每个符号长为秒，每个符号的熵为比特/符号，所以信息速率为比特/秒。 2.2 解：同步信号均一样不含信息，其余认为等概，每个码字的信息量为 3*2=6 比特_;所以信息速率为比特/秒。 2.3 解：（a）一对骰子总点数为 7 的概率是所以得到的信息量为比特；（b）一对骰子总点数为 12 的概率是所以得到的信息量为比特。 2.4 解：（a）任一特定排列的概率为，所以给出的信息量为比特；（b）从中任取 13 牌，所给出的点数都不一样的概率为所以得到的信息量为比特。 2.5 解：易证每次出现 i 点的概率为，所以1/24。 2.6 解：可能有的排列总数为没有两棵梧桐树相邻的排列数可如下列图求得，图中 X 表示白或白桦，它有种排法，Y 表示梧桐树可以栽种的位置，它有种排法，所以共有 *=1960 种排法保证没有两棵梧桐树相邻，因此假设告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特。 2.7 解：X=0 表示未录取，X=1 表示录取；Y=0 表示本市，Y=1 表示外地；Z=0 表示学过英语，Z=1 表示未学过英语，由此得 2/24 3/24。 2.8 解：令，那么。 2.9 & 2.12 解：令 X=X1,Y=X1+X2,Z=X1+X2+X3，H(X1)=H(X2)=H(X3)=比特，H(X)= H(X1) = =2.585 比特，H(Y)= H(X2+X3)= 3.2744 比特，H(Z)= H(X1+X2+X3)=4/24=3.5993 比特。 2.10 解：设系统输出 10 个数字 X 等概，接收数字为 Y，显然 H(Y)=log10 所以 I(X;Y)= 比特。 2.11 解：〔a〕接收前一个数字为 0 的概率〔b〕同理 6/24 〔c〕同理〔d〕同理。 2.12 解：见 2.9。 2.13 解：（b）（c）〔由第二根本不等式〕或 7/24 〔由第一根本不等式〕所以（a）等号成立的条件为，对所有，即在给定 X 条件下 Y 与 Z 相互独立。 2.14 解：（a）（b）8/24 注：2.15 解：（a）（b）（c） 2.16 解：9/24 （a）又由互信息的非负性，即有，所以（b）（c）当且仅当 X 和 Y 独立时，I〔X；Y〕=0，所以当且仅当 X 和 Y 独立时，。 2.23 解：（a）（b）令（c）10/24 令。 2.28 解：（a）由，〔b〕11/24（c）由可求得 V 的分布为再由及可求得 V 的条件分布为。 第三章 离散信源无失真编码 3.1 解：长为 n 码字的数目为 Dn，因此长为 N 的 D 元不等长码至多有。 3.2 解：12/24。 3.3 解： 3.4 解： 3.5 解：〔a〕二元 Huffman 编码〔b〕三元 Huffman 编码13/24注意：K=10 为偶数，需要添一个概率为零的虚假符号。 3.6 解：二元 Huffman 编码〔a〕二元 Huffman 编码〔b〕〔c〕14/24。 3.10 傅 P186【5.11】 3.11 解： 3.12 解：对 3.13 解：（a）根据唯一可译码的判断方法可知，输出二元码字为异字头码，所以它是唯一可译码。（b）