信息论基础习题解答（第2版）

目录第1章绪论1第2章离散信息的度量42．1知识要点42．1．1自信息和互信息42．1．2信息熵62．1．3平均互信息92．2例题精解112．3习题解答15第3章离散信源343．1知识要点343．1．1离散信源的分类与数学模型343．1．2离散无记忆信源的扩展353．1．3离散平稳信源的熵353．1．4有限状态马尔可夫链363．1．5马尔可夫信源373．1．6信源的相关性与剩余度383．2例题精解383．3习题解答42第4章连续信息与连续信源644．1知识要点644．1．1连续随机变量的熵644．1．2离散时间高斯随机变量的熵654．1．3连续最大熵定理664．1．4连续随机变量之间的平均互信息674．1．5离散集与连续随机变量之间的互信息674．1．6几种重要的连续信源684．2例题精解684．3习题解答744．4补充题解89第5章无失真信源编码925．1知识要点925．1．1概述925．1．2定长码935．1．3变长码945．1．4最优编码955．1．5几种实用的信源编码方法965．2例题精解975．3习题解答1035．4补充题解119第6章离散信道及其容量1246．1知识要点1246．1．1基本概念1246．1．2单符号离散信道及其容量1256．1．3级联信道及其容量1266．1．4多维矢量信道及其容量1276．1．5信道容量的迭代算法1296．1．6有约束信道的容量1296．2例题精解1306．3习题解答136第7章有噪信道编码1557．1知识要点1557．1．1基本概念1557．1．2最佳判决与译码准则1567．1．3信道编码与最佳译码1577．1．4费诺不等式1577．1．5有噪信道编码定理1587．1．6纠错编码技术简介1597．2例题精解1607．3习题解答1667．4补充题解181第8章波形信道1828．1知识要点1828．1．1离散时间连续信道1828．1．2加性噪声信道与容量1838．1．3AWGN信道的容量1848．1．4有色高斯噪声信道1858．1．5数字调制系统的信道容量1868．2例题精解1868．3习题解答190第9章信息率失真函数2049．1知识要点2049．1．1基本概念2049．1．2信息率失真函数定义2059．1．3限失真信源编码定理2059．1．4离散R(D)函数的性质与计算2059．1．5连续R(D)函数的性质与计算2069．1．6高斯信源的R(D)函数2079．1．7一般连续信源的R(D)函数2079．1．8有损数据压缩技术简介2079．2例题精解2079．3习题解答2139．4补充题解232第10章网络信息论初步23510．1知识要点23510．1．1基本概念23510．1．2多址接入信道23610．1．3广播信道23710．1．4中继信道23710．1．5分布信源编码23710．2习题解答238第11章信息理论方法及其应用26211．1知识要点26211．1．1离散信源熵的估计26211．1．2最大熵原理26211．1．3最小交叉熵原理26411．1．4信息理论方法的应用26511．2例题精解26511．3习题解答267期末考试模拟试题277期末考试模拟试题标准答案279参考文献285