信息论及其应用

第一章绪论
第二章 熵和互信息
§2.1 离散信源的熵和信息量
2.1.1 事件的互信息
2.1.z条件互信息和联合事件的互信息
2.1.3 事件的自信息
2.1.4 离散随机变量的平均自信息——熵
2.1.5 熵的性质
2.1.6 随机变量的相对熵和平均互信息
2.1.7 马尔可夫链和数据处理定理
§2.2 连续随机变量的互信息和微分熵
2.2.1 连续随机变量的互信息
2.2.2 连续随机变量的熵——微分熵
2.2.3 微分熵的极大化
§2.3 凸函数和互信息的凸性
2.3.1 凸函数的概念和性质
2.3.2 Kuhn-Tucker条件
2.3.3 互信息的凸性
§2.4 平稳离散信源
2.4.1 平稳离散信源一般概念
2.4.2 平稳信源的熵
2.4.3 马尔可夫信源
§2.5 随机过程的信息量和熵
习题
第三章 离散信源的无错编码
§3.1 AEP性质和离散无记忆源（DMS）的等长编码
3.1.1 AEP性质
3.1.2 离散无记忆源的等长编码
§3.2 离散无记忆源（DMS）的不等长编码
3.2.1 Kraft不等式
3.2.2 不等长编码定理
3.2.3 最佳不等长编码（Huffman编码）-."
3.2.4 其他不等长编码方法
3.2.5 Shannon编码的竞争最佳性（Competitiveoptimality）
§3.3 平稳信源和马尔可夫信源的编码定理
3.3.1 平稳信源的编码
3.3.2 马尔可夫信源的编码
习题
第四章 离散无记忆信道（DMC）的容量和编码定理
§4.1 离散无记忆信道（DMC）及其容量
4.1.1 信道容量的定义和例子
4.1.2 离散无记忆信道（DMC）的容量定理
4.1.3 对称离散无记忆信道容量的计算
4.1.4 转移概率矩阵可逆信道的容量计算
4.1.5 离散无记忆信道（DMC）容量的迭代计算
§4.2 信道的组合
4.2.1 积信道（平行组合信道）
4.2.2 和信道
4.2.3 级联信道
§4.3 离散无记忆信道（DMC）的编码定理
4.3.1 几个有关定义
4.3.2 联合典型列对
4.3.3 信道编码定理
4.3.4 Fano不等式和逆编码定理
4.3.5 具有反馈的离散无记忆信道的容量
4.3.6 信源一信道联合编码
习题
第五章 高斯信道
§5.1 高斯信道概念
5.1 l高斯信道的容量
5.1.2 高斯信道编码定理
5.1.3 高斯信道编码定理之逆
§5.2 带限信道
§5.3 平行高斯信道
§5.4 有色高斯噪声信道
§5.5 具有无噪反馈的高斯信道
5.5.1 无记忆高斯信道上无噪反馈通信
5.5.2 一阶自回归高斯信道上无噪反馈通信
习题
第六章 率失真理论
§6.1 率失真函数的定义
§6.2 简单信源的率失真函数计算
6.2.1 贝努利信源
6.2.2 高斯信源
6.2.3 高斯矢量信源
§6.3 率失真函数的性质
6.3.1 R（D）的定义域（O，Dmax）
6.3.2 尺（D）的向下凸性
6.3.3 R（D）是单调递减的连续函数
§6.4 率失真函数R（D）的参数表示式
§6.5 率失真函数的迭代计算
§6.6 限失真信源编码定理
习题
第七章 多用户信息论
§7.1 多用户信息传输系统模型
7.1.1 多元接入信道
7.1.2 广播信道
7.1.3 串扰信道
7.1.4 中继信道
7.1.5 相关信源的编码和译码
§7.2 推广的联合典型序列及联合AEP性质
§7.3 多接入信道
§7.4 广播信道
7.4.1 广播信道的定义
7.4.2 退化的广播信道
§7.5 相关信源的源编码
习题
第八章 密码学理论
§8.1 古典密码学
8.1.1 古典密码的例子
8.1.2 古典密码的破译
§8.2 基于信息论的密码学理论
8.2.1 密码系统理论安全性测度
8.2.2 密码系统的实用安全性
§8.3 DES系统
8.3.1 DES系统加密、解密运算的基本步骤
8.3.2 DES系统中密钥的选取
……
第九章 最大信息原则和最大熵谱估计
第十章 类型理论及其应用
第十一章 Kolmogorov复杂性理论
参考文献