信息论与编码

第1章　绪论
第2章　熵和互信息
2．1　随机变量的熵和互信息
2．1．1事件的自信息和互信息
2．1．2条件事件的互信息与联合事件的互信息
2．1．3随机变量的平均自信息——熵
2．1．4熵的性质
2．1．5凸函数
2．1.6随机变量间的平均互信息
2．1．7概率分布的散度（相对熵）
2．1．8关于疑义度的Fano不等式
2．1．9马尔可夫链和数据处理定理
2．1．10Shamon信息度量与集合论之间的联系
2．1．11信息论与博弈之间的关系
2．2　连续随机变量的互信息和微分熵
2．2．1连续随机变量的互信息
2．2.2连续随机变量的熵——微分熵
2．2．3微分熵的极大化
2．3　平稳离散信源的熵
2．3．1平稳离散信源的一般概念
2．3．2平稳信源的熵
2．3．3马尔可夫信源
2．4平稳随机过程的信息量与熵
习题
第3章　离散无记忆信源（DMs）的无损编码
3．1　离散无记忆信源的等长编码
3．1．1等长编码
3．1．2Shannon编码定理和典型列解释
3．1．3渐近等分性质（AEP）与Shamon定理的证明
3．2　离散无记忆源（DMs）的不等长编码
3．2．1不等长编码的惟一可译性和译码延时
3．2．2Kraf不等式
3．2．3不等长编码定理
3．3　几种不等长编码算法
3．3．1最佳不等长编码（Huffman编码）
3．3．2Shannon编码法
3．3．3Fano编码
3．3．4ShannOn-Fano-EIias编码
3．3．5算术编码
3．3．6通用信源编码算法
3．3．7压缩编码与离散随机数发生
3．4　平稳信源和马尔可夫信源的编码定理
3．4．1平稳信源的编码
3．4．2马尔可夫信源的编码
习题
第4章　信道、信道容量及信道编码定理
4．1　信道、信道模型和分类
4．2　离散无记忆信道（DMC）及其容量
4．2．1信道容量定义及例子
4．2．2离散无记忆信道（DMC）的容量定理
4．2．3对称离散无记忆信道容量的计算
4.　2．4转移概率矩阵可逆信道的容量计算
4．2．5离散无记忆信道（DMC）容量的迭代计算
4．3　信道的组合
4．3．1积信道（平行组合信道）
4．3．2和信道
4．3．3级联信道
4．4　离散无记忆信道（DMC）的编码定理
4．4．1几个有关定义
4．4．2二元对称信道编码定理的证明
4．4．3一般离散无记忆信道编码定理的证明（典型列方法）
4．4．4信道编码定理之逆
4．4．5具有理想反馈的离散无记忆信道的容量
4.　4．6信源、信道编码分离定理和信源、信道联合编码
4．5　加性高斯噪声（AwGN）信道
4．5.1高斯信道的容量
4．5．2高斯信道编码定理
4．5．3高斯信道编码定理之逆
4．5．4带有独立高斯噪声的平行信道
4．5．5带有相关高斯噪声的平行信道
4.　5．6MIMO高斯信道的容量
4．6　模拟信道的信道容量
4．6．1带限、加性白高斯噪声信道
4．6．2带限、有色高斯噪声信道
习题
第5章　率失真理论和保真度准则下的信源编码
5．1　率失真函数的定义
5．2　简单信源的率失真函数计算
5．2．1Hamming失真度量下的贝努利信源
5．2．2高斯信源
5．2．3高斯矢量信源
5．3　率失真函数的性质
5．3．1R（D）的非零区域（Dmin,Dmax）
5．3．2R（D）的向下凸性
5．3．3R（D）为单调递减的连续函数
5．3．4利用信源的对称性来计算率失真函数
5．4　率失真函数解的充要条件和参数方程
5．5　率失真函数的交替迭代计算
5．6　保真度准则下离散无记忆信源编码定理
5．6．1可达性证明
5．6．2逆定理证明
5．6．3信道编码定理与限失真信源编码定理之间的对偶
5．7　无记忆连续信源的率失真函数
5．7．1无记忆连续信源的率失真函数定义
5．7．2平方误差失真度量下连续随机变量的率失真函数的上、下限
5．8　平方误差失真度量下有记忆高斯信源的率失真函数
5．8．1有记忆信源的率失真函数定义
5．8．2高斯信源的特征
5．8．3离散时间平稳高斯信源的率失真函数
5．8．4连续时间平稳高斯信源的率失真函数
习题
第6章　受限系统和受限系统编码
6．1　受限系统概述
6．1．1受限信道
6．1．2序列的自相关函数和功率谱
6．2　受限系统的表示和容量计算
6．2．1受限系统的概念
6．2．2RLL（d，k）序列
6．2．3受限系统的有限状态转移图表示
6．2．4受限系统的容量
6．2．5受限系统容量的计算
6．2．6最大熵游程受限序列的功率谱
6．3　受限系统编码方法
6．3．1定长分组编码
6．3．2码长最短的定长分组码
6．3．3可变长度固定速率编码
6．3．4向前看（LA）编码技术
6．4　基于ACH状态分裂算法的有限状态编码器
6．4．1状态分裂
6．4．2近似本征矢量
6.　4．3一致分裂
6．4．4ACH状态分裂算法
第7章　线性分组纠错编码
7．1分组纠错编码的一般概念
7．1．1用于纠错和检错的信道编码
7．1．2二元对称信道的差错概率和差错分布
7．1．3检错和纠错
……
第8章　循环码
第9章　卷积码
第10章　Turbo编码与迭代译码算法
第11章　多用户信息论与多用户编码
参考文献