工程信息论

第1章绪论
1.1信息的概念和主要特征
1.1.1概述
1.1.2信息的基本概念和特征
1.1.3信息论的基本内容
1.2通信系统的模型
1.2.1通信系统模型
1.2.2提高通信系统技术指标的措施
1.3仙农信息论所研究的问题
1.3.1仙农信息论所研究的问题
1.3.2仙农信息论的特点
1.4仙农信息论形成与发展
1.4.1技术背景
1.4.2理论背景
1.4.3仙农的主要工作
1.4.4仙农信息论发展
1.4.5信息论的应用
1.5仙农生平简介与研究风格
1.5.1仙农生平简介
1.5.2仙农的学术风格
第2章离散信息的度量
2.1自信息和条件自信息
2.1.1自信息
2.1.2联合自信息
2.1.3条件自信息
2.2信息和条件互信息
2.2.1信息
2.2.2信息的性质
2.2.3条件互信息
2.3离散集合的平均自信息(熵)
2.3.1信息熵
2.3.2条件熵
2.3.3联合熵
2.3.4信息熵与热熵的关系
2.4熵的基本性质
2.4.1凸函数
2.4.2信息散度“
2.4.3熵的基本性质
2.4.4各类熵的关系
2.4.5熵函数的惟一性
2.5离散集的平均互信息
2.5.1集合与事件之间的互信息.
2.5.2平均互信息
2.5.3平均互信息与熵的关系
2.5.4平均互信息的性质
2.5.5平均条件互信息
本章小结
习题
第3章离散信源
3.1信源的分类与数学模型
3.1.1信源的分类
3.1.2信源的数学模型
3.2离散无记.亿信源
3.2.1单符号离散无记忆信源
3.2.2多维离散无记忆信源
3.3离散无记忆信源的扩展源
3.3.1N次扩展源
3.3.2N次扩展信源的熵
3.4无限离散信源
3.4.1无限离散信源的均值和熵
3.5概率分布的信息生成函数
3.6离散平稳信源
3.6.1概述
3.6.2平稳有记忆N次扩展源的熵
3.7马尔可夫信源
3.7.1有限状态马氏链
3.7.2状态转移概率
.3.7.3齐次马氏链
3.7.4KOlmOgOrOv—Chapman方程
3.7.5马氏链状态分类
3.7.6马氏链的平稳分布
3.7.7马尔可夫信源
3.7.8马尔可夫信源熵的计算
3.8信源的剩余度
3.8.1信源的相关性
3.8.2信源剩余度(冗长度)
本章小结
附录定理3.4.2的证明
习题
第4章离散信道及其容量
4.1信道模型及其分类
4.1.1信道模型
4.1.2信道的分类
4.2离散无记忆信道
4.2.1一般信道的数学模型
4.2.2离散无记忆信道
4.2.3平稳(或恒参)信道
4.2.4单符号离散信道
4.2.5离散无记忆扩展信道
4.3扩展信道输入与输出平均互信息
4.4级联信道
4.5离散无记忆信道容量
4.5.1信道容量的定义
4.5.2离散无噪信道的容量
4.5.3信道容量的计算
4.5.4离散对称信道的容量
4.5.5离散无记忆N次扩展信道的容量
4.5.6离散并联信道的容量
4.5.7和信道的容量
4.5.8关于信道容量的注释
4.6信道容量的迭代计算
本章小结
附录定理4.5.1的证明
习题
第5章无失真信源编码
5.1概述’
5.1.1无失真信源编码的分类
5.1.2信源编码器模型
’5.1.3简单信源编码器举例
5.2分组码
5.2.1分组码的性质
5.2.2码树
5.3定长码
5.3.1无失真编码条件
5.3.2信源序列分组定理
5.3.3渐进均分特性
5.3.4定长码信源编码定理
5.4变长码
5.4.1异前置码的性质
5.4.2变长码信源编码定理
5.5最优码
5.5.1二元哈夫曼(HuHman)编码
5.5.2多元哈夫曼编码
5.5.3马氏源的编码
5.6算术编码
5.6.1积累概率
5.6.2算术编码的性能
5.6.3算术编码和译码算法
5.6.4一般马氏源的算术编码
5.6.5算术编码算法实现中的技术问题
5.7L-Z编码
5.7.1L-Z算法简介
5.7.2一种简化的LZW算法
5.8文本树加权编码
5.8.1二元序列概率的估计
5.8.2树信源和文本树
5.8.3文本树力口权编码的实现
5.8.4文本树加权编码的性能评估
本章小结
本章参考文献
习题
第6章有噪信道编码
6.1概述
6.1.1信息传输速率
6.1.2单符号判决规则
6.1.3译码错误概率
6.2常用判决准则
6.2.1最大后验概率准则
6.2.2最大似然准则
6.3费诺(Fano)不等式
6.3.1信道疑义度
6.3.2费诺不等式
6.3.3序列费诺不等式
6.4序列的最佳译码准则
6.4.1汉明距离
6.4.2序列最大似然译码
6.5有噪信道编码定理
6.5.1联合典型序列
6.5.2有噪信道编码定理
6.5.3无失真信源信道编码定理
本章小结
第7章连续信息与连续信源
7.1连续随机变量的互信息
7.1.1连续随机变量的离散化
7.1.2连续随机变量的互信息
7.1.3连续集合平均互信息的性质
7.2连续随机变量集合的熵
7.2.1连续随机变量集合的熵
7.2.2差熵的性质
7.2.3信息散度
7.2.4差熵与平均互信息的关系
7.2.5线性变换下平均互信息的不变性
7.3离散时间高斯信源的熵
7.3.1一维高斯随机变量集合的熵
7.3.2多维独立高斯随机变量集合的熵
7.3.3多维相关高斯随机变量集合的熵
7.3.4复高斯信源的熵
7.4连续最大熵定理
7.4.1限功率最大熵定理
7.4.2限峰值最大熵定理
7.5连续时间波形的正交展开
7.6连续时间信源的熵
7.6.1限带高斯白噪声信源的熵
7.6.2限带高斯信源的熵
7.6.3熵功率
7.7最大熵原理与最大熵谱估计
7.7.1最大熵原理
7.7.2最大熵谱估计
7.8离散集合与连续集合之间的互信息
7.8.1离散事件x与连续事件》之间的互信息
7.8.2离散集合X与连续集合y的平均互信息
本章小结
本章参考文献
附录复矢量到实矢量的变换及其性质
习题
第8章波形信道
8.1离散时间连续信道
8.1.1加性噪声信道
8.1.2加性高斯噪声信道
8.1.3容量代价函数
8.1.4离散时间信道的容量
8.1.5一般加性噪声信道容量界
8.1.6并联加性高斯噪声信道
8.2数字基带波形的正交展开
8.3AWGN信道的容量
8.3.1加性高斯噪声信道
8.3.2波形信道的互信息与容量
8.3.3AWGN信道的容量
8.3.4高斯噪声信道编码定理
8.3.5功率利用率和频谱利用率的关系
8.4有色高斯噪声信道
8.5数字调制系统的信道容量
8.5.1PAM调制系统的信道容量
8.5.2二维数字调制的信道容量
8.5.3BPSK调制的信道容量
8.6复高斯信道容量
8.7接近信道容量界的编码
8.7.1Turbo码
8.7.2LDPC码
本章小结
本章参考文献
习题
第9章信息率失真函数
9.1概述
9.1.1系统模型
9.1.2失真测度
9.2信息率失真函数
9.2.1信息率失真函数
9.2.2R(D)的性质
9.3限失真编码定理
9.3.1编码速率的压缩
9.3.2限失真信源编码定理
9.3.3限失真信源信道编码定理
9.4离散信源信息率失真函数的计算
9.4.1R(D)参量表示法求解
9.4.2方程的解法
9.4.3参量s的意义
9.5连续信源信息率失真函数
9.5.1信息率失真函数与性质
9.5.2R(D)函数的计算
9.5.3差值失真测度
9.6高斯信源的R(D)函数
9.6.1离散时间无记忆高斯信源
9.6.2独立并联高斯信源
9.6.3有记忆高斯信源
9.6.4时间连续高斯信源
9.6.5限带高斯信源
9.?一般连续信源R(D)函数
9.8有损数据压缩
9.8.1量化
9.8.2最佳速率分配
9.8.3预狈0编码
9.8.4子带编码
9.8.5变换编码
本章小结
附录1关于Pe的计算
附录2定理9.7.1的证明
本章参考文献
习题
第10章有约束信道及其编码
10.1标号图及性质
10.1.1标号图的基本概念
10.1.2标号图的变换
10.2有约束信道的容量
10.2.1有约束信道容量的定义
10.2.2等时长符号有约束信道的容量
10.2.3不等时长无约束信道的容量
10.2.4不等时长有约束信道的容量
10.2.5马氏源的最大熵
10.3有约束序列的性质
10.3.1信道的约束
10.3.2游程长度受限序列(RLL)
10.3.3部分响应最大似然(PRML)序列
10.3.4直流平衡序列
10.3.5其他频域受限序列
10.4有约束信道编码定理
10.4.1有约束信道编码定理
10.4.2编码器的描述
10.4.3近似特征矢量
10.4.4——致状态分裂
10.4.5有限状态编码定理
10.5有约束系统的编码
10.5.1编码器性能指标
10.5.2块编码器..
10.5.3确定性编码器
10.5.4有限类型编码器
10.5.5直流平衡序列编码系统
10.5.6滑动块译码器
10.6有约束序列编码实例
10.6.1(d.k)块码编码系统
10.6.2实用的直流平衡序列
10.6.3无直流游程受限序列
10.6.4有约束序列在家用电子产品中的应用
本章小结
附录定理10.2.2的证明
本章参考文献
第11章空时信道的容量与空时码
11.1空时无线系统
11.2衰落多径信道的统计模型
11.2.1多径信道描述参数
11.2.2频率非选择性信道
11.2.3频率选择性信道
11.2.4衰落信号分量的统计模型
11.3确定性MIMO信道的容量
11.3.1MIMO信道模型
11.3.2发射机未知CSI的容量
11.3.3发射机已知CSI的容量
11.3.4SIMO系统的容量
11.3.5MISO系统的容量
11.4衰落MIMO信道的容量
11.4.1容量的定义
11.4.2容量的计算
11.4.3影D向信道容量的因素
11.5空时接收机
11.5.1CSI对发射机和接收机均已知情况
11.5.2信道状态仅对接收机已知的情况
11.6空时信道的编码
11.6.1空时编码器
11.6.2空时块码
11.6.3空时格码
11.6.4空间复用编码
11.6.5可达容量的比较
本章小结
本章参考文献
习题
参考文献