信息基础理论解析

目录
第1章 信息论概述 / 1
1.1　信息论与信息科学 / 3
1.2　信息的概念与性质 / 5
1.2.1　信息的概念 / 5
1.2.2　信息的性质 / 9
1.2.3　信息、消息及信号 / 9
1.3　信息论研究的对象、目的和内容 / 11
1.3.1　信息论研究的对象 / 11
1.3.2　信息论研究的目的 / 13
1.3.3　信息论研究的内容 / 14
1.4　信息论的发展历程 / 16
1.4.1　信息论的酝酿 / 16
1.4.2　信息论的建立 / 18
1.4.3　信息论的发展 / 19
1.4.4　香农及其贡献 / 19
第2章 信息的统一度量 / 21
2.1　自信息 / 24
2.1.1　自信息 / 24
2.1.2　条件自信息 / 26
2.2　信息熵 / 26
2.2.1　熵的定义 / 27
2.2.2　熵的性质 / 30
2.2.3　联合熵 / 34
2.2.4　条件熵 / 35
2.3　互信息 / 36
2.3.1　互信息的定义 / 36
2.3.2　互信息的性质 / 37
2.4　平均互信息 / 38
2.4.1　平均互信息的定义 / 39
2.4.2　平均互信息的性质 / 40
2.5　各种信息度量之间的关系 / 45
2.6　扩展信源的信息度量 / 46
2.7　连续随机变量的信息度量 / 48
第3章 信源 / 57
3.1　信源的分类 / 60
3.2　信源的数学描述 / 61
3.2.1　用随机变量描述离散消息 / 61
3.2.2　用随机矢量描述离散序列 / 62
3.2.3　用随机过程描述波形信源 / 64
3.3　马尔可夫信源 / 65
3.3.1　马尔可夫信源定义 / 65
3.3.2　状态转移概率及描述 / 65
3.3.3　切普曼—柯尔莫戈洛夫方程 / 68
3.3.4　马尔可夫链的状态分类 / 69
3.3.5　马尔可夫链的遍历性 / 70
3.3.6　离散马尔可夫信源的熵 / 70
3.4　信源的相关性和剩余度 / 74
第4章 信　道 / 79
4.1　信道的分类 / 82
4.2　信道的数学描述 / 85
4.2.1　离散信道模型 / 86
4.2.2　连续信道模型 / 89
4.2.3　波形信道模型 / 90
4.3　信道疑义度和噪声熵 / 91
4.4　信道的组合 / 92
4.4.1　串联信道 / 92
4.4.2　并联信道 / 95
4.5　信道容量 / / 96
4.5.1　信道容量的定义 / 97
4.5.2　简单离散信道的信道容量 / 98
4.5.3　对称离散信道的信道容量 / 101
4.5.4　组合信道的信道容量 / 104
4.5.5　一般离散信道的信道容量 / 106
4.5.6　离散无记忆信道容量的迭代算法 / 118
4.5.7　连续型信道的信道容量 / 126
4.6　信源与信道的匹配 / 136
第5章 信源编码 / 143
5.1　信源编码的基本概念 / 146
5.2　唯一可译性的判决问题 / 151
5.2.1　唯一可译性的存在性判决 / 151
5.2.2　唯一可译码判断准则 / 152
5.3　无失真信源编码 / 154
5.3.1　等长码的编码长度 / 154
5.3.2　等长无失真信源编码定理 / 156
5.3.3　变长无失真信源编码定理（香农第一定理） / 160
5.3.4　变长码的常用编码方法 / 168
5.4　限失真信源编码 / 176
5.4.1　失真测度 / 176
5.4.2　信息率失真函数 / 181
5.4.3　信息率失真函数的计算 / 187
5.4.4　限失真信源编码定理（香农第三定理） / 188
第6章 信道编码 / 199
6.1　信道编码的基本概念 / 202
6.1.1　编码信道 / 202
6.1.2　译码准则 / 202
6.1.3　错误概率 / 203
6.1.4　码字空间 / 204
6.1.5　汉明距离 / 204
6.1.6　纠检错能力 / 205
6.2　两种典型的译码准则 / 206
6.2.1　最大后验概率准则 / 206
6.2.2　最大似然译码准则 / 207
6.3　有噪信道编码定理（香农第二定理） / 210
6.4　信源信道联合编码定理 / 211
6.5　信道编码 / 212
6.5.1　奇偶校验码 / 213
6.5.2　简单重复码 / 216
6.5.3　线性分组码 / 218
6.5.4　循环码 / 220
6.5.5　卷积码 / 223
第7章 网络信息论 / 235
7.1　网络信道的分类 / 239
7.1.1　多源接入信道 / 239
7.1.2　广播信道 / 240
7.1.3　中继信道 / 240
7.1.4　串扰信道 / 241
7.1.5　反馈信道 / 241
7.2　网络信道的容量 / 242
7.3　网络编码的基本原理 / 250
7.3.1　网络编码相关概念 / 251
7.3.2　网络编码的优点 / 252
7.3.3　网络编码的构造算法及发展方向 / 258
7.3.4　网络编码的适用条件 / 265
第8章 信息论的应用 / 267
8.1　生物信息学 / 269
8.1.1　核酸序列分析 / 271
8.1.2　蛋白质序列分析 / 271
8.1.3　生物医学成像 / 272
8.2　信息光学 / 279
8.2.1　光学全息 / 281
8.2.2　光学信息处理 / 283
8.2.3　光通信 / 286
8.3　信息论与密码学 / 288
8.3.1　保密系统的数学模型 / 290
8.3.2　传统加密技术 / 291
8.3.3　现代加密技术 / 295
8.4　经济信息学 / 298
8.4.1　香农的投资之路 / 299
8.4.2　凯利公式 / 302
8.4.3　优化投资组合——马科维茨理论 / 304
8.4.4　优化投资组合的熵理论 / 306
8.5　信息论与管理 / 307
8.5.1　管理的最简信息模型 / 308
8.5.2　复杂管理信息模型构造 / 312