人工神经网络与模拟进化计算（清华大学信息科学技术学院教材）

第1章 绪论1
1.1 神经网络的发展与应用1
1.2 人工神经元模型2
1.3 用有向图表示神经网络4
1.4 网络结构及工作方式5
1.5 NN的学习7
1.5.1 学习方式7
1.5.2 学习算法7
1.5.3 学习与自适应9
习题9
参考文献10
第2章 前馈网络11
2.1 线性阈值单元11
2.1.1 用线性阈值单元实现布尔函数11
2.1.2 线性可分性12
2.1.3 n维欧氏空间中m个点上可实现的线性可分函数的个数13
2.2 多层前馈网络的计算能力及函数逼近15
2.3 感知器的学习算法17
2.4 反向传播学习算法19
2.5 改进反向传播算法收敛速度的措施26
2.5.1 加入动量项26
2.5.2 高阶导数的利用27
2.5.3 共轭梯度法27
2.5.4 递推最小二乘法28
2.5.5 神经元空间搜索法28
2.5.6 一些其他措施30
2.6 多层前馈网络作用的分析31
2.6.1 线性网络32
2.6.2 非线性情况33
2.7 应用举例34
习题45
参考文献48
第3章 径向基函数网络51
3.1 φ可分性51
3.2 函数逼近与内插52
3.3 正规化理论53
3.4 RBF网络的学习60
3.5 RBF网络的一些变形63
3.6 CMAC网络64
3.6.1 模型结构64
3.6.2 工作原理分析66
3.6.3 学习算法69
3.7 概率神经网络70
3.8 小波网络71
3.9 泛函连接网络72
3.10 新一代神经元模型及其计算能力的研究74
3.10.1 布尔函数的计算75
3.10.2 连续输入的情况75
3.10.3 脉冲耦合神经网络76
参考文献81
第4章 学习理论与网络结构选择86
4.1 经验风险最小化与推广能力88
4.1.1 经验风险最小化原则89
4.1.2 推广能力、模型复杂度和样本量90
4.2 统计学习理论简介92
4.2.1 学习过程一致性的条件93
4.2.2 统计学习理论发展中的三个重要结论96
4.2.3 推广能力的界97
4.2.4 结构风险最小化102
4.3 学习的复杂性问题105
4.3.1 PAC学习模型105
4.3.2 PAC学习的例子106
4.3.3 PAC学习模型的一些扩展106
4.3.4 多层前馈网络的样本数问题107
4.3.5 学习的计算复杂性108
4.4 学习的动态特性109
4.4.1 通用学习方程109
4.4.2 LMS规则110
4.4.3 Hebb规则111
4.4.4 Oja学习规则111
4.5 推广问题112
4.5.1 定性分析112
4.5.2 平均推广能力113
4.5.3 样本量问题115
4.5.4 推广误差的实验估计116
4.6 预测学习117
4.6.1 模型117
4.6.2 根本困难118
4.6.3 维数灾难问题118
4.6.4 方差与偏置折衷118
4.7 学习的数学基础120
4.8 网络模型选择122
4.8.1 定性分析122
4.8.2 正规化方法123
4.8.3 修剪与网络构造法124
4.9 符号学习与神经网络结合131
习题133
参考文献134
第5章 核方法与支持向量机140
5.1 现有方法概述141
5.1.1 基函数法142
5.1.2 核函数143
5.2 基函数法与核函数法的对偶关系144
5.3 自适应方法147
5.4 核函数法147
5.5 表示定理151
5.6 最优线性分界面152
5.7 支持向量机（SVM）155
5.7.1 基本原理155
5.7.2 SVM用于多类（C类）问题161
5.7.3 SVM用于回归161
5.8 核PCA163
5.9 SVM的算法165
5.10 贝叶斯方法与高斯过程171
5.10.1 贝叶斯方法171
5.10.2 高斯过程173
5.10.3 稀疏表示175
5.11 讨论177
参考文献181
第6章 自组织系统(Ⅰ)——Hebb学习184
6.1 引言184
6.2 自组织特征检测——一个简单的实验185
6.3 主成分分析186
6.4 单个神经元抽取最大主分量189
6.5 单层网络用于抽取一组主分量189
6.6 有侧向连接的自适应PCA191
6.7 最小均方误差重建学习193
6.8 次分量的提取和应用195
6.8.1 最优拟合问题195
6.8.2 用单个神经元实现197
6.9 PCA算法的进一步扩展200
6.9.1 非线性PCA200
6.9.2 主曲线与主曲面200
6.9.3 鲁棒PCA算法202
6.9.4 偏最小二乘方法202
6.10 用于特征抽取的网络203
6.10.1 正态分布的数据204
6.10.2 类内、类间距离的计算205
6.10.3 Bhattacharya距离206
参考文献207
第7章 自组织系统(Ⅱ)——竞争学习210
7.1 Hamming网络与WTA网络210
7.2 自组织特征映射212
7.3 等效的SOM算法215
7.4 向量量化220
7.5 广义向量量化221
7.6 讨论223
7.7 应用举例225
7.8 自适应共振理论235
7.8.1 ART的基本原理236
7.8.2 ART作为分类器时的学习算法239
习题240
参考文献241
第8章 自组织系统(Ⅲ)——基于信息论的模型245
8.1 信息论简介245
8.2 最大信息保持原则247
8.2.1 单个神经元受噪声干扰247
8.2.2 输入受加性噪声干扰248
8.2.3 更复杂些的情况249
8.3 拓扑有序映射的产生251
8.4 基于最大熵原则的拓扑映射253
8.5 盲信号处理255
8.5.1 一些基本概念257
8.5.2 ICA的目标函数261
8.5.3 盲信号处理的应用267
8.5.4 非线性独立成分分析（NLICA）270
参考文献273
第9章 动态信号与系统的处理276
9.1 延时单元网络276
9.2 时空神经元模型280
9.2.1 模型280
9.2.2 FIR网络的学习算法282
9.3 部分反馈网络286
9.4 有反馈网络的学习算法289
9.4.1 随时间演化的反向传播算法289
9.4.2 实时递归学习290
9.5 应用举例293
9.6 神经网络在金融领域中的应用304
9.7 讨论310
9.8 再励学习及其主要算法314
9.8.1 时间差分法315
9.8.2 RL的主要算法317
9.9 再励学习在控制中的应用举例319
习题327
参考文献328
第10章 多神经网络集成335
10.1 引言335
10.2 群体平均法336
10.3 Boosting方法337
10.3.1 Boosting算法338
10.3.2 性能分析339
10.3.3 应用实例——由基因表达谱对肿瘤分类340
10.4 混合专家网络342
10.5 分层混合专家网络344
10.5.1 工作原理345
10.5.2 EM算法概述347
10.5.3 EM算法用于HME349
10.5.4 IRLS算法350
10.5.5 EM算法的步骤352
10.6 应用举例353
参考文献357
第11章 反馈网络与联想存储器360
11.1 联想存储器360
11.2 反馈网络361
11.2.1 离散Hopfield网络362
11.2.2 连续Hopfield网络366
11.3 用反馈网络作联想存储器368
11.4 相关学习算法369
11.5 容量分析373
11.6 伪逆学习算法377
11.7 基于线性可分性的学习算法378
11.8 Li与Michel的设计方法（特征结构法）379
11.9 线性规划方法379
11.10 多余吸引子问题381
11.11 双向联想存储器（BAM）382
11.11.1 能量函数与稳定性384
11.11.2 BAM网络的权值设计384
11.12 玻耳兹曼机386
11.12.1 随机神经元386
11.12.2 模拟退火算法387
11.12.3 玻耳兹曼机387
11.12.4 玻耳兹曼机的学习388
11.12.5 平均场学习规则392
习题394
参考文献395
第12章 神经网络用于优化计算398
12.1 概述398
12.2 连续Hopfield网络用于求解优化问题401
12.3 CHNN用于优化计算时存在的问题403
12.4 神经网络用于求解货流问题405
12.5 用于解数学规划的电路举例409
12.6 在通信网络中的应用举例411
习题412
参考文献413
第13章 神经网络中的动力学问题415
13.1 运动稳定性的基本知识415
13.1.1 运动微分方程415
13.1.2 平衡状态及其稳定性416
13.1.3 定性方法与系统的分类418
13.1.4 Lyapunov定理421
13.1.5 吸引子422
13.2 反馈网络的基本模型及其稳定性424
13.2.1 基本模型424
13.2.2 稳定性分析425
13.2.3 离散模型427
13.2.4 离散时间连续状态模型427
13.3 混沌神经网络的初步介绍430
13.3.1 一个简单的非线性映射430
13.3.2 混沌神经元模型432
13.3.3 用混沌神经网络作联想记忆434
参考文献435
第14章 误差函数与参数优化方法437
14.1 误差平方和438
14.1.1 网络输出的含义438
14.1.2 更一般的条件分布的建模440
14.2 后验概率估计442
14.2.1 误差平方和准则443
14.2.2 隐单元的作用443
14.2.3 R范数误差444
14.3 交叉熵445
14.3.1 两类分类器445
14.3.2 交叉熵的性质446
14.3.3 多类情况447
14.4 参数优化算法448
14.4.1 误差曲面448
14.4.2 对E的局部二次逼近449
14.4.3 优化过程的一些实际问题450
14.5 梯度下降法451
14.5.1 收敛性的定性分析452
14.5.2 加速收敛的措施452
14.6 共轭梯度法454
14.7 牛顿法及其变形457
14.8 LevenbergMarquart算法458
14.9 信息几何与自然梯度459
参考文献459
第15章 贝叶斯方法461
15.1 网络权值的贝叶斯学习462
15.1.1 权值的分布462
15.1.2 一类更广的分布464
15.1.3 网络输出的分布465
15.1.4 超参数的处理466
15.2 贝叶斯模型选择468
15.2.1 模型显著度469
15.2.2 网络组470
15.2.3 贝叶斯方法的实现471
15.2.4 最小描述长度471
15.3 在神经网络中的应用472
15.4 贝叶斯阴阳系统理论简介474
15.5 讨论475
参考文献477
第16章 神经网络在信号处理中的应用479
16.1 引言479
16.2 用泛函对物理系统建模479
16.2.1 算子与泛函480
16.2.2 Volterra级数481
16.3 Volterra级数与多层前馈网络482
16.4 非线性ARMA模型与MFNN484
16.5 状态空间表示与神经网络486
16.6 神经网络与马尔可夫模型487
16.7 特征空间分解与神经网络489
16.7.1 信息判据用于主子空间分析489
16.7.2 非线性主元分析492
16.8 EM算法用于训练部分反馈网络494
16.9 混沌时间序列的预测和混沌中信号的检测497
16.9.1 混沌时间序列的预测497
16.9.2 混沌中信号的检测——海洋杂乱回波中雷达信号的检测501
16.10 神经网络用于信息的压缩和编码503
16.11 神经网络用于盲信号处理507
16.12 小波网络与多分辨率学习512
16.12.1 引言512
16.12.2 小波基函数与函数的多分辨率分析512
16.12.3 多分辨率学习与小波网络515
16.12.4 多尺度网络用于时间序列预测520
参考文献522
第17章 进化计算概论与进化策略526
17.1 进化计算概论526
17.2 二元进化策略528
17.2.1 基本算法528
17.2.2 变异过程530
17.2.3 步长选择532
17.2.4 收敛准则534
17.2.5 对于约束条件的处理535
17.3 多元进化策略535
17.3.1 基本算法536
17.3.2 (1，λ)前进速度分析537
17.3.3 步长控制543
17.3.4 μ≥1时的收敛准则545
17.3.5 串行与并行546
参考文献547
第18章 遗传算法及其理论分析549
18.1 标准遗传算法和基本概念549
18.2 模式定理552
18.3 基因块假设556
18.4 欺骗性问题559
18.5 收敛性分析563
18.5.1 基本概念563
18.5.2 守恒交叉算子565
18.5.3 完全变异算子566
18.5.4 遗传算法的马尔可夫链分析567
参考文献569
第19章 遗传算法的设计与实现570
19.1 编码方法570
19.1.1 编码原则571
19.1.2 编码方法573
19.2 适应度函数577
19.2.1 目标函数映射成适应度函数577
19.2.2 适应度函数调整578
19.2.3 适应度函数的设计对遗传算法的影响579
19.3 遗传算子580
19.3.1 选择算子580
19.3.2 交叉算子582
19.3.3 变异算子584
19.4 其他问题586
19.4.1 参数选择586
19.4.2 其他操作587
参考文献592
第20章 遗传算法在神经网络中的应用593
20.1 连接权的进化方法593
20.2 网络结构的进化方法595
20.3 用遗传算法解决XOR问题示例597
参考文献599
第21章 遗传算法在作业调度中的应用600
21.1 问题描述600
21.2 解作业调度问题的遗传算法602
21.3 仿真结果605
参考文献609
第22章 分布估计算法610
22.1 离散的分布估计算法611
22.1.1 变量独立假设下的算法611
22.1.2 双变量概率依赖关系614
22.1.3 多变量概率依赖关系622
22.2 连续的分布估计算法626
22.2.1 变量独立假设下的算法627
22.2.2 双变量概率依赖关系628
22.2.3 多变量概率依赖关系629
22.3 讨论630
参考文献631
索引634