人工神经网络：模型、算法及应用

第1章 绪论\t1
1．1　什么是人工神经网络\t1
1．2　发展历史\t2
1．3　人脑\t4
1．4　Hebb法则\t7
1．5　神经元模型\t7
1．6　神经网络的拓扑结构\t9
1．7　知识表示\t11
1．8　神经网络的学习算法\t15
1．9　神经网络的学习任务\t17
1．10　小结\t20
参考文献\t21
第2章 感知机\t22
2．1　引言\t22
2．2　实例引入\t22
2．3　Rosenblatt感知机\t23
2．3．1 感知机的结构\t23
2．3．2 单层感知机与多层感知机\t23
2．3．3 感知机的学习\t27
2．4　最小均方误差\t27
2．4．1 线性回归问题引入\t27
2．4．2 最小均方算法\t28
2．5　实战Iris模式分类\t30
2．6　小结\t31
参考文献\t32
习题\t32
第3章 多层前馈神经网络\t33
3．1　引言\t33
3．2　多层前馈神经网络模型结构\t33
3．3　BP神经网络\t35
3．3．1 BP神经网络的介绍\t35
3．3．2 BP算法\t35
3．3．3 编程实战\t38
3．4　RBF神经网络\t41
3．4．1 什么是RBF神经网络\t41
3．4．2 RBF神经网络的学习过程\t42
3．4．3 RBF神经网络与BP神经网络的区别\t42
3．5　泛化能力\t43
3．5．1 什么是泛化\t43
3．5．2 如何提高泛化能力\t44
3．6　函数逼近\t46
3．6．1 通用逼近定理\t46
3．6．2 逼近误差的边界\t46
3．6．3 维数灾难\t47
3．7　BP算法的优点和缺点\t48
3．7．1 BP算法的优点\t48
3．7．2 BP算法的缺点\t49
3．8　人脸识别应用\t50
3．8．1 人脸图像的小波变换\t52
3．8．2 BP神经网络的分类识别\t53
3．8．3 RBF神经网络的分类识别\t53
3．8．4 实验结果\t54
3．9　小结\t55
参考文献\t55
习题\t56
第4章 正则化理论\t57
4．1　引言\t57
4．2　良态问题的Hadamard条件\t58
4．3　正则化理论\t58
4．4　正则化网络\t66
4．5　广义RBF神经网络\t66
4．6　正则化最小二乘估计\t69
4．7　半监督学习\t71
4．8　正则化参数估计\t71
4．9　流形正则化\t75
4．10　广义正则化理论\t76
4．11　用半监督学习对模式分类的
实验\t77
4．12　小结\t79
参考文献\t80
习题\t81
第5章 极限学习机模型及应用\t84
5．1　引言\t84
5．2　预备知识\t84
5．2．1 核方法\t84
5．2．2 支持向量机\t86
5．3　极限学习机模型\t91
5．4　核极限学习机\t94
5．5　正则极限学习机\t95
5．6　基于正则极限学习机的图像复原\t97
5．7　基于正规方程式的核极限学习机\t99
5．7．1 模型结构与算法\t99
5．7．2 基于NE-KELM的模式识别实验\t101
5．8　基于共轭梯度的核极限学习机\t103
5．8．1 共轭梯度法\t104
5．8．2 模型结构与算法\t104
5．8．3 基于CG-KELM的图像复原实验\t105
5．9　流形正则化核极限学习机\t107
5．9．1 流形正则化核极限学习机的模型结构与算法\t107
5．9．2 基于MR-KELM的糖尿病检测实验\t107
5．10　基于核极限学习机的医疗诊断系统\t108
5．10．1 PL-KELM的流程\t108
5．10．2 基于PL-KELM的模式识别实验\t110
5．10．3 肿瘤细胞识别系统\t111
5．11　小结\t112
参考文献\t113
习题\t114
第6章 形态神经网络\t115
6．1　引言\t115
6．2　形态学算法基础\t115
6．2．1 数学形态学的定义\t115
6．2．2 数学形态滤波\t116
6．3　形态神经网络模型\t117
6．4　形态联想记忆神经网络模型及其摄动鲁棒性\t118
6．4．1 MAM神经网络的数学基础与相关定义\t118
6．4．2 两种MAM神经网络的摄动鲁棒性\t119
6．5　进化形态神经网络\t123
6．5．1 进化形态神经网络的学习算法\t124
6．5．2 基于进化形态神经网络的图像复原\t125
6．6　小结\t127
参考文献\t127
习题\t129
第7章 自组织映射\t130
7．1　引言\t130
7．2　两个基本的特征映射模型\t131
7．3　SOM概述\t132
7．4　特征映射的性质\t137
7．5　核SOM概述\t142
7．6　小结\t148
参考文献\t149
习题\t149
第8章 卷积神经网络模型及应用\t151
8．1　引言\t151
8．2　卷积神经网络模型\t152
8．2．1 卷积神经网络的基本结构和原理\t152
8．2．2 LeNet-5\t159
8．2．3 AlexNet\t160
8．2．4 VGGNet\t167
8．2．5 Inception\t170
8．2．6 ResNet\t179
8．2．7 Inception-ResNet\t188
8．3　基于卷积神经网络的白细胞分类\t190
8．3．1 白细胞图像去噪\t191
8．3．2 基于k-Means颜色聚类算法的显微白细胞图像分割\t194
8．3．3 基于改进卷积神经网络的显微
白细胞图像识别\t195
8．4　结合卷积神经网络和极限学习机的人脸识别\t200
8．4．1 卷积神经网络参数训练\t201
8．4．2 正则极限学习机进行图像分类\t202
8．4．3 基于CNN-RELM的人脸识别模型实验与对比分析\t203
8．5　基于深度迁移学习的肿瘤细胞图像识别\t206
8．5．1 引言\t206
8．5．2 正则化与迁移学习\t207
8．5．3 基于深度迁移学习的肿瘤细胞图像识别\t208
8．6 小结\t212
参考文献\t212
习题\t213
第9章 生成对抗网络模型\t214
9．1　引言\t214
9．2　预备知识\t214
9．2．1 GAN基础模型\t215
9．2．2 GAN训练\t216
9．2．3 平衡状态\t216
9．2．4 为什么学习GAN\t217
9．2．5 GAN概述\t218
9．2．6 显式密度模型\t218
9．2．7 隐式密度模型\t218
9．2．8 GAN与其他生成算法比较\t218
9．3　GAN的基础理论\t219
9．3．1 GAN的基础――对抗训练\t219
9．3．2 损失函数\t220
9．3．3 训练过程\t220
9．3．4 生成器和鉴别器\t221
9．3．5 目标冲突\t222
9．3．6 混淆矩阵\t222
9．3．7 GAN训练算法\t223
9．4　训练和常见挑战\t223
9．4．1 评价\t223
9．4．2 评价框架\t224
9．4．3 Inception Score\t225
9．4．4 Frechet Inception Distance（FID）\t225
9．4．5 训练挑战\t226
9．4．6 增加网络深度\t226
9．4．7 各种GAN游戏设置\t227
9．4．8 什么时候停止训练\t230
9．5　训练技巧\t231
9．5．1 输入标准化\t231
9．5．2 批量标准化\t231
9．5．3 理解标准化\t231
9．5．4 计算BN\t232
9．5．5 梯度惩罚\t232
9．5．6 多训练鉴别器\t232
9．5．7 避免稀疏梯度\t233
9．5．8 使用软标签和带噪声的标签\t233
9．6　自注意生成对抗网络\t233
9．6．1 注意力\t233
9．6．2 自注意力\t235
9．6．3 核心代码\t236
9．7　进化生成对抗网络\t237
9．7．1 基本介绍\t237
9．7．2 动机\t237
9．7．3 进化算法\t238
9．7．4 生成的图像\t240
9．8　生成对抗网络和迁移学习\t240
9．8．1 迁移学习的概念\t240
9．8．2 为什么要迁移学习\t241
9．8．3 迁移学习的基本形式\t242
9．8．4 GAN和迁移学习的联系\t243
9．9　对抗领域自适应用于肿瘤图像诊断\t243
9．9．1 对抗领域自适应网络模型\t244
9．9．2 特征提取器\t245
9．9．3 数据集和实验设置\t246
9．9．4 结果分析与讨论\t246
9．9．5 探讨\t247
9．10　小结\t247
参考文献\t247
习题\t249
第10章 长短时记忆网络\t250
10．1　引言\t250
10．2　RNN\t250
10．2．1 RNN的结构模型\t250
10．2．2 RNN模型的优缺点\t251
10．3　LSTM的结构模型与实现\t252
10．4　LSTM的学习算法\t253
10．5　LSTM的网络方程\t255
10．6　LSTM的实际应用\t257
10．6．1 数据预处理\t257
10．6．2 建立模型与训练\t258
10．6．3 结果展示\t259
10．7　小结\t259
参考文献\t260
习题\t260
第11章 模糊神经网络\t261
11．1　绪论\t261
11．1．1 模糊集合、模糊逻辑理论及其运算\t261
11．1．2 模糊逻辑推理\t264
11．1．3 FNN概述\t267
11．2　训练模式对的摄动对MFNN的影响\t271
11．2．1 FNN中的摄动鲁棒性\t271
11．2．2 MFNN及其学习算法\t273
11．2．3 分析训练模式对的摄动对MFNN的影响\t275
11．3　折线FNN的泛逼近性\t279
11．3．1 相关记号与术语\t279
11．3．2 折线模糊数\t280
11．3．3 三层前馈折线FNN\t282
11．3．4 折线FNN对模糊函数的通用逼近性\t285
11．3．5 输入为一般模糊数的折线FNN的通用逼近性\t291
11．3．6 一般折线FNN的通用逼近性分析\t296
11．4　模糊化神经网络的学习算法\t301
11．4．1 折线FNN的学习算法\t302
11．4．2 折线FNN的模糊学习算法\t305
11．4．3 正则FNN的学习算法\t312
11．5　小结\t317
参考文献\t318
习题\t319