模式识别与机器学习

目录
第1章引言1
1.1基本概念1
1.1.1投票选举2
1.1.2三个小皮匠胜过诸葛亮3
1.1.3主动学习4
1.2典型的机器学习系统5
1.2.1医学图像诊断5
1.2.2时间序列识别6
1.2.3对话系统7
1.2.4异常检测8
1.3前沿研究方向举例9
1.3.1多视图机器学习9
1.3.2强化学习11
1.3.3可信人工智能11
1.4后续章节安排13
参考文献13
第2章贝叶斯学习基础15
2.1贝叶斯公式16
2.2贝叶斯决策18
2.2.1最小错误率贝叶斯决策18
2.2.2最小风险贝叶斯决策21
2.3分类器的相关概念23
2.3.1分类器、判别函数和决策面24
2.3.2分类器的错误率25
2.4基于高斯分布的贝叶斯分类器26
2.5朴素贝叶斯分类器32
2.6参数估计33
2.6.1最大似然估计33
2.6.2最大后验估计35
2.6.3期望最大化算法36
2.6.4贝叶斯参数估计37
思考与计算38
参考文献39
第3章逻辑回归40
3.1线性回归41
3.1.1最小二乘与最大似然44
3.1.2正则化最小二乘与最大后验47
3.2贝叶斯线性回归50
3.3逻辑回归52
3.3.1二类逻辑回归52
3.3.2多类逻辑回归55
3.4贝叶斯逻辑回归56
思考与计算60
参考文献60
第4章概率图模型基础61
4.1有向图模型63
4.1.1模型表示63
4.1.2条件独立性65
4.1.3常见的有向图模型71
4.2无向图模型73
4.2.1模型表示73
4.2.2条件独立性74
4.2.3常见的无向图模型81
4.3图模型中的推理82
4.3.1链式结构82
4.3.2树结构84
4.3.3因子图84
4.3.4和积算法85
4.3.5最大和算法92
思考与计算94
参考文献95
第5章隐马尔可夫模型96
5.1模型表示97
5.2模型推理100
5.2.1边缘似然的推理101
5.2.2隐状态序列的推理107
5.2.3隐状态边缘后验的推理108
5.3参数学习109
5.4模型扩展111
思考与计算115
参考文献116
第6章条件随机场117
6.1模型表示118
6.1.1线性链条件随机场120
6.1.2一般的条件随机场121
6.1.3条件随机场的特征函数122
6.2模型推理124
6.2.1前向—后向算法125
6.2.2维特比算法129
6.3参数学习130
6.4线性链条件随机场与隐马尔可夫模型132
6.5模型扩展133
思考与计算133
参考文献134
第7章支持向量机135
7.1大间隔原理136
7.2基本分类模型137
7.3拉格朗日对偶优化138
7.4线性不可分数据的分类140
7.4.1松弛变量140
7.4.2核方法142
7.5支持向量机回归144
7.6模型扩展146
思考与计算146
参考文献147
第8章人工神经网络与深度学习148
8.1感知机149
8.2多层神经网络151
8.2.1神经元151
8.2.2多层神经网络模型153
8.2.3反向传播算法155
8.3深度神经网络159
8.3.1浅层与深度神经网络159
8.3.2过拟合问题160
8.3.3局部极值问题162
8.3.4梯度消失问题163
8.4常用的深度神经网络166
8.4.1自编码网络166
8.4.2深度玻尔兹曼机168
8.4.3深度信念网络169
8.4.4卷积神经网络170
8.4.5循环神经网络174
8.4.6Transformer177
思考与计算180
参考文献181
第9章高斯过程183
9.1高斯过程的定义184
9.2高斯过程回归模型185
9.2.1权重空间185
9.2.2函数空间189
9.3高斯过程分类模型192
9.3.1模型表示193
9.3.2近似推理方法195
9.4高斯过程与支持向量机199
9.5高斯过程与人工神经网络200
9.6模型扩展201
思考与计算203
参考文献203
第10章聚类205
10.1K均值聚类206
10.1.1算法介绍206
10.1.2模糊K均值聚类209
10.2谱聚类210
10.3高斯混合模型聚类217
10.3.1模型表示217
10.3.2模型推理与参数估计218
10.3.3无限高斯混合模型219
思考与计算222
参考文献223
第11章主成分分析与相关的谱方法224
11.1主成分分析225
11.1.1最大化方差225
11.1.2最小化误差227
11.1.3主成分分析与KL变换229
11.2概率PCA230
11.3核PCA232
11.4相关的谱方法234
11.4.1线性判别分析234
11.4.2典型相关分析237
思考与计算242
参考文献243
第12章确定性近似推理244
12.1近似推理的应用场景245
12.2拉普拉斯近似245
12.3变分平均场近似247
12.3.1基本理论247
12.3.2相关问题250
12.4期望传播近似253
12.4.1基本理论253
12.4.2相关问题256
思考与计算259
参考文献259
第13章随机近似推理260
13.1采样方法的评价标准261
13.2基本的采样方法262
13.2.1均匀采样变换263
13.2.2拒绝采样264
13.2.3重要性采样265
13.3马尔可夫链蒙特卡洛267
13.3.1MetropolisHastings采样267
13.3.2Gibbs采样269
13.3.3切片采样271
13.3.4哈密尔顿蒙特卡洛采样274
思考与计算277
参考文献278
第14章强化学习280
14.1基本概念与理论基础281
14.2规划: 有环境模型的预测与控制286
14.2.1策略迭代287
14.2.2值迭代288
14.3无环境模型的控制: 基于值函数290
14.3.1蒙特卡洛控制291
14.3.2时序差分控制: SARSA292
14.3.3基于Q学习的异策略控制293
14.3.4基于Q学习的深度Q网络控制295
14.4无环境模型的控制: 基于策略296
14.4.1蒙特卡洛策略梯度法和REINFORCE算法297
14.4.2行动者—评论者算法299
思考与计算300
参考文献301
附录A近邻法302
A.1最近邻法302
A.2最近邻法的错误率分析302
A.3k近邻法305
参考文献306
附录B决策树307
B.1基本原理307
B.2信息增益和信息增益比309
B.3代表性算法311
参考文献313
附录C向量微积分314
C.1向量微分314
C.1.1常用定义314
C.1.2求导规则316
C.2向量积分319
参考文献322
附录D随机变量的变换323
D.1概率密度中的变量变换323
D.2期望中的变量变换326
参考文献327