精通机器学习算法

目录
前言
第1 章 机器学习模型基础 1
1.1 模型和数据 1
1.2 机器学习模型的特性 21
1.2.1 可学习性 21
1.2.2 模型能力 22
1.2.3 估计器的偏差 25
1.2.4 估计器的方差 28
1.3 本章小结 32
扩展阅读 32
第2 章 损失函数和正则化 33
2.1 损失函数和代价函数的定义 33
2.2 正则化 39
2.3 本章小结 46
扩展阅读 46
第3 章 半监督学习导论 47
3.1 半监督学习场景 47
3.1.1 因果场景 48
3.1.2 直推学习 49
3.1.3 归纳学习 50
3.1.4 半监督假设 50
3.2 生成式高斯混合 54
3.2.1 生成式高斯混合理论 54
3.2.2 生成式高斯混合模型实例 56
3.2.3 生成式高斯混合小结 62
3.3 自训练算法 64
3.3.1 自训练理论 64
3.3.2 鸢尾属植物数据集的自训练实例 66
3.3.3 自训练小结 69
3.4 协同训练算法 70
3.4.1 协同训练理论 70
3.4.2 葡萄酒数据集的协同训练实例 71
3.4.3 协同训练小结 76
3.5 本章小结 76
扩展阅读 · 76
第4 章 高级半监督分类 · 78
4.1 对比悲观似然估计 78
4.1.1 对比悲观似然估计理论 79
4.1.2 对比悲观似然估计实例 80
4.1.3 对比悲观似然估计小结 84
4.2 半监督支持向量机（S3VM） · 84
4.2.1 S3VM 理论 84
4.2.2 S3VM 实例 87
4.2.3 S3VM 小结 93
4.3 直推支持向量机（TSVM） · 93
4.3.1 TSVM 理论 94
4.3.2 TSVM 实例 94
4.3.3 TSVM 小结 ·102
4.4 本章小结 103
扩展阅读 103
第5 章 基于图的半监督学习 105
5.1 标签传播算法 105
5.1.1 标签传播算法实例 ·108
5.1.2 scikit-learn 的标签传播算法 112
5.2 标签扩散算法 114
5.2.1 标签扩散算法实例 · 116
5.2.2 拉普拉斯矩阵正则化提升平滑度 · 117
5.3 基于马尔可夫随机游走的标签传播算法 121
5.4 流形学习 126
5.4.1 等距特征映射流形学习算法 ·126
5.4.2 局部线性嵌入算法 · 129
5.4.3 拉普拉斯谱嵌入算法 · 131
5.4.4 t-SNE 133
5.5 本章小结 137
扩展阅读 137
第6 章 聚类和无监督学习模型 139
6.1 k 近邻（KNN）算法 139
6.1.1 k ? d 树 143
6.1.2 球树 · 143
6.1.3 KNN 模型的拟合 144
6.1.4 scikit-learn 的KNN 实例 145
6.2 k 均值 147
6.2.1 k 均值 方法 · 150
6.2.2 scikit-learn 的k 均值算法实例 151
6.3 评估指标 154
6.3.1 一致性评分 · 155
6.3.2 完整性评分 · 155
6.3.3 调整兰德指数（相似性） · 156
6.3.4 轮廓系数 · 157
6.4 本章小结 160
扩展阅读 161
第7 章 高级聚类和无监督学习模型 162
7.1 模糊c 均值 162
7.2 谱聚类 168
7.3 DBSCAN 174
7.3.1 scikit-learn 的DBSCAN 实例 177
7.3.2 DBSCAN 结果的分析 180
7.4 本章小结 183
扩展阅读 184
第8 章 面向营销的聚类和无监督学习模型 185
8.1 双聚类 185
8.2 利用Apriori 算法的购物篮分析 190
8.3 本章小结 195
扩展阅读 195
第9 章 广义线性模型和回归 197
9.1 广义线性模型 197
9.1.1 小二乘估计 ·198
9.1.2 小二乘估计的偏差和方差 ·201
9.1.3 Python 实现的线性回归实例 ·201
9.1.4 利用Statsmodels 计算线性回归的置信区间 ·204
9.1.5 利用胡贝尔损失（Huber loss）提高应对异值点的鲁棒性 ·207
9.2 其他回归方法 209
9.2.1 岭回归 ·210
9.2.2 采用Lasso 回归和逻辑回归的风险建模 214
9.2.3 多项式回归 ·219
9.2.4 保序回归 ·226
9.3 本章小结 228
扩展阅读 229
第10 章 时序分析导论 · 230
10.1 时间序列 · 230
10.2 时序的线性模型 · 233
10.2.1 自相关 234
10.2.2 AR、MA 和ARMA 过程 ·236
10.3 本章小结 · 242
扩展阅读 243
第11 章 贝叶斯网络和隐马尔可夫模型 · 244
11.1 条件概率与贝叶斯定理 · 244
11.2 贝叶斯网络 · 248
11.2.1 从贝叶斯网络中采样 248
11.2.2 PyMC3 采样 257
11.2.3 PyStan 采样 264
11.3 隐马尔可夫模型 · 269
11.3.1 前向 ? 后向算法 270
11.3.2 维特比算法 276
11.4 本章小结 · 280
扩展阅读 281
第12 章 期望算法 · 282
12.1 MLE 和MAP 学习 282
12.2 期望算法 284
12.2.1 凸函数与詹森不等式 285
12.2.2 詹森不等式在期望算法中的应用 287
12.2.3 参数估计示例 288
12.3 高斯混合模型 291
12.3.1 利用scikit-learn 的高斯混合示例 293
12.3.2 利用AIC 和BIC 确定的高斯分布数量 · 296
12.3.3 利用贝叶斯高斯混合的自动分布选择 298
12.4 本章小结 300
扩展阅读 300
第13 章 成分分析和降维 · 301
13.1 因子分析 301
13.1.1 线性关系分析 302
13.1.2 利用scikit-learn 的因子分析示例 304
13.2 主成分分析 308
13.2.1 成分重要性评价 309
13.2.2 利用scikit-learn 的PCA 示例 · 312
13.2.3 核PCA 313
13.2.4 稀疏PCA 316
13.3 独立成分分析 318
13.4 隐马尔可夫模型的补充知识 322
13.5 本章小结 322
扩展阅读 323
第14 章 赫布学习 · 324
14.1 赫布法则 324
14.1.1 协方差法则分析 329
14.1.2 权重向量稳定化与奥佳法则 332
14.2 桑格网络 333
14.3 鲁布纳 ? 塔万网络（Rubner-Tavan’s network） · 339
14.4 自组织映射 344
14.4.1 科霍宁映射 346
14.4.2 自组织映射示例 348
14.5 本章小结 · 352
扩展阅读 352
第15 章 集成学习基础 · 354
15.1 集成学习基础 · 354
15.2 随机森林 · 356
15.2.1 随机森林基础 356
15.2.2 使用决策树的原因 358
15.2.3 随机森林与偏差 ? 方差权衡 359
15.2.4 scikit learn 的随机森林示例 ·361
15.3 AdaBoost · 367
15.3.1 AdaBoost.SAMME 371
15.3.2 AdaBoost.SAMME.R 372
15.3.3 AdaBoost.R2 ·374
15.3.4 利用scikit learn 的AdaBoost 实例 377
15.4 本章小结 · 382
扩展阅读 382
第16 章 高级提升算法 · 383
16.1 梯度提升 · 383
16.1.1 梯度提升的损失函数 386
16.1.2 利用scikit-learn 的梯度树提升示例 387
16.1.3 利用XGBoost 的梯度提升示例 390
16.2 投票分类器集成 · 395
16.3 集成学习作为模型选择 · 399
16.4 本章小结 · 400
扩展阅读 401
第17 章 神经网络建模 · 402
17.1 基本的人工神经元 · 402
17.2 感知机 · 403
17.3 多层感知机 · 409
17.4 反向传播算法 · 413
17.4.1 随机梯度下降（SGD） 415
17.4.2 权重初始化 417
17.4.3 利用TensorFlow 和Keras 的多层感知机示例 419
17.5 本章小结 423
扩展阅读 423
第18 章 神经网络优化 · 425
18.1 优化算法 425
18.1.1 梯度摄动 427
18.1.2 动量（momentum）和涅斯捷罗夫动量（Nesterov momentum） 427
18.1.3 RMSProp 自适应算法 429
18.1.4 Adam 算法 430
18.1.5 AdaGrad 算法 431
18.1.6 AdaDelta 算法 432
18.2 正则化和暂弃 434
18.2.1 正则化 434
18.2.2 暂弃（dropout） 436
18.3 批量归一化 442
18.4 本章小结 446
扩展阅读 446
第19 章 深度卷积网络 · 448
19.1 深度卷积网络 448
19.2 卷积算子 449
19.2.1 二维离散卷积 451
19.2.2 空洞卷积 455
19.2.3 可分离卷积 456
19.2.4 转置卷积 457
19.3 池化层 457
19.4 TensorFlow 和Keras 的深度卷积网络算法示例 461
19.5 本章小结 471
扩展阅读 472
第20 章 循环神经网络 · 473
20.1 循环网络 473
20.1.1 时间反向传播 474
20.1.2 BPTT 的局限 475
20.2 长短期记忆 476
20.2.1 门控循环单元（GRU） 480
20.2.2 利用TensorFlow 和Keras 的LSTM 示例 482
20.3 迁移学习 · 487
20.4 本章小结 · 489
扩展阅读 489
第21 章 自编码器 · 491
21.1 自编码器 · 491
21.2 去噪自编码器 · 500
21.3 稀疏自编码器 · 502
21.4 变分自编码器 · 507
21.5 本章小结 · 514
扩展阅读 515
第22 章 生成对抗网络导论 · 516
22.1 对抗训练 · 516
22.2 深度卷积生成对抗网络 · 519
22.2.1 利用TensorFlow 的DCGAN 示例 519
22.2.2 模式崩溃 526
22.3 瓦萨斯坦恩生成对抗网络· 528
22.4 本章小结 · 535
扩展阅读 536
第23 章 深度置信网络 · 537
23.1 马尔可夫随机场简介 · 537
23.2 受限玻尔兹曼机 · 539
23.3 深度置信网络 · 542
23.3.1 Python 实现的无监督深度置信网络示例 544
23.3.2 Python 实现的监督DBN 示例 ·546
23.4 本章小结 · 549
扩展阅读 550
第24 章 强化学习导论 · 551
24.1 强化学习的基本概念 · 551
24.1.1 马尔可夫决策过程 552
24.1.2 环境 553
24.1.3 策略 556
24.2 策略迭代 557
24.3 值迭代 565
24.4 TD(0)算法 571
24.5 本章小结 579
扩展阅读 580
第25 章 高级策略估计算法 · 581
25.1 TD(λ)算法 581
25.1.1 更复杂棋盘环境的TD(λ)应用 585
25.1.2 棋盘格环境中的玩家 ? 评委TD(0)示例 · 593
25.2 SARSA 算法 599
25.3 Q 学习 605
25.3.1 棋盘环境中的Q 学习示例 606
25.3.2 用神经网络建立策略模型的Q 学习示例 609
25.4 基于策略梯度的直接策略搜索 620
25.5 本章小结 627
扩展阅读 627
后记 629