机器学习 公式推导与代码实现

序
前言
第 1章 机器学习预备知识 2
1．1 引言 2
1．2 关键术语与任务类型 2
1．3 机器学习三要素 3
1．4 机器学习核心 4
1．5 机器学习流程 5
1．6 NumPy必学必会 7
1．6．1 创建数组 7
1．6．2 数组的索引与切片 9
1．6．3 数组的基础运算 10
1．6．4 数组维度变换 11
1．6．5 数组合并与切分 12
1．7 sklearn简介 13
1．8章节安排 14
1．9 小结 16
第 2章 线性回归 18
2．1 杭州的二手房房价 18
2．2 线性回归的原理推导 19
2．3 线性回归的代码实现 22
2．3．1 编写思路 22
2．3．2 基于NumPy的代码实现 23
2．3．3 基于sklearn的模型实现 28
2．4 小结 29
第3章 逻辑回归 30
3．1 App开屏广告 30
3．2 逻辑回归的原理推导 31
3．3 逻辑回归的代码实现 33
3．3．1 编写思路 33
3．3．2 基于NumPy的逻辑回归实现 34
3．3．3 基于sklearn的逻辑回归实现 41
3．4 小结 41
第4章 回归模型拓展 42
4．1 回到杭州二手房房价 42
4．2 LASSO回归的原理推导 42
4．3 LASSO回归的代码实现 44
4．3．1 编写思路 44
4．3．2 基于NumPy的LASSO回归实现 45
4．3．3 基于sklearn的LASSO回归实现 49
4．4 Ridge回归的原理推导 49
4．5 Ridge回归的代码实现 50
4．6 小结 54
第5章 线性判别分析 55
5．1 LDA基本思想 55
5．2 LDA数学推导 56
5．3 LDA算法实现 57
5．3．1 基于NumPy的LDA算法实现 57
5．3．2 基于sklearn的LDA算法实现 60
5．4 小结 61
第6章 k近邻算法 62
6．1 “猜你喜欢”的推荐逻辑 62
6．2 距离度量方式 63
6．3 k 近邻算法的基本原理 64
6．4 k 近邻算法的代码实现 64
6．4．1 编写思路 64
6．4．2 基于NumPy的k近邻算法实现 65
6．4．3 基于sklearn的k近邻算法实现 71
6．5 小结 71
第7章 决策树 72
7．1 “今天是否要打高尔夫” 72
7．2 决策树 73
7．3 特征选择：从信息增益到基尼指数 75
7．3．1 什么是特征选择 75
7．3．2 信息增益 75
7．3．3 信息增益比 78
7．3．4 基尼指数 79
7．4 决策树模型：从ID3到CART 81
7．4．1 ID3 81
7．4．2 C4．5 85
7．4．3 CART分类树 86
7．4．4 CART回归树 86
7．4．5 CART算法实现 88
7．5 决策树剪枝 95
7．6 小结 96
第8章 神经网络 97
8．1 无处不在的图像识别 97
8．2 从感知机说起 98
8．2．1 感知机推导 98
8．2．2 基于NumPy的感知机实现 100
8．3 从单层到多层 103
8．3．1 神经网络与反向传播 103
8．3．2 基于NumPy的神经网络搭建 105
8．4 神经网络的广阔天地 114
8．5 小结 114
第9章 支持向量机 115
9．1 重新从感知机出发 115
9．2 线性可分支持向量机 116
9．2．1 线性可分支持向量机的原理推导 116
9．2．2 线性可分支持向量机的算法实现 120
9．3 近似线性可分支持向量机 125
9．3．1 近似线性可分支持向量机的原理推导 125
9．3．2 近似线性可分支持向量机的算法实现 128
9．4 线性不可分支持向量机 132
9．4．1 线性不可分与核技巧 132
9．4．2 SMO算法 135
9．4．3 线性不可分支持向量机的算法实现 137
9．5 小结 142
第 10章 AdaBoost 144
10．1 什么是Boosting 144
10．2 AdaBoost算法的原理推导 144
10．2．1 AdaBoost基本原理 144
10．2．2 AdaBoost与前向分步算法 146
10．3 AdaBoost算法实现 147
10．3．1 基于NumPy的AdaBoost算法实现 147
10．3．2 基于sklearn的AdaBoost算法实现 153
10．4 小结 153
第 11章 GBDT 154
11．1 从提升树到梯度提升树 154
11．2 GBDT算法的原理推导 154
11．3 GBDT算法实现 157
11．3．1 从零开始实现一个GBDT算法系统 157
11．3．2 基于sklearn的GBDT实现 161
11．4 小结 162
第 12章 XGBoost 163
12．1 XGBoost：极度梯度提升树 163
12．2 XGBoost算法的原理推导 164
12．3 XGBoost算法实现 168
12．3．1 XGBoost实现：基于GBDT的改进 168
12．3．2 原生库XGBoost示例 172
12．4 小结 174
第 13章 LightGBM 175
13．1 XGBoost可优化的地方 175
13．2 LightGBM基本原理 175
13．2．1 直方图算法 175
13．2．2 单边梯度抽样 176
13．2．3 互斥特征捆绑算法 177
13．2．4 leaf-wise生长策略 178
13．3 LightGBM算法实现 179
13．4 小结 181
第 14章 CatBoost 182
14．1 机器学习中类别特征的处理方法 182
14．2 CatBoost理论基础 183
14．2．1 目标变量统计 183
14．2．2 特征组合 184
14．2．3 排序提升算法 184
14．3 CatBoost算法实现 186
14．4 小结 188
第 15章 随机森林 189
15．1 Bagging：另一种集成学习框架 189
15．2 随机森林的基本原理 190
15．3 随机森林的算法实现 191
15．3．1 基于NumPy的随机森林算法实现 191
15．3．2 基于sklearn的随机森林算法实现 195
15．4 小结 196
第 16章 集成学习：对比与调参 197
16．1 三大Boosting算法对比 197
16．2 常用的超参数调优方法 201
16．2．1 网格搜索法 201
16．2．2 随机搜索 202
16．2．3 贝叶斯调参 203
16．3 小结 205
第 17章 聚类分析与k均值聚类算法 208
17．1 距离度量和相似度度量方式 208
17．2 聚类算法一览 209
17．3 k均值聚类算法的原理推导 211
17．4 k均值聚类算法实现 212
17．4．1 基于NumPy的k均值聚类算法实现 212
17．4．2 基于sklearn的k均值聚类算法实现 217
17．5 小结 217
第 18章 主成分分析 218
18．1 PCA算法的原理推导 218
18．2 PCA算法实现 220
18．2．1 基于NumPy的PCA算法实现 220
18．2．2 基于sklearn的PCA算法实现 222
18．3 小结 223
第 19章 奇异值分解 224
19．1 特征向量与矩阵分解 224
19．2 SVD算法的原理推导 225
19．3 SVD算法实现与应用 226
19．3．1 SVD算法实现 226
19．3．2 基于SVD的图像去噪 227
19．4 小结 231
第 20章 最大信息熵模型 234
20．1 最大信息熵原理 234
20．2 最大信息熵模型的推导 234
20．3 小结 237
第 21章 贝叶斯概率模型 238
21．1 贝叶斯定理简介 238
21．2 朴素贝叶斯 239
21．2．1 朴素贝叶斯的原理推导 239
21．2．2 基于NumPy的朴素贝叶斯实现 240
21．2．3 基于sklearn的朴素贝叶斯实现 243
21．3 贝叶斯网络 244
21．3．1 贝叶斯网络的原理推导 244
21．3．2 借助于pgmpy的贝叶斯网络实现 246
21．4 小结 249
第 22章 EM算法 250
22．1 极大似然估计 250
22．2 EM算法的原理推导 251
22．3 EM算法实现 253
22．4 小结 255
第 23章 隐马尔可夫模型 256
23．1 什么是概率图模型 256
23．2 HMM的定义与相关概念 257
23．3 HMM的三个经典问题 262
23．3．1 概率计算问题与前向 后向算法 262
23．3．2 参数估计问题与Baum-Welch算法 266
23．3．3 序列标注问题与维特比算法 269
23．4 小结 271
第 24章 条件随机场 272
24．1 从生活画像到词性标注问题 272
24．2 概率无向图 273
24．3 CRF的定义与形式 275
24．4 CRF的三大问题 277
24．4．1 CRF的概率计算问题 277
24．4．2 CRF的参数估计问题 278
24．4．3 CRF的序列标注问题 279
24．4．4 基于sklearn_crfsuite的CRF代码实现 281
24．5 小结 281
第 25章 马尔可夫链蒙特卡洛方法 283
25．1 前置知识与相关概念 283
25．1．1 马尔可夫链 283
25．1．2 蒙特卡洛算法 285
25．2 MCMC的原理推导 287
25．2．1 MCMC采样 287
25．2．2 Metropolis-Hasting采样算法 289
25．2．3 Gibbs采样算法 291
25．3 MCMC与贝叶斯推断 296
25．4 小结 296
第 26章 机器学习模型总结 298
26．1 机器学习模型的归纳与分类 298
26．1．1 单模型与集成模型 300
26．1．2 监督模型与无监督模型 301
26．1．3 生成式模型与判别式模型 301
26．1．4 概率模型与非概率模型 302
26．2 本书的不足和未来展望 303
参考文献 305