机器学习基础：从入门到求职

第1章 机器学习概述 1
1．1 机器学习介绍 1
1．1．1 机器学习的特点 1
1．1．2 机器学习的对象 2
1．1．3 机器学习的应用 4
1．2 机器学习分类 5
1．2．1 按任务类型分类 5
1．2．2 按学习方式分类 7
1．2．3 生成模型与判别模型 9
1．3 机器学习方法三要素 11
1．3．1 模型 11
1．3．2 策略 13
1．3．3 算法 14
1．3．4 小结 23
第2章 机器学习工程实践 24
2．1 模型评估指标 24
2．1．1 回归模型的评估指标 24
2．1．2 分类模型的评估指标 25
2．1．3 聚类模型的评估指标 33
2．1．4 常用距离公式 37
2．2 模型复杂度度量 40
2．2．1 偏差与方差 40
2．2．2 过拟合与正则化 42
2．3 特征工程与模型调优 47
2．3．1 数据挖掘项目流程 47
2．3．2 特征工程 50
2．3．3 模型选择与模型调优 57
第3章 线性回归 63
3．1 问题引入 63
3．2 线性回归模型 64
3．2．1 模型建立 64
3．2．2 策略确定 65
3．2．3 算法求解 66
3．2．4 线性回归模型流程 67
3．3 线性回归的scikit-learn实现 67
3．3．1 普通线性回归 68
3．3．2 Lasso回归 69
3．3．3 岭回归 70
3．3．4 ElasticNet回归 71
3．4 线性回归实例 73
3．5 小结 75
第4章 朴素贝叶斯 77
4．1 概述 77
4．2 相关原理 77
4．2．1 朴素贝叶斯基本原理 77
4．2．2 原理的进一步阐述 79
4．2．3 后验概率最大化的含义 82
4．2．4 拉普拉斯平滑 83
4．3 朴素贝叶斯的三种形式及scikit-learn实现 84
4．3．1 高斯型 84
4．3．2 多项式型 85
4．3．3 伯努利型 86
4．4 中文文本分类项目 87
4．4．1 项目简介 87
4．4．2 项目过程 87
4．4．3 完整程序实现 94
4．5 小结 100
第5章 K近邻 102
5．1 概述 102
5．2 K近邻分类原理 102
5．2．1 K值的选择 103
5．2．2 距离度量 103
5．2．3 分类决策规则 104
5．2．4 K近邻分类算法过程 105
5．3 K近邻回归原理 106
5．3．1 回归决策规则 106
5．3．2 K近邻回归算法过程 106
5．4 搜索优化――KD树 107
5．4．1 构造KD树 107
5．4．2 搜索KD树 108
5．5 K近邻的scikit-learn实现 110
5．5．1 K近邻分类 110
5．5．2 K近邻回归 112
5．6 K近邻应用实例 112
5．7 小结 115
第6章 决策树 117
6．1 概述 117
6．2 特征选择 119
6．2．1 信息增益 119
6．2．2 信息增益比 122
6．2．3 基尼指数 123
6．3 决策树生成 124
6．3．1 ID3决策树 124
6．3．2 C4．5决策树 125
6．3．3 CART决策树 126
6．4 决策树剪枝 131
6．5 决策树的scikit-learn实现 133
6．6 决策树应用于文本分类 135
6．7 小结 138
第7章 Logistic回归 140
7．1 Logistic回归概述 140
7．2 Logistic回归原理 140
7．2．1 Logistic回归模型 140
7．2．2 Logistic回归学习策略 141
7．2．3 Logistic回归优化算法 142
7．3 多项Logistic回归 144
7．4 Logistic回归的scikit-learn实现 144
7．5 Logistic回归实例 146
7．6 小结 153
第8章 支持向量机 155
8．1 感知机 155
8．1．1 感知机模型 155
8．1．2 感知机学习策略 157
8．1．3 感知机优化算法 159
8．1．4 感知机模型整体流程 159
8．1．5 小结 160
8．2 硬间隔支持向量机 160
8．2．1 引入 160
8．2．2 推导 161
8．3 软间隔支持向量机 169
8．4 合页损失函数 176
8．5 非线性支持向量机 177
8．6 SVM的scikit-learn实现 180
8．6．1 线性SVM 180
8．6．2 非线性SVM 181
8．7 SVM实例 182
8．8 小结 184
第9章 随机森林 186
9．1 Bagging 186
9．2 随机森林概念 188
9．3 RF的推广――extra trees 188
9．4 RF的scikit-learn实现 189
9．5 RF的scikit-learn使用实例 192
9．5．1 程序 193
9．5．2 结果及分析 195
9．5．3 扩展 198
9．6 小结 200
第10章 AdaBoost 202
10．1 AdaBoost的结构 202
10．1．1 AdaBoost的工作过程 203
10．1．2 AdaBoost多分类问题 204
10．1．3 AdaBoost回归问题 208
10．2 AdaBoost的原理 210
10．3 AdaBoost的scikit-learn实现 212
10．4 AdaBoost应用实例 214
10．5 AdaBoost模型的优缺点 217
第11章 提升树 218
11．1 提升树的定义 218
11．2 梯度提升树 223
11．2．1 梯度提升树的原理推导 224
11．2．2 GBDT和GBRT模型的处理过程 226
11．2．3 梯度提升模型的scikit-learn实现 227
11．2．4 梯度提升模型的scikit-learn使用实例 230
11．2．5 GBDT模型的优缺点 236
11．3 XGBoost 236
11．3．1 XGBoost的原理 236
11．3．2 XGBoost调参 239
11．3．3 XGBoost与GBDT的比较 241
第12章 聚类 243
12．1 聚类问题介绍 243
12．2 K-Means聚类 244
12．2．1 K-Means聚类过程和原理 244
12．2．2 K-Means算法优化 247
12．2．3 小结 248
12．2．4 K-Means应用实例 248
12．3 层次聚类 252
12．3．1 层次聚类的过程和原理 252
12．3．2 小结 254
12．3．3 层次聚类应用实例 254
12．4 密度聚类算法 256
12．4．1 密度聚类算法过程和原理 256
12．4．2 密度聚类小结 258
12．4．3 密度聚类应用实例 259
12．5 谱聚类 262
12．5．1 谱聚类的过程和原理 262
12．5．2 谱聚类小结 269
12．5．3 谱聚类应用实例 270
12．6 高斯混合模型 272
12．6．1 高斯混合聚类过程和原理 272
12．6．2 EM算法 274
12．6．3 小结 279
12．6．4 GMM应用实例 279
第13章 降维 282
13．1 奇异值分解 282
13．1．1 矩阵的特征分解 282
13．1．2 奇异值分解 283
13．2 主成分分析 286
13．2．1 PCA原理推导 287
13．2．2 核化PCA 293
13．2．3 PCA/KPCA的scikit-learn实现 293
13．3 线性判别分析 300
13．3．1 LDA原理推导 300
13．3．2 LDA与PCA的比较 305
13．3．3 LDA应用实例 306
13．4 局部线性嵌入 309
13．4．1 局部线性嵌入介绍 309
13．4．2 局部线性嵌入过程和原理 309
13．4．3 LLE应用实例 314
第14章 Word2Vec和Doc2Vec词向量模型 317
14．1 Word2Vec 317
14．1．1 Word2Vec概述 317
14．1．2 基于Hierarchical Softmax方法的CBOW模型 318
14．1．3 基于Hierarchical Softmax方法的Skip-Gram模型 322
14．1．4 基于Negative Sampling方法的CBOW模型 323
14．1．5 基于Negative Sampling方法的Skip-Gram模型 326
14．1．6 Word2Vec应用实例 327
14．2 Doc2Vec模型 329
14．2．1 Doc2Vec模型原理 329
14．2．2 Doc2Vec应用实例 331
第15章 深度神经网络 335
15．1 深度学习 335
15．1．1 概述 335
15．1．2 深度学习发展历史 336
15．2 神经网络原理 341
15．2．1 前向传播 341
15．2．2 反向传播 343
15．2．3 实例 347
15．2．4 几种常用激活函数 354
15．2．5 梯度消失与梯度爆炸 357
15．2．6 几种常用的优化算法 358
15．3 神经网络应用实例 363
15．4 小结 366