走进人工智能：机器学习原理解析与应用

第一部分 概 述

第1 章 人工智能基础  2

1. 1 人工智能  2

1. 1. 1 人工智能的由来  2

1. 1. 2 人工智能学科  3

1. 2 机器学习  6

1. 2. 1 机器学习简介  6

1. 2. 2 机器学习的类别  7

1. 2. 3 机器学习的应用  9

本章小结  10

第2 章 Python 环境搭建11

2. 1 软件的下载与安装  11

2. 1. 1 平台一：海龟编辑器  11

2. 1. 2 平台二： PyCharm  13

2. 2 必需库功能简介  20

2. 2. 1 numpy——基础科学计算库  20

2. 2. 2 SciPy——科学计算工具集  22

2. 2. 3 Pandas——数据分析利器  23

2. 2. 4 matplotlib——图形绘制法宝  26

IV 走进人工智能——机器学习原理解析与应用

2. 2. 5 Sklearn——机器学习神器  28

本章小结  30

第二部分 分 类

第3 章 K 近邻算法 33

3. 1 K 近邻算法的原理  33

3. 2 K 近邻算法的应用  37

3. 2. 1 K 近邻算法的常用参数  37

3. 2. 2 应用案例一：小说分类  37

3. 2. 3 应用案例二：糖尿病诊断  39

3. 3 K 近邻算法的特点  40

本章小结  41

第4 章 决策树  42

4. 1 决策树的原理  42

4. 1. 1 决策树的分类过程  42

4. 1. 2 决策树的具体组成  43

4. 1. 3 构建决策树的相关概念  44

4. 2 决策树的构建  47

4. 2. 1 建树  47

4. 2. 2 剪枝  49

4. 3 决策树的应用  50

4. 3. 1 环境补充搭建  50

4. 3. 2 决策树的常用参数  50

4. 3. 3 应用案例：影院会员观影喜好分析  51

4. 4 决策树的特点  53

本章小结  53

第5 章 随机森林  54

5. 1 随机森林的原理  54

5. 1. 1 集成学习  54

5. 1. 2 随机森林的分类过程  55

目录V

5. 2 随机森林的构建  57

5. 2. 1 训练样本随机采样  58

5. 2. 2 样本特征随机选择  59

5. 3 随机森林的应用  59

5. 3. 1 环境补充搭建  59

5. 3. 2 RandomForestClassifier 类  60

5. 3. 3 应用案例一：红酒分类——决策树与随机森林分类器效果对比  60

5. 3. 4 应用案例二：影院会员观影喜好分析  61

5. 4 随机森林的特点  67

本章小结  68

第6 章 支持向量机  69

6. 1 支持向量机的逻辑原理  69

6. 2 支持向量机的数学原理解析  71

6. 2. 1 线性可分的情况  71

6. 2. 2 近似线性可分的情况  73

6. 2. 3 线性不可分的情况  74

6. 3 支持向量机中的核函数  76

6. 3. 1 支持向量机中常用核函数介绍  77

6. 3. 2 支持向量机中核函数的应用  78

6. 4 支持向量机的应用  80

6. 4. 1 SVM 类的常用参数  80

6. 4. 2 应用案例：情绪分类  80

本章小结  84

第7 章 贝叶斯算法  85

7. 1 贝叶斯算法的原理  85

7. 1. 1 贝叶斯公式  85

7. 1. 2 贝叶斯算法的原理（以朴素贝叶斯算法为例）  89

7. 1. 3 贝叶斯算法的类别  90

7. 2 贝叶斯算法的应用  91

7. 2. 1 调用方法  91

7. 2. 2 应用案例：识别毒蘑菇  91

VI 走进人工智能——机器学习原理解析与应用

7. 3 贝叶斯算法的特点  93

本章小结  94

第三部分 回 归

第8 章 线性回归  97

8. 1 一元线性回归的原理  98

8. 2 一元线性回归的应用  100

8. 2. 1 LinearRegression 类的常用参数  100

8. 2. 2 应用案例：房屋翻修成本预测  101

8. 3 多元线性回归的原理  103

8. 4 多元线性回归的应用  105

8. 5 线性回归算法的特点  107

本章小结  108

第9 章 多项式回归  109

9. 1 一元多项式回归的原理  110

9. 2 一元多项式回归的应用  114

9. 2. 1 PolynomialFeatures 类的常用参数  114

9. 2. 2 应用案例：红酒价值预测  114

9. 3 多元多项式回归的原理  117

9. 4 多元多项式回归的应用  119

9. 5 多项式回归的特点  120

本章小结  120

第10 章 LASSO 回归与岭回归  122

10. 1 L1 范数正则化——LASSO 回归  123

10. 1. 1 LASSO 回归中的alpha 参数调节  125

10. 1. 2 LASSO 类的常用参数  125

10. 1. 3 应用案例：对糖尿病数据集进行拟合  126

10. 2 L2 范数正则化——岭回归  130

10. 2. 1 岭回归中的alpha 参数调节  131

10. 2. 2 Ridge 类的常用参数  132

目录VII

10. 2. 3 应用案例：对糖尿病数据集进行拟合  132

10. 3 LASSO 回归与岭回归的异同  137

10. 3. 1 LASSO 回归与岭回归的共同点  137

10. 3. 2 LASSO 回归与岭回归的区别  137

本章小结  137

第11 章 逻辑回归 138

11. 1 逻辑回归的原理  139

11. 2 逻辑回归的应用  143

11. 2. 1 逻辑回归算法的常用参数  143

11. 2. 2 应用案例：鸢尾花分类  144

11. 3 逻辑回归实现多分类的原理  145

11. 3. 1 OVR/A（One Vs Rest/All）  146

11. 3. 2 OVO（One Vs One）  147

11. 4 多分类逻辑回归的应用  148

11. 5 逻辑回归的特点  150

本章小结  150

第12 章 模型评估与优化 152

12. 1 交叉验证  152

12. 1. 1 K 折交叉验证的原理  154

12. 1. 2 交叉验证法的具体应用  155

12. 1. 3 留一交叉验证法  157

12. 2 分类模型的可信度评估  158

12. 2. 1 混淆矩阵  159

12. 2. 2 分类系统的评价指标  160

12. 2. 3 应用案例：识别乳腺癌  162

12. 3 回归模型的可信度评估  163

12. 3. 1 平均绝对误差  164

12. 3. 2 均方误差  164

12. 3. 3 均方根误差  165

12. 3. 4 R2  166

12. 3. 5 应用案例：波士顿房价预测  166

12. 4 超参数调优  168

VIII 走进人工智能——机器学习原理解析与应用

12. 4. 1 简单网格搜索来寻找超参数  168

12. 4. 2 与交叉验证结合的网格搜索  170

本章小结  172

第四部分 聚 类

第13 章 物以类聚：K 均值聚类  175

13. 1 K 均值算法的原理  175

13. 1. 1 K 均值算法的基本思想  176

13. 1. 2 算法基本过程  177

13. 2 K 均值算法的应用  178

13. 2. 1 KMeans 类的常用参数  178

13. 2. 2 应用案例一：鸢尾花的聚类  179

13. 2. 3 应用案例二：甜西瓜的由来（一）  181

13. 3 K 均值算法的特点  184

本章小结  184

第14 章 DBSCAN 聚类 185

14. 1 DBSCAN 算法的原理  186

14. 1. 1 DBSCAN 算法的核心概念  186

14. 1. 2 DBSCAN 算法的基本过程  187

14. 2 DBSCAN 算法的应用  189

14. 2. 1 DBSCAN 类的常用参数  189

14. 2. 2 应用案例一：小涛的问题  190

14. 2. 3 应用案例二：甜西瓜的由来（二）  191

14. 3 DBSCAN 算法的特点  193

本章小结  193

第五部分 关 联 分 析

第15 章 Apriori 算法 196

15. 1 Apriori 算法的原理  196

15. 1. 1 关联分析中的相关概念  196

目录IX

15. 1. 2 Apriori 算法的原理  197

15. 2 Apriori 算法的应用  201

15. 2. 1 Apriori 类的常用参数  201

15. 2. 2 应用案例一：货架调整  201

15. 2. 3 应用案例二：餐厅菜品  203

15. 3 Apriori 算法的特点  206

本章小结  206

第六部分 数据预处理

第16 章 数据归一与标准化 209

16. 1 数据归一化与标准化的必要性  209

16. 2 数据归一化  210

16. 2. 1 离差法过程  210

16. 2. 2 均值归一化过程  211

16. 2. 3 数据归一化的应用  211

16. 3 数据标准化  213

16. 3. 1 数据标准化过程  214

16. 3. 2 数据标准化的应用  214

16. 4 数据预处理实例  216

本章小结  219

第17 章 神奇的工具PCA 220

17. 1 PCA 算法的基本原理  221

17. 1. 1 PCA 的简单理解  221

17. 1. 2 向量投影与内积  222

17. 1. 3 PCA——选择最优的基  224

17. 1. 4 PCA 的基本过程  227

17. 2 PCA 算法的应用  229

17. 2. 1 PCA 类的常用参数  229

17. 2. 2 应用案例一：对鸢尾花进行PCA 降维  229

17. 3 PCA 算法的特点  231

本章小结  231

X 走进人工智能——机器学习原理解析与应用

第七部分 人工神经网络

第18 章 自主学习—— MLP 算法  234

18. 1 人工神经网络的发展简史  234

18. 2 单层感知机  236

18. 3 多层感知机  240

18. 3. 1 MLP 的基本原理  240

18. 3. 2 MLP 前向传播  242

18. 3. 3 MLP 后向传播  245

18. 3. 4 梯度下降  248

18. 4 MLP 算法的应用  253

18. 4. 1 MLPClassifier 类的常用参数  253

18. 4. 2 应用案例一：一起去游乐场  254

18. 4. 3 应用案例二：图片文字识别  256

18. 5 MLP 算法的特点  259

本章小结  259