Python机器学习（原书第2版）

译者序

关于作者

关于审校人员

前言

第1章　赋予计算机从数据中学习的能力 1

1.1　构建把数据转换为知识的智能机器 1

1.2　三种不同类型的机器学习 1

1.2.1　用有监督学习预测未来 2

1.2.2　用强化学习解决交互问题 3

1.2.3　用无监督学习发现隐藏结构 4

1.3　基本术语与符号 4

1.4　构建机器学习系统的路线图 6

1.4.1　预处理—整理数据 6

1.4.2　训练和选择预测模型 7

1.4.3　评估模型和预测新样本数据 7

1.5　用Python进行机器学习 7

1.5.1　从Python包索引安装Python和其他包 8

1.5.2　采用Anaconda Python和软件包管理器 8

1.5.3　科学计算、数据科学和机器学习软件包 8

1.6　小结 9

第2章　训练简单的机器学习分类算法 10

2.1　人工神经元—机器学习早期历史一瞥 10

2.1.1　人工神经元的正式定义 11

2.1.2　感知器学习规则 12

2.2　在Python中实现感知器学习算法 14

2.2.1　面向对象的感知器API 14

2.2.2　在鸢尾花数据集上训练感知器模型 16

2.3　自适应神经元和学习收敛 20

2.3.1　梯度下降为最小代价函数 21

2.3.2　用Python实现Adaline 22

2.3.3　通过调整特征大小改善梯度下降 25

2.3.4　大规模机器学习与随机梯度下降 27

2.4　小结 30

第3章　scikit-learn机器学习分类器一览 32

3.1　选择分类算法 32

3.2　了解scikit-learn软件库的第一步—训练感知器 32

3.3　基于逻辑回归的分类概率建模 37

3.3.1　逻辑回归的直觉与条件概率 37

3.3.2　学习逻辑代价函数的权重 39

3.3.3　把转换的Adaline用于逻辑回归算法 41

3.3.4　用scikit-learn训练逻辑回归模型 44

3.3.5　通过正则化解决过拟合问题 45

3.4　支持向量机的最大余量分类 47

3.4.1　最大边际的直觉 48

3.4.2　用松弛变量处理非线性可分 48

3.4.3　其他的scikit-learn 实现 50

3.5　用核支持向量机求解非线性问题 50

3.5.1　处理线性不可分数据的核方法 50

3.5.2　利用核技巧，发现高维空间的分离超平面 52

3.6　决策树学习 55

3.6.1　最大限度地获取信息—获得最大收益 55

3.6.2　构建决策树 58

3.6.3　通过随机森林组合多个决策树 61

3.7　K-近邻—一种懒惰的学习算法 63

3.8　小结 65

第4章　构建良好的训练集——预处理 66

4.1　处理缺失数据 66

4.1.1　识别数据中的缺失数值 66

4.1.2　删除缺失的数据 67

4.1.3　填补缺失的数据 68

4.1.4　了解scikit-learn评估器API 68

4.2　处理分类数据 69

4.2.1　名词特征和序数特征 69

4.2.2　映射序数特征 70

4.2.3　分类标签编码 70

4.2.4　为名词特征做热编码 71

4.3　分裂数据集为独立的训练集和测试集 73

4.4　把特征保持在同一尺度上 75

4.5　选择有意义的特征 76

4.5.1　L1和L2正则化对模型复杂度的惩罚 76

4.5.2　L2正则化的几何解释 77

4.5.3　L1正则化的稀疏解决方案 78

4.5.4　为序数特征选择算法 80

4.6　用随机森林评估特征的重要性 84

4.7　小结 87

第5章　通过降维压缩数据 88

5.1　用主成分分析实现无监督降维 88

5.1.1　主成分分析的主要步骤 88

5.1.2　逐步提取主成分 89

5.1.3　总方差和解释方差 91

5.1.4　特征变换 92

5.1.5　scikit-learn的主成分分析 93

5.2　基于线性判别分析的有监督数据压缩 96

5.2.1　主成分分析与线性判别分析 96

5.2.2　线性判别分析的内部逻辑 97

5.2.3　计算散布矩阵 97

5.2.4　在新的特征子空间选择线性判别式 99

5.2.5　将样本投影到新的特征空间 101

5.2.6　用scikit-learn实现的LDA 101

5.3　非线性映射的核主成分分析 102

5.3.1　核函数与核技巧 103

5.3.2　用Python实现核主成分分析 106

5.3.3　投影新的数据点 111

5.3.4　scikit-learn的核主成分分析 113

5.4　小结 114

第6章　模型评估和超参数调优的最佳实践 115

6.1　用管道方法简化工作流 115

6.1.1　加载威斯康星乳腺癌数据集 115

6.1.2　集成管道中的转换器和评估器 116

6.2　使用k折交叉验证评估模型的性能 118

6.2.1　抵抗方法 118

6.2.2　k折交叉验证 119

6.3　用学习和验证曲线调试算法 122

6.3.1　用学习曲线诊断偏差和方差问题 122

6.3.2　用验证曲线解决过拟合和欠拟合问题 124

6.4　通过网格搜索为机器学习模型调优 126

６.4.1　通过网格搜索为超参数调优 126

6.4.2　以嵌套式交叉验证来选择算法 127

6.5　比较不同的性能评估指标 128

6.5.1　含混矩阵分析 128

6.5.2　优化分类模型的准确度和召回率 129

6.5.3　绘制受试者操作特性图 130

6.5.4　多元分类评分指标 133

6.6　处理类的不平衡问题 133

6.7　小结 135

第7章　综合不同模型的组合学习 136

7.1　集成学习 136

7.2　采用多数票机制的集成分类器 139

7.2.1　实现基于多数票的简单分类器 139

7.2.2　用多数票原则进行预测 143

7.2.3　评估和优化集成分类器 145

7.3　套袋—基于导引样本构建分类器集成 149

7.3.1　套袋简介 150

7.3.2　应用套袋技术对葡萄酒数据集中的样本分类 151

7.4　通过自适应增强来利用弱学习者 153

7.4.1　增强是如何实现的 154

7.4.2　用scikit-learn实现AdaBoost 156

7.5　小结 158

第8章　应用机器学习于情感分析 159

8.1　为文本处理预备好IMDb电影评论数据 159

8.1.1　获取电影评论数据集 159

8.1.2　把电影评论数据预处理成更方便格式的数据 160

8.2　词袋模型介绍 161

8.2.1　把词转换成特征向量 161

8.2.2　通过词频逆反文档频率评估单词相关性 162

8.2.3　清洗文本数据 164

8.2.4　把文档处理为令牌 165

8.3　训练文档分类的逻辑回归模型 166

8.4　处理更大的数据集—在线算法和核心学习 168

8.5　具有潜在狄氏分配的主题建模 171

8.5.1　使用LDA分解文本文档 171

8.5.2　LDA与scikit-learn 172

8.6　小结 174

第9章　将机器学习模型嵌入网络应用 175

9.1　序列化拟合scikit-learn评估器 175

9.2　搭建SQLite数据库存储数据 177

9.3　用Flask开发网络应用 179

9.3.1　第一个Flask网络应用 179

9.3.2　表单验证与渲染 181

9.4　将电影评论分类器转换为网络应用 184

9.4.1　文件与文件夹—研究目录树 185

9.4.2　实现主应用app.py 186

9.4.3　建立评论表单 188

9.4.4　创建一个结果页面的模板 189

9.5　在面向公众的服务器上部署网络应用 190

9.5.1　创建PythonAnywhere账户 190

9.5.2　上传电影分类应用 191

9.5.3　更新电影分类器 191

9.6　小结 193

第10章　用回归分析预测连续目标变量 194

10.1　线性回归简介 194

10.1.1　简单线性回归 194

10.1.2　多元线性回归 195

10.2　探索住房数据集 196

10.2.1　加载住房数据 196

10.2.2　可视化数据集的重要特点 197

10.2.3　用关联矩阵查看关系 198

10.3　普通最小二乘线性回归模型的实现 200

10.3.1　用梯度下降方法求解回归参数 200

10.3.2　通过scikit-learn估计回归模型的系数 203

10.4　利用RANSAC拟合稳健的回归模型 205

10.5　评估线性回归模型的性能 206

10.6　用正则化方法进行回归 209

10.7　将线性回归模型转换为曲线—多项式回归 210

10.7.1　用scikit-learn增加多项式的项 210

10.7.2　为住房数据集中的非线性关系建模 211

10.8　用随机森林处理非线性关系 214

10.8.1　决策树回归 214

10.8.2　随机森林回归 215

10.9　小结 217

第11章　用聚类分析处理无标签数据 218

11.1　用k-均值进行相似性分组 218

11.1.1　scikit-learn的k-均值聚类 218

11.1.2　k-均值++—更聪明地设置初始聚类中心的方法 221

11.1.3　硬聚类与软聚类 222

11.1.4　用肘法求解最佳聚类数 223

11.1.5　通过轮廓图量化聚类质量 224

11.2　把集群组织成有层次的树 228

......