Apache Spark机器学习

目　　录?Contents
译者序
前　言
第1章　Spark机器学习简介 1
1.1　Spark概述和技术优势 2
1.1.1　Spark概述 2
1.1.2　Spark优势 3
1.2　在机器学习中应用Spark计算 4
1.3　机器学习算法 5
1.4　MLlib 6
1.5　Spark RDD和DataFrame 8
1.5.1　Spark RDD 8
1.5.2　Spark DataFrame 9
1.5.3　R语言DataFrame API 10
1.5.4　机器学习框架、RM4E和Spark计算 11
1.5.5　机器学习框架 12
1.5.6　RM4E 13
1.5.7　Spark计算框架 13
1.6　机器学习工作流和Spark pipeline 14
1.7　机器学习工作流示例 16
1.8　Spark notebook简介 19
1.8.1　面向机器学习的notebook方法 19
1.8.2　Spark notebook 21
1.9　小结 22
第2章　Spark机器学习的数据准备 24
2.1　访问和加载数据集 25
2.1.1　访问公开可用的数据集 25
2.1.2　加载数据集到Spark 26
2.1.3　数据集探索和可视化 27
2.2　数据清洗 29
2.2.1　处理数据不完备性 30
2.2.2　在Spark中进行数据清洗 31
2.2.3　更简便的数据清洗 32
2.3　一致性匹配 33
2.3.1　一致性问题 33
2.3.2　基于Spark的一致性匹配 34
2.3.3　实体解析 34
2.3.4　更好的一致性匹配 35
2.4　数据集重组 36
2.4.1　数据集重组任务 36
2.4.2　使用Spark SQL进行数据集重组 37
2.4.3　在Spark上使用R语言进行数据集重组 38
2.5　数据集连接 39
2.5.1　数据连接及其工具——Spark SQL 39
2.5.2　Spark中的数据集连接 40
2.5.3　使用R语言数据表程序包进行数据连接 40
2.6　特征提取 42
2.6.1　特征开发的挑战 42
2.6.2　基于Spark MLlib的特征开发 43
2.6.3　基于R语言的特征开发 45
2.7　复用性和自动化 45
2.7.1　数据集预处理工作流 46
2.7.2　基于Spark pipeline的数据集预处理 47
2.7.3　数据集预处理自动化 47
2.8　小结 49
第3章　基于Spark的整体视图 51
3.1　Spark整体视图 51
3.1.1　例子 52
3.1.2　简洁快速的计算 54
3.2　整体视图的方法 55
3.2.1　回归模型 56
3.2.2　SEM方法 57
3.2.3　决策树 57
3.3　特征准备 58
3.3.1　PCA 59
3.3.2　使用专业知识进行分类分组 59
3.3.3　特征选择 60
3.4　模型估计 61
3.4.1　MLlib实现 62
3.4.2　R notebook实现 62
3.5　模型评估 63
3.5.1　快速评价 63
3.5.2　RMSE 64
3.5.3　ROC曲线 65
3.6　结果解释 66
3.7　部署 66
3.7.1　仪表盘 67
3.7.2　规则 68
3.8　小结 68
第4章　基于Spark的欺诈检测 69
4.1　Spark欺诈检测 70
4.1.1　例子 70
4.1.2　分布式计算 71
4.2　欺诈检测方法 72
4.2.1　随机森林 73
4.2.2　决策树 74
4.3　特征提取 74
4.3.1　从日志文件提取特征 75
4.3.2　数据合并 75
4.4　模型估计 76
4.4.1　MLlib实现 77
4.4.2　R notebook实现 77
4.5　模型评价 77
4.5.1　快速评价 78
4.5.2　混淆矩阵和误报率 78
4.6　结果解释 79
4.7　部署欺诈检测 80
4.7.1　规则 81
4.7.2　评分 81
4.8　小结 82
第5章　基于Spark的风险评分 83
5.1　Spark用于风险评分 84
5.1.1　例子 84
5.1.2　Apache Spark notebook 85
5.2　风险评分方法 87
5.2.1　逻辑回归 87
5.2.2　随机森林和决策树 88
5.3　数据和特征准备 89
5.4　模型估计 91
5.4.1　在Data Scientist Workbench上应用R notebook 91
5.4.2　实现R notebook 92
5.5　模型评价 93
5.5.1　混淆矩阵 93
5.5.2　ROC分析 93
5.5.3　Kolmogorov-Smirnov检验 94
5.6　结果解释 95
5.7　部署 96
5.8　小结 97
第6章　基于Spark的流失预测 99
6.1　Spark流失预测 99
6.1.1　例子 100
6.1.2　Spark计算 100
6.2　流失预测的方法 101
6.2.1　回归模型 102
6.2.2　决策树和随机森林 103
6.3　特征准备 104
6.3.1　特征提取 104
6.3.2　特征选择 105
6.4　模型估计 105
6.5　模型评估 107
6.6　结果解释 109
6.7　部署 110
6.7.1　评分 111
6.7.2　干预措施推荐 111
6.8　小结 111
第7章　基于Spark的产品推荐 112
7.1　基于Apache Spark 的产品推荐引擎 112
7.1.1　例子 113
7.1.2　基于Spark平台的SPSS 114
7.2　产品推荐方法 117
7.2.1　协同过滤 117
7.2.2　编程准备 118
7.3　基于SPSS的数据治理 119
7.4　模型估计 120
7.5　模型评价 121
7.6　产品推荐部署 122
7.7　小结 125
第8章　基于Spark的学习分析 126
8.1　Spark流失预测 127
8.1.1　例子 127
8.1.2　Spark计算 128
8.2　流失预测方法 130
8.2.1　回归模型 130
8.2.2　决策树 131
8.3　特征准备 131
8.3.1　特征开发 133
8.3.2　特征选择 133
8.4　模型估计 135
8.5　模型评价 137
8.5.1　快速评价 138
8.5.2　混淆矩阵和错误率 138
8.6　结果解释 139
8.6.1　计算干预影响 140
8.6.2　计算主因子影响 140
8.7　部署 141
8.7.1　规则 141
8.7.2　评分 142
8.8　小结