大数据分析与挖掘

第1章　绪论　1
1．1　大数据分析与挖掘简介　1
1．2　大数据应用及挑战　2
1．3　大数据分析与挖掘主要技术　3
1．4　大数据分析与挖掘工具　4
1．4．1　Sklearn　4
1．4．2　Spark ML　5
1．4．3　华为云的机器学习服务　5
第2章　数据特征分析与预处理　15
2．1　数据类型　15
2．1．1　数据集类型　15
2．1．2　数据属性的类型　17
2．2　数据的描述性特征　20
2．2．1　描述数据集中趋势的度量　20
2．2．2　描述数据离中趋势的度量　22
2．2．3　数据分布形态的度量　24
2．2．4　数据分布特征的可视化　27
2．3　数据的相关分析　30
2．3．1　相关分析　31
2．3．2　卡方（χ2）检验　32
2．4　数据预处理　34
2．4．1　数据变换、离散化与编码　35
2．4．2　数据抽样技术　40
2．4．3　主成分分析　42
2．4．4　数据清洗　49
2．5　Spark数据预处理功能简介　52
2．5．1　二值化　52
2．5．2　分箱器　52
2．5．3　哈达玛积变换　53
2．5．4　最大绝对值标准化　53
2．5．5　最小—最大变换　54
2．5．6　正则化　54
2．5．7　多项式扩展　55
2．5．8　标准化　55
2．5．9　特征向量合并　56
2．5．10　类别特征索引　57
习题　57
第3章　关联规则挖掘　59
3．1　基本概念　59
3．2　基于候选项产生—测试策略的频繁模式挖掘算法　61
3．2．1　Apriori算法　61
3．2．2　基于划分的算法　64
3．2．3　事务数据的存储　65
3．3　不需要产生候选项集的频繁模式挖掘算法　66
3．3．1　FP-Growth算法　66
3．3．2　Spark上FP-Growth算法实践　71
3．4　结合相关性分析的关联规则　72
3．5　多层关联规则挖掘算法　74
3．6　序列模式挖掘　77
3．6．1　序列模式的定义　77
3．6．2　PrefixSpan算法　78
3．6．3　与其他序列模式挖掘算法的比较和分析　80
3．7　其他类型关联规则简介　81
3．7．1　量化关联规则　82
3．7．2　时态关联规则　82
3．7．3　局部化的关联规则　82
3．7．4　优化的关联规则　82
习题　83
第4章　分类与回归算法　85
4．1　决策树算法　85
4．1．1　决策树简介　85
4．1．2　决策树的类型　86
4．1．3　决策树的构造过程　86
4．1．4　信息论的有关概念　87
4．1．5　ID3算法　87
4．1．6　信息论在ID3算法中的应用　90
4．1．7　C4．5算法　91
4．1．8　CART算法　91
4．1．9　过拟合与决策树剪枝　93
4．1．10　决策树后剪枝策略　95
4．1．11　决策树的生成与可视化　103
4．1．12　几种属性选择度量的对比　106
4．2　贝叶斯分类器　106
4．2．1　贝叶斯决策理论　106
4．2．2　极大似然估计　107
4．2．3　朴素贝叶斯分类器　108
4．2．4　贝叶斯网络基础　110
4．2．5　通过贝叶斯网络判断条件独立　111
4．2．6　贝叶斯网络推理实例　112
4．3　基于实例的分类算法　115
4．3．1　KNN分类器　115
4．3．2　局部加权回归　121
4．3．3　基于案例的推理　123
4．4　组合分类算法　130
4．4．1　Adaboost算法　130
4．4．2　Bagging算法　135
4．4．3　随机森林　140
4．5　分类器算法的评估　142
4．6　回归分析　146
4．6．1　线性回归　146
4．6．2　岭回归　149
4．6．3　多项式回归　149
4．6．4　逻辑回归　151
4．6．5　决策树回归　152
4．6．6　梯度提升决策树　155
习题　160
第5章　聚类算法　165
5．1　聚类分析概述　165
5．2　聚类算法的分类　166
5．3　距离度量　166
5．3．1　幂距离　166
5．3．2　欧式距离　167
5．3．3　曼哈顿距离　167
5．3．4　切比雪夫距离　168
5．3．5　余弦相似度　168
5．3．6　兰氏距离　169
5．3．7　马氏距离　169
5．3．8　斜交空间距离　170
5．3．9　杰卡德距离　170
5．3．10　汉明距离　171
5．4　基于划分的聚类算法　172
5．4．1　K均值算法　172
5．4．2　二分K均值聚类算法　174
5．4．3　小批量K均值算法　175
5．4．4　K均值++算法　179
5．4．5　K中心点算法　180
5．4．6　数据流K均值算法　181
5．5　基于密度的聚类算法　182
5．5．1　DBSCAN算法　182
5．5．2　OPTICS算法　185
5．6　基于模型的聚类算法：高斯混合模型算法　189
5．6．1　算法原理　189
5．6．2　GMM算法的参数估计　190
5．6．3　GMM算法实践　191
5．7　层次聚类　193
5．7．1　凝聚的层次聚类算法　193
5．7．2　聚类之间距离的度量方法　193
5．7．3　层次聚类算法的性质　204
5．7．4　BIRCH算法　207
5．8　基于网格的聚类算法　211
5．8．1　STING算法　211
5．8．2　CLIQUE算法　213
5．9　Mean Shift聚类算法　218
5．9．1　基本概念　218
5．9．2　Mean Shift算法聚类过程　219
5．9．3　Mean Shift聚类算法实践　222
5．9．4　改进的Mean Shift算法　223
5．10　聚类算法评价指标　224
5．10．1　调整兰德指数　224
5．10．2　互信息评分　225
5．10．3　同质性、完整性以及调和平均　226
5．10．4　Fowlkes-Mallows评分　228
5．10．5　轮廓系数　229
5．10．6　Calinski-Harabz 指数　229
习题　230
第6章　数据挖掘综合应用：异常检测　232
6．1　预备知识　232
6．1．1　相关统计学概念　232
6．1．2　异常检测评价指标　234
6．1．3　异常检测问题的特点　234
6．1．4　异常检测算法分类　234
6．2　基于隔离森林的异常检测算法　235
6．2．1　隔离与隔离树iTree　236
6．2．2　隔离森林的特点　238
6．2．3　隔离森林算法　239
6．2．4　应用实例　240
6．3　局部异常因子算法　242
6．3．1　基本定义　242
6．3．2　异常检测　243
6．3．3　应用实例　244
6．4　基于One-Class SVM的异常检测算法　245
6．4．1　基本原理　245
6．4．2　应用实例　246
6．5　基于主成分分析的异常检测算法　247
6．6　基于集成学习的异常检测算法　249
6．6．1　基本原理　249
6．6．2　应用实例　250
6．7　其他有监督学习类型的检测算法　253
6．7．1　罕见类别检测　254
6．7．2　基于有监督学习的异常检测实例　256
6．7．3　异常检测应用实例——时空异常检测　257
6．7．4　Spark异常值检测实例　259
6．8　习题　261
附录　《大数据分析与挖掘》配套实验课程方案简介　263
参考文献　264