大数据：互联网大规模数据挖掘与分布式处理 + 数据挖掘导论（套装共2册）

第1章绪论1
1.1什么是数据挖掘2
1.2数据挖掘要解决的问题2
1.3数据挖掘的起源3
1.4数据挖掘任务4
1.5本书的内容与组织7
文献注释7
参考文献8
习题10
第2章数据13
2.1数据类型14
2.1.1属性与度量15
2.1.2数据集的类型18
2.2数据质量22
2.2.1测量和数据收集问题22
2.2.2关于应用的问题26
2.3数据预处理27
2.3.1聚集27
2.3.2抽样28
2.3.3维归约30
2.3.4特征子集选择31
2.3.5特征创建33
2.3.6离散化和二元化34
2.3.7变量变换38
2.4相似性和相异性的度量38
2.4.1基础39
2.4.2简单属性之间的相似度和相异度40
2.4.3数据对象之间的相异度41
2.4.4数据对象之间的相似度43
2.4.5邻近性度量的例子43
2.4.6邻近度计算问题48
2.4.7选取正确的邻近性度量50
文献注释50
参考文献52
习题53
第3章探索数据59
3.1鸢尾花数据集59
3.2汇总统计60
3.2.1频率和众数60
3.2.2百分位数61
3.2.3位置度量：均值和中位数61
3.2.4散布度量：极差和方差62
3.2.5多元汇总统计63
3.2.6汇总数据的其他方法64
3.3可视化64
3.3.1可视化的动机64
3.3.2一般概念65
3.3.3技术67
3.3.4可视化高维数据75
3.3.5注意事项79
3.4OLAP和多维数据分析79
3.4.1用多维数组表示鸢尾花数据80
3.4.2多维数据：一般情况81
3.4.3分析多维数据82
3.4.4关于多维数据分析的最后评述84
文献注释84
参考文献85
习题86
第4章分类：基本概念、决策树与模型评估89
4.1预备知识89
4.2解决分类问题的一般方法90
4.3决策树归纳92
4.3.1决策树的工作原理92
4.3.2如何建立决策树93
4.3.3表示属性测试条件的方法95
4.3.4选择最佳划分的度量96
4.3.5决策树归纳算法101
4.3.6例子：Web机器人检测102
4.3.7决策树归纳的特点103
4.4模型的过分拟合106
4.4.1噪声导致的过分拟合107
4.4.2缺乏代表性样本导致的过分拟合109
4.4.3过分拟合与多重比较过程109
4.4.4泛化误差估计110
4.4.5处理决策树归纳中的过分拟合113
4.5评估分类器的性能114
4.5.1保持方法114
4.5.2随机二次抽样115
4.5.3交叉验证115
4.5.4自助法115
4.6比较分类器的方法116
4.6.1估计准确度的置信区间116
4.6.2比较两个模型的性能117
4.6.3比较两种分类法的性能118
文献注释118
参考文献120
习题122
第5章分类：其他技术127
5.1基于规则的分类器127
5.1.1基于规则的分类器的工作原理128
5.1.2规则的排序方案129
5.1.3如何建立基于规则的分类器130
5.1.4规则提取的直接方法130
5.1.5规则提取的间接方法135
5.1.6基于规则的分类器的特征136
5.2最近邻分类器137
5.2.1算法138
5.2.2最近邻分类器的特征138
5.3贝叶斯分类器139
5.3.1贝叶斯定理139
5.3.2贝叶斯定理在分类中的应用140
5.3.3朴素贝叶斯分类器141
5.3.4贝叶斯误差率145
5.3.5贝叶斯信念网络147
5.4人工神经网络150
5.4.1感知器151
5.4.2多层人工神经网络153
5.4.3人工神经网络的特点155
5.5支持向量机156
5.5.1最大边缘超平面156
5.5.2线性支持向量机：可分情况157
5.5.3线性支持向量机：不可分情况162
5.5.4非线性支持向量机164
5.5.5支持向量机的特征168
5.6组合方法168
5.6.1组合方法的基本原理168
5.6.2构建组合分类器的方法169
5.6.3偏倚—方差分解171
5.6.4装袋173
5.6.5提升175
5.6.6随机森林178
5.6.7组合方法的实验比较179
5.7不平衡类问题180
5.7.1可选度量180
5.7.2接受者操作特征曲线182
5.7.3代价敏感学习184
5.7.4基于抽样的方法186
5.8多类问题187
文献注释189
参考文献190
习题193
第6章关联分析：基本概念和算法201
6.1问题定义202
6.2频繁项集的产生204
6.2.1先验原理205
6.2.2Apriori算法的频繁项集产生206
6.2.3　候选的产生与剪枝208
6.2.4支持度计数210
6.2.5计算复杂度213
6.3规则产生215
6.3.1基于置信度的剪枝215
6.3.2Apriori算法中规则的产生215
6.3.3例：美国国会投票记录217
6.4频繁项集的紧凑表示217
6.4.1极大频繁项集217
6.4.2闭频繁项集219
6.5产生频繁项集的其他方法221
6.6FP增长算法223
6.6.1FP树表示法224
6.6.2FP增长算法的频繁项集产生225
6.7关联模式的评估228
6.7.1兴趣度的客观度量228
6.7.2多个二元变量的度量235
6.7.3辛普森悖论236
6.8倾斜支持度分布的影响237
文献注释240
参考文献244
习题250
第7章关联分析：高级概念259
7.1处理分类属性259
7.2处理连续属性261
7.2.1基于离散化的方法261
7.2.2基于统计学的方法263
7.2.3非离散化方法265
7.3处理概念分层266
7.4序列模式267
7.4.1问题描述267
7.4.2序列模式发现269
7.4.3时限约束271
7.4.4可选计数方案274
7.5子图模式275
7.5.1图与子图276
7.5.2频繁子图挖掘277
7.5.3类Apriori方法278
7.5.4候选产生279
7.5.5候选剪枝282
7.5.6支持度计数285
7.6非频繁模式285
7.6.1负模式285
7.6.2负相关模式286
7.6.3非频繁模式、负模式和负相关模式比较287
7.6.4挖掘有趣的非频繁模式的技术288
7.6.5基于挖掘负模式的技术288
7.6.6基于支持度期望的技术290
文献注释292
参考文献293
习题295
第8章聚类分析：基本概念和算法305
8.1概述306
8.1.1什么是聚类分析306
8.1.2不同的聚类类型307
8.1.3不同的簇类型308
8.2K均值310
8.2.1基本K均值算法310
8.2.2K均值：附加的问题315
8.2.3二分K均值316
8.2.4K均值和不同的簇类型317
8.2.5优点与缺点318
8.2.6K均值作为优化问题319
8.3凝聚层次聚类320
8.3.1基本凝聚层次聚类算法321
8.3.2特殊技术322
8.3.3簇邻近度的Lance-Williams公式325
8.3.4层次聚类的主要问题326
8.3.5优点与缺点327
8.4DBSCAN327
8.4.1传统的密度：基于中心的方法327
8.4.2DBSCAN算法328
8.4.3优点与缺点329
8.5簇评估330
8.5.1概述332
8.5.2非监督簇评估：使用凝聚度和分离度332
8.5.3非监督簇评估：使用邻近度矩阵336
8.5.4层次聚类的非监督评估338
8.5.5确定正确的簇个数339
8.5.6聚类趋势339
8.5.7簇有效性的监督度量340
8.5.8评估簇有效性度量的显著性343
文献注释344
参考文献345
习题347
第9章聚类分析：其他问题与算法355
9.1数据、簇和聚类算法的特性355
9.1.1例子：比较K均值和DBSCAN355
9.1.2数据特性356
9.1.3簇特性357
9.1.4聚类算法的一般特性358
9.2基于原型的聚类359
9.2.1模糊聚类359
9.2.2使用混合模型的聚类362
9.2.3自组织映射369
9.3基于密度的聚类372
9.3.1基于网格的聚类372
9.3.2子空间聚类374
9.3.3DENCLUE：基于密度聚类的一种基于核的方案377
9.4基于图的聚类379
9.4.1稀疏化379
9.4.2最小生成树聚类380
9.4.3OPOSSUM：使用METIS的稀疏相似度最优划分381
9.4.4Chameleon：使用动态建模的层次聚类381
9.4.5共享最近邻相似度385
9.4.6Jarvis-Patrick聚类算法387
9.4.7SNN密度388
9.4.8基于SNN密度的聚类389
9.5可伸缩的聚类算法390
9.5.1可伸缩：一般问题和方法391
9.5.2BIRCH392
9.5.3CURE393
9.6使用哪种聚类算法395
文献注释397
参考文献398
习题400
第10章异常检测403
10.1预备知识404
10.1.1异常的成因404
10.1.2异常检测方法404
10.1.3类标号的使用405
10.1.4问题405
10.2统计方法406
10.2.1检测一元正态分布中的离群点407
10.2.2多元正态分布的离群点408
10.2.3异常检测的混合模型方法410
10.2.4优点与缺点411
10.3基于邻近度的离群点检测411
10.4基于密度的离群点检测412
10.4.1使用相对密度的离群点检测413
10.4.2优点与缺点414
10.5基于聚类的技术414
10.5.1评估对象属于簇的程度415
10.5.2离群点对初始聚类的影响416
10.5.3使用簇的个数416
10.5.4优点与缺点416
文献注释417
参考文献418
习题420
附录A线性代数423
附录B维归约433
附录C概率统计445
附录D回归451
附录E优化457