数据挖掘核心技术揭秘

目录
前　言
第一部分　基 础 知 识
第1章　引言2
　1.1　数据挖掘的含义2
　1.2　数据挖掘的演变过程3
　1.3　数据工具简介4
1.3.1　Hadoop与MapReduce5
1.3.2　Pig语言8
1.3.3　MATLAB编程9
1.3.4　SAS9
1.3.5　WEKA12
1.3.6　R语言编程12
　1.4　数据挖掘应用领域13
　1.5　小结14
第2章　数学基础15
　2.1　概率统计16
2.1.1　基本概念16
2.1.2　随机变量及其分布19
　2.2　相似度24
2.2.1　期望与方差25
2.2.2　距离27
2.2.3　相关系数31
　2.3　矩阵计算34
　2.4　最小二乘法39
2.4.1　最小二乘法定义39
2.4.2　回归40
2.4.3　参数的最小二乘法估计42
第3章　海量数据处理技术46
　3.1　索引技术46
3.1.1　数据库索引46
3.1.2　文本索引49
　3.2　海量数据处理技术52
3.2.1　外排序53
3.2.2　分布式处理53
3.2.3　Bloom filter54
3.2.4　常用技巧55
第二部分　聚　　类
第4章　聚类58
　4.1　应用场景58
4.1.1　语音区分58
4.1.2　新闻分组59
4.1.3　选定销售策略59
4.1.4　交通事件预测59
　4.2　聚类技术60
4.2.1　划分聚类61
4.2.2　层次聚类67
4.2.3　基于密度的聚类70
4.2.4　基于网格的聚类72
　4.3　多元分析72
4.3.1　主成分分析法73
4.3.2　因子分析83
4.3.3　对比分析83
第5章　离群点挖掘技术85
　5.1　应用场景85
5.1.1　异常交通事件检测85
5.1.2　欺诈检测85
5.1.3　入侵检测86
5.1.4　异常气候检测86
　5.2　离群点挖掘技术86
5.2.1　基于统计的离群点挖掘技术87
5.2.2　基于邻近度的离群点挖掘技术88
5.2.3　基于密度的离群点挖掘技术89
5.2.4　基于聚类的离群点挖掘技术92
5.2.5　高维数据的离群点检测算法93
第三部分　分　　类
第6章　决策树98
　6.1　应用场景98
6.1.1　病情诊断98
6.1.2　信用卡欺诈检测98
　6.2　决策树技术99
6.2.1　概述99
6.2.2　技术实现100
6.2.3　多分类决策树104
6.2.4　参考实例106
第7章　基于实例的学习108
　7.1　应用场景108
7.1.1　机械装备的总体设计108
7.1.2　对新的法律案件的推理109
7.1.3　规划或调度问题109
　7.2　K近邻算法110
　7.3　K-D树111
7.3.1　近邻的实现：K-D树111
7.3.2　K-D树的构建112
7.3.3　K-D树的最近邻搜索算法113
第8章　支持向量机115
　8.1　应用场景115
8.1.1　病情分类115
8.1.2　动物分类116
　8.2　支持向量机技术116
8.2.1　概述116
8.2.2　技术实现118
8.2.3　核函数122
8.2.4　多类分类器124
第9章　贝叶斯学习126
　9.1　应用场景126
9.1.1　垃圾邮件过滤126
9.1.2　手写文字识别127
9.1.3　拼写检查128
9.1.4　分词128
9.1.5　语音识别129
9.1.6　股票价格预测129
9.1.7　病情诊断129
9.1.8　选定销售策略130
9.1.9　交通事件预测130
　9.2　贝叶斯学习技术131
9.2.1　概述131
9.2.2　技术实现131
9.2.3　参考实例135
第10章　人工神经网络138
　10.1　应用场景138
10.1.1　信用卡欺诈检测138
10.1.2　病情诊断139
10.1.3　足球比赛预测139
10.1.4　图像姿势识别139
10.1.5　利用图像识别的自动驾驶140
10.1.6　人脸识别140
10.1.7　语音分类识别141
　10.2　人工神经网络技术142
10.2.1　概述142
10.2.2　技术实现142
10.2.3　参考实例145
第11章　遗传算法152
　11.1　应用场景152
11.1.1　私人定制的电影152
11.1.2　国际象棋学习153
11.1.3　电路设计154
11.1.4　机器人的模拟控制154
11.1.5　函数设计154
11.1.6　唐诗生成器155
11.1.7　音乐生成器155
　11.2　遗传技术155
11.2.1　概述155
11.2.2　技术实现158
11.2.3　参考实例：背包问题166
第四部分　回　　归
第12章　卡尔曼算法170
　12.1　应用场景170
12.1.1　股票价格预测170
12.1.2　GPS定位预测171
　12.2　卡尔曼技术171
12.2.1　卡尔曼算法定义171
12.2.2　技术实现172
12.2.3　参考实例：GPS定位175
第五部分　应　　用
第13章　推荐系统180
　13.1　应用场景181
13.1.1　歌曲推荐181
13.1.2　QQ好友圈子的推荐功能182
13.1.3　今日头条183
13.1.4　淘宝商品推荐184
13.1.5　Netflix电影推荐184
13.1.6　豆瓣FM的推荐185
13.1.7　为用户定制的广告185
13.1.8　苹果APP排名的规则186
　13.2　推荐系统技术186
13.2.1　协同过滤187
13.2.2　基于内容的推荐188
13.2.3　推荐系统的缺陷189
13.2.4　潜在因子算法190
13.2.5　参考实例：音乐推荐193
附录A　数据挖掘技术总结197