大数据时代的数据挖掘

目 录
第1章　数据挖掘简介　1
1．1　大数据时代的数据挖掘　2
1．1．1　大数据的特点“4V+4V”　3
1．1．2　数据挖掘　5
1．1．3　从数据挖掘应用的角度看大数据　7
1．2　数据挖掘技术的发展历史　8
1．3　十大数据挖掘算法简介　10
1．4　数据挖掘平台：FIU-Miner　21
1．4．1　FIU-Miner平台简介　22
1．4．2　FIU-Miner系统架构　22
1．4．3　FIU-Miner应用实例　23
参考文献　28
第2章　系统日志和事件的挖掘　31
2．1　数据驱动的网络运维　32
2．1．1　网络运维1．0阶段：简单数据处理　33
2．1．2　网络运维2．0阶段：分布式大数据处理框架　34
2．1．3　网络运维3．0阶段：网络运维平台套件　34
2．1．4　网络运维4．0阶段：智能化网络运维　35
2．2　系统日志分析的目的　35
2．2．1　系统问题诊断　36
2．2．2　调试与优化　37
2．2．3　系统安全维护　37
2．3　日志数据分析管理系统的架构　38
2．3．1　日志数据的收集和预处理　39
2．3．2　历史日志数据存储　39
2．3．3　日志事件数据的分析以及对分析结果的展示和使用　39
2．4　系统日志的数据形式　40
2．4．1　无结构的日志数据　40
2．4．2　结构化与半结构化的日志数据　41
2．4．3　非结构化数据的转换　43
2．5　基于日志数据的异常检测　44
2．5．1　基于监督学习的异常检测　44
2．5．2　基于无监督学习的异常检测　48
2．6　系统故障根源跟踪　52
2．6．1　日志事件的依赖性挖掘　54
2．6．2　基于依赖关系的系统故障追踪　65
2．7　日志事件总结　65
2．7．1　事件总结算法基本要求及相关工作　66
2．7．2　基于事件发生频率变迁描述的事件总结　67
2．7．3　基于马尔可夫模型描述的事件总结　67
2．7．4　基于事件关系网络描述的事件总结　68
参考文献　69
第3章　工作票数据挖掘　75
3．1　工作票简介　76
3．2　工作票产生机制和亟待解决的问题　77
3．3　研究现状　79
3．3．1　工作票分类　80
3．3．2　工作票推荐　82
3．3．3　整体解决方案和工具　84
3．4　工作票漏报和误报检测　84
3．4．1　漏报和误报　84
3．4．2　基于规则的误报识别方法　86
3．4．3　半监督的工作票漏报发现方法　89
3．4．4　评价　92
3．5　层次多标签工作票分类　96
3．5．1　问题描述　98
3．5．2　层次损失函数和期望损失最小化　98
3．5．3　算法和解决方案　102
3．5．4　实验　104
3．6　工作票解决方案推荐　108
3．6．1　背景　108
3．6．2　基于KNN的推荐方法　109
3．6．3　划分方法　111
3．6．4　概率融合方法　112
3．6．5　度量学习方法　113
3．6．6　实验　116
参考文献　126
第4章　大数据与计算可持续性研究　131
4．1　大数据与可持续发展　132
4．1．1　可持续发展　132
4．1．2　大数据时代可持续发展面临的机遇和挑战　133
4．2　计算可持续性　133
4．2．1　计算可持续性数据及其特征　134
4．2．2　大数据环境下计算可持续性研究现状　137
4．3　研究案例　142
4．3．1　基于数据驱动的气象分析　142
4．3．2　基于数据驱动的建筑能耗分析　145
参考文献　155
第5章　推荐系统　159
5．1　个性化推荐系统概述　160
5．2　推荐技术　163
5．2．1　基于内容的推荐系统　163
5．2．2　基于协同过滤的推荐系统　164
5．2．3　基于知识的推荐系统　165
5．2．4　基于混合技术的推荐系统　165
5．2．5　基于计算智能的推荐系统　166
5．2．6　基于社交网络的推荐系统　167
5．2．7　基于上下文敏感的推荐系统　169
5．2．8　基于组群的推荐系统　170
5．3　推荐系统评测　170
5．3．1　推荐系统评测环境　171
5．3．2　推荐系统评测指标　174
5．4　推荐系统实例　181
5．4．1　新闻推荐　181
5．4．2　POI推荐　190
参考文献　198
第6章　智能问答系统　203
6．1　发展历史　204
6．2　句法分析　205
6．2．1　中文分词技术　205
6．2．2　词的分类和兼类　207
6．2．3　汉语句法分析　208
6．3　问题理解　210
6．3．1　词法分析　210
6．3．2　问题分类　210
6．3．3　关键词扩展与抽取　211
6．3．4　答案抽取　212
6．4　问题检索　212
6．4．1　基于词法的问句检索　212
6．4．2　基于句法的问句检索　213
6．4．3　基于语义的问句检索　213
6．4．4　常见问题集的问句检索　213
6．5　信息抽取　214
6．5．1　抽取的对象　214
6．5．2　抽取的种类　215
6．5．3　抽取的方法　215
6．6　知识库构建　217
6．6．1　基本概念　217
6．6．2　体系结构　218
6．6．3　关键技术　219
6．7　知识推理　223
6．7．1　线索挖掘　223
6．7．2　关系推理　224
6．7．3　关系预测　225
6．8　案例分析　225
6．8．1　限定域系统的现有案例分析　225
6．8．2　开放域系统的现有案例分析　233
参考文献　238
第7章　文本挖掘　245
7．1　文本表示　246
7．2　话题挖掘　248
7．2．1　非负矩阵分解　248
7．2．2　概率潜在语义分析　249
7．2．3　潜在狄利克雷分配模型　250
7．2．4　分析与实例比较　251
7．3　多文档自动文摘　253
7．3．1　目标函数选择：句子重要性评价　253
7．3．2　优化方法　257
7．3．3　其他的自动文摘问题　258
7．3．4　实例分析　259
7．4　情感分析和摘要　262
7．4．1　基于频繁项集的方法　264
7．4．2　实例分析　266
7．4．3　基于方面的话题模型分析方法　267
7．5　数据挖掘在专利分析中的应用　272
7．5．1　专利分析的内容、流程与方法　273
7．5．2　数据挖掘在专利分析中的应用方向　278
参考文献　284
第8章　多媒体数据挖掘　291
8．1　多媒体技术的特点　292
8．1．1　数字化　292
8．1．2　多样性　293
8．1．3　集成性　293
8．1．4　交互性　293
8．1．5　非线性　294
8．1．6　实时性　294
8．2　多媒体数据挖掘概述　294
8．2．1　背景　294
8．2．2　研究及应用现状　295
8．3　多媒体数据的特征抽取　296
8．3．1　文本特征抽取　296
8．3．2　图像特征表示　297
8．4　数据挖掘在图像检索中的应用　300
8．4．1　应用背景　300
8．4．2　数据集描述　302
8．4．3　数据挖掘在图像检索中的算法分析　304
8．4．4　图像检索案例　306
8．5　数据挖掘在多媒体信息融合中的应用　312
8．5．1　应用背景　313
8．5．2　数据集描述　314
8．5．3　数据挖掘在多媒体信息融合中的算法分析　315
8．5．4　多媒体信息融合案例　317
8．6　数据挖掘在人脸识别中的应用　334
8．6．1　应用背景　334
8．6．2　数据集描述　336
8．6．3　人脸识别算法分析　338
8．6．4　分布式人脸识别系统设计　348
参考文献　350
第9章　社交媒体挖掘　355
9．1　社交媒体数据挖掘简介　356
9．1．1　社交媒体分析的特点综述　357
9．1．2　社交媒体的典型应用　358
9．2　社交网络数据　360
9．3　数据挖掘在社交媒体热点问题上的应用　362
9．3．1　社交媒体数据挖掘需求　362
9．3．2　信息扩散分析　362
9．3．3　链接的预测　366
9．3．4　专家与关键人物的挖掘　371
9．3．5　搜索　380
9．3．6　信任　385
9．3．7　社交网络的内容与情感挖掘　388
参考文献　389
第10章　时空数据挖掘　395
10．1　时空数据挖掘的发展背景　396
10．2　时空数据挖掘的相关研究　397
10．2．1　时空数据的来源　397
10．2．2　时空数据的基本性质　398
10．2．3　时空数据挖掘的方法与任务　399
10．3　时空数据的模式挖掘　403
10．3．1　时空数据的频繁模式　403
10．3．2　时空数据的异常模式　404
10．4　时空数据的聚类和分类　406
10．4．1　时空数据的聚类　406
10．4．2　时空数据的分类　410
10．5　时空数据预测　411
10．5．1　位置预测　412
10．5．2　位置推荐　412
10．6　时空数据挖掘的案例研究　413
10．6．1　TerryFly GeoCloud　413
10．6．2　NUPT-ST-Miner　420
10．7　时空数据挖掘的挑战和发展　428
参考文献　430
第11章　生物信息学　437
11．1　生物医学知识综述　438
11．2　生物医学大数据　441
11．3　数据挖掘在蛋白质与核酸相互作用研究中的应用　442
11．3．1　基于机器学习的蛋白质与核酸相互作用的研究策略　443
11．3．2　案例分析：蛋白质中RNA—结合残基的预测模型　445
11．4　数据挖掘在生物医学文献中的应用　448
11．4．1　生物医学文献挖掘概述　448
11．4．2　数据挖掘应用方法描述　450
11．5　数据挖掘在基因表达数据中的应用　463
11．5．1　基因芯片技术　463
11．5．2　下一代高通量测序技术　463
11．5．3　RNA-Seq 技术与基因芯片技术的比较　464
11．5．4　数据挖掘在下一代高通量RNA-Seq测序数据中的应用　465
参考文献　468
第12章　隐私保护和数据挖掘　473
12．1　隐私保护概述　474
12．1．1　隐私侵害事件　474
12．1．2　隐私保护困境　475
12．1．3　隐私保护要求　477
12．1．4　隐私保护水平度量　477
12．2　隐私保护技术分类　478
12．2．1　匿名化技术　478
12．2．2　加密技术　480
12．2．3　数据扰动技术　481
12．3　隐私保护数据挖掘方法　485
12．3．1　隐私保护聚类　486
12．3．2　隐私保护决策树　488
12．3．3　隐私保护推荐系统　490
12．3．4　隐私保护贝叶斯算法　492
12．3．5　隐私保护支持向量机　493
12．3．6　隐私保护关联规则挖掘　494
12．4　复杂数据挖掘场景下的隐私保护　495
12．4．1　大数据隐私保护　495
12．4．2　图数据隐私保护　498
12．4．3　云数据隐私保护　499
12．4．4　隐私保护深度学习　500
参考文献　501
第13章　健康医疗大数据中的数据挖掘技术　507
13．1　健康医疗大数据的含义　508
13．2　数据特性　509
13．3　预警系统　510
13．3．1　数据预处理　513
13．3．2　Bucketing　514
13．3．3　Bucket Bagging　514
13．3．4　特征集构造　515
13．3．5　特征选择　517
13．3．6　探索性下采样　518
13．3．7　指数移动平均　519
13．4　非结构化文本信息的挖掘　519
13．5　数据挖掘实例　520
13．5．1　评价标准　521
13．5．2　实验设计　521
13．5．3　逻辑回归模型的实验结果　522
13．5．4　算法比较　523
13．5．5　预警时间分析　525
13．6　应用方向　526
13．6．1　疾病预警预测及生存期分析　527
13．6．2　疾病辅助诊断治疗　527
13．6．3　药物研究　528
13．6．4　医学影像　528
13．6．5　医院信息系统　529
13．6．6　远程医疗　530
13．6．7　健康数据库管理　531
13．6．8　医疗健康相关企业经营　531
参考文献　532