大数据导论

第１章　大数据的基本知识　1
1.1　大数据概述　1
1.1.1　大数据的特征　1
1.1.2　大数据的意义　3
1.2　大数据的数据类型　6
1.2.1　结构化数据　6
1.2.2　非结构化数据　6
1.2.3　结构化数据和非结构化数据的区别　7
1.3　大数据政策　7
1.3.1　国外的大数据政策　7
1.3.2　国内的大数据政策　9
1.4　小结　10
1.5　习题　10
第２章　大数据与新一代信息技术　11
2.1　大数据与云计算　11
2.1.1　云计算概述　11
2.1.2　大数据与云计算的区别与联系　17
2.2　大数据与物联网　18
2.2.1　物联网概述　18
2.2.2　大数据与物联网的区别与联系　21
2.3　大数据与人工智能　21
2.3.1　人工智能概述　21
2.3.2　大数据与人工智能的区别与联系　25
2.4　大数据与区块链　26
2.4.1　区块链概述　26
2.4.2　大数据与区块链的区别与联系　27
2.5　小结　28
2.6　习题　29
第3章　数据采集　30
3.1　数据采集概述　30
3.1.1　认识数据采集　30
3.1.2　数据采集的常见方式　31
3.2　数据采集平台　34
3.2.1　Flume　34
3.2.2　Kafka　35
3.2.3　Logstash　37
3.3　网络爬虫　37
3.3.1　认识网络爬虫　37
3.3.2　网络爬虫的分类及特点　40
3.3.3　网络爬虫的道德规范与法律风险　41
3.4　小结　42
3.5　习题　43
第4章　大数据存储　44
4.1　大数据存储概述　44
4.1.1　大数据存储的概念　44
4.1.2　大数据存储的分类　45
4.2　Hadoop架构　48
4.2.1　认识Hadoop架构　48
4.2.2　Hadoop的起源与发展　49
4.2.3　Hadoop生态组件　51
4.3　NoSQL数据库　63
4.3.1　认识NoSQL数据库　63
4.3.2　NoSQL数据库的分类　63
4.4　数据仓库　69
4.4.1　认识数据仓库　70
4.4.2　数据仓库的特点　73
4.4.3　数据仓库的应用　73
4.5　小结　74
4.6　习题　74
第5章　数据清洗　75
5.1　数据清洗概述　75
5.1.1　认识数据清洗　75
5.1.2　数据清洗的流程　77
5.1.3　数据质量　78
5.2　数据清洗的方法　82
5.2.1　处理缺失值　82
5.2.2　处理异常值　83
5.2.3　处理重复值　85
5.3　数据清洗的常用工具　85
5.3.1　Python　85
5.3.2　R　87
5.3.3　Kettle　88
5.3.4　DataCleaner　89
5.4　小结　91
5.5　习题　91
第6章　大数据分析与挖掘　92
6.1　大数据分析概述　92
6.1.1　大数据分析的概念　92
6.1.2　大数据分析的常用方法　97
6.2　数据挖掘　102
6.2.1　认识数据挖掘　102
6.2.2　数据挖掘的应用　104
6.3　数据挖掘的常见算法　105
6.3.1　K-Means算法　106
6.3.2　KNN算法　107
6.3.3　朴素贝叶斯算法　108
6.3.4　决策树算法　110
6.3.5　支持向量机算法　112
6.4　小结　114
6.5　习题　114
第7章　数据可视化　115
7.1　数据可视化概述　115
7.1.1　认识数据可视化　115
7.1.2　数据可视化的类型　122
7.2　数据可视化的方法　123
7.2.1　文本可视化　123
7.2.2　社交网络可视化　125
7.2.3　地理空间可视化　127
7.3　数据可视化的常见工具　130
7.3.1　ECharts　130
7.3.2　Excel　133
7.3.3　D3　135
7.3.4　Tableau　137
7.4　小结　139
7.5　习题　139
第8章　大数据安全与治理　140
8.1　大数据安全概述　140
8.1.1　认识数据安全　140
8.1.2　大数据面临的安全挑战　143
8.1.3　大数据安全的关键技术　145
8.2　数据治理　151
8.2.1　认识数据治理　151
8.2.2　数据治理的目标　156
8.2.3　数据治理的实现　157
8.3　小结　169
8.4　习题　169
第9章　大数据的应用　170
9.1　农业大数据　170
9.1.1　认识农业大数据　170
9.1.2　农业大数据的关键技术　173
9.1.3　农业大数据的应用　177
9.2　工业大数据　179
9.2.1　认识工业大数据　179
9.2.2　工业大数据的关键技术　181
9.2.3　工业大数据的应用　185
9.3　金融大数据　187
9.3.1　认识金融大数据　187
9.3.2　金融大数据的关键技术　189
9.3.3　金融大数据的应用　193
9.4　交通大数据　194
9.4.1　认识交通大数据　194
9.4.2　交通大数据的关键因素　197
9.4.3　交通大数据的应用　199
9.5　小结　200
9.6　习题　201
参考文献　202