大数据导论

大数据导论
数据与大数据时代1
1.1什么是大数据2
1.1.1天文学——信息爆炸的起源3
1.1.2大数据的定义6
1.1.3用3V描述大数据特征7
1.1.4广义的大数据9
1.2大数据变革思维9
1.3大数据的结构类型10
1.4大数据的发展11
1.4.1硬件性价比提高与软件技术进步11
1.4.2云计算的普及12
1.4.3大数据作为BI的进化形式12
1.4.4从交易数据分析到交互数据分析13第2章大数据的可视化19
2.1数据与可视化21
2.1.1数据的可变性22
2.1.2数据的不确定性23
2.1.3数据所依存的背景信息24
2.1.4打造最好的可视化效果25
2.2数据与图形25
2.2.1数据与走势26
2.2.2视觉信息的科学解释28
2.2.3图片和分享的力量29
2.3公共数据集30
2.4实时可视化31
2.5挑战图像的多变性32
2.6数据可视化的运用332.6.1可视化对认知的帮助34
2.6.27个数据类型35
2.6.37个基本任务36
2.6.4数据可视化的挑战38第3章大数据的商业规则45
3.1大数据的跨界年度46
3.2谷歌的大数据行动47
3.3亚马逊的大数据行动49
3.4将信息变成一种竞争优势50
3.4.1数据价格下降，数据需求上升51
3.4.2大数据应用程序的兴起52
3.4.3实时响应，大数据用户的新要求53
3.4.4企业构建大数据战略53
3.5大数据营销54
3.5.1像媒体公司一样思考54
3.5.2营销面对新的机遇与挑战55
3.5.3自动化营销56
3.5.4为营销创建高容量和高价值的内容57
3.5.5内容营销57
3.5.6内容创作与众包58
3.5.7用投资回报率评价营销效果59第4章大数据时代的思维变革65
4.1大数据时代的大挑战67
4.2转变之一: 样本=总体68
4.2.1小数据时代的随机采样68
4.2.2大数据与乔布斯的癌症治疗71
4.2.3全数据模式: 样本=总体72
4.3转变之二: 接受数据的混杂性74
4.3.1允许不精确74
4.3.2大数据的简单算法与小数据的复杂算法76
4.3.3纷繁的数据越多越好77
4.3.4混杂性是标准途径78
4.3.5新的数据库设计79
4.3.65%的数字数据与95%的非结构化数据81
4.4转变之三: 数据的相关关系81
4.4.1关联物，预测的关键81
4.4.2“是什么”，而不是“为什么”84
4.4.3通过因果关系了解世界84
4.4.4通过相关关系了解世界86第5章大数据促进医疗与健康93
5.1大数据与循证医学95
5.2大数据带来的医疗新突破96
5.2.1量化自我，关注个人健康97
5.2.2可穿戴的个人健康设备98
5.2.3大数据时代的医疗信息99
5.2.4CellMiner——对抗癌症的新工具100
5.3医疗信息数字化102
5.4搜索: 超级大数据的最佳伙伴104
5.5数据决策的成功崛起105
5.5.1数据辅助诊断106
5.5.2你考虑过……了吗106
5.5.3大数据分析使数据决策崛起107第6章大数据激发创造力112
6.1大数据帮助改善设计114
6.1.1少而精是设计的核心115
6.1.2与玩家共同设计游戏116
6.1.3以人为本的汽车设计理念116
6.1.4寻找最佳音响效果118
6.1.5建筑，数据取代直觉119
6.2大数据操作回路119
6.2.1信号与噪声120
6.2.2大数据反馈回路120
6.2.3最小数据规模121
6.2.4大数据应用程序的优势与作用121
6.3大数据资产的崛起122
6.3.1大数据催生崭新的应用程序122
6.3.2寻找大数据“空白”，提取最大价值122第7章大数据预测分析126
7.1什么是预测分析130
7.1.1预测分析的作用130
7.1.2行业应用举例131
7.2数据情感和情感数据132
7.2.1从博客观察集体情感132
7.2.2预测分析博客中的情绪133
7.2.3影响情绪的重要因素——金钱135
7.3数据具有内在预测性136
7.4情感的因果关系137
7.4.1焦虑指数与标普500指数137
7.4.2验证情感和被验证的情感138
7.4.3情绪指标影响金融市场139第8章大数据促进学习149
8.1打造网络教育体系152
8.1.1典型的网络教育形式152
8.1.2未来的教育: 线上线下结合153
8.1.3跟踪教学效果154
8.1.4形成学习能力155
8.2机器学习及其研究155
8.2.1什么是人工智能156
8.2.2什么是机器学习157
8.2.3基本结构159
8.2.4研究领域160
8.3机器学习的分类160
8.3.1基于学习策略的分类160
8.3.2基于所获取知识的表示形式分类161
8.3.3按应用领域分类162
8.3.4按学习形式分类162第9章大数据在云端171
9.1云端大数据173
9.1.1什么是云计算173
9.1.2云计算的服务形式174
9.1.3云计算与大数据175
9.1.4云基础设施176
9.2计算虚拟化176
9.3大数据存储177
9.3.1传统存储系统时代178
9.3.2大数据时代的新挑战178
9.3.3分布式存储180
9.3.4云存储180
9.3.5大数据存储的其他需求181
9.4网络虚拟化182
9.4.1网卡虚拟化182
9.4.2虚拟交换机183
9.4.3接入层的虚拟化184
9.4.4覆盖网络虚拟化184
9.4.5软件定义的网络184
9.4.6对大数据处理的意义185
9.5数据即服务185
9.5.1数据应用185
9.5.2数据清理185
9.5.3数据保密186
9.6云的挑战186第10章支撑大数据的技术193
10.1开源技术的商业支援195
10.2大数据的技术架构196
10.3什么是Hadoop197
10.3.1什么是分布式系统197
10.3.2Hadoop的由来199
10.3.3Hadoop的优势200
10.3.4Hadoop的发行版本200
10.4大数据的数据处理基础202
10.4.1Hadoop与NoSQL203
10.4.2NoSQL与RDBMS的主要区别204
10.4.3NewSQL206
10.5相关的大数据技术207
10.5.1神经网络207
10.5.2自然语言处理208
10.5.3语义检索209
10.5.4链接挖掘210
10.5.5A/B测试210第11章数据科学与数据科学家217
11.1什么是数据科学218
11.2数据分析生命周期模型219
11.3数据科学家221
11.3.1大数据生态系统中的关键角色222
11.3.2数据科学家所需的技能223
11.3.3数据科学家所需的素质226
11.3.4数据科学家的学习内容227
11.4数据科学的重要技能229
11.4.1数据科学技能和熟练程度230
11.4.2重要数据科学技能230
11.4.3因职业角色而异的十大技能231
11.4.4职业角色的重要技能233第12章大数据的未来240
12.1消费者的隐私权242
12.2连接开放数据244
12.2.1LOD运动244
12.2.2对政府公开的影响245
12.2.3利用开放数据的创业型公司247
12.3数据市场的兴起247
12.3.1Factual248
12.3.2Windows Azure Marketplace248
12.3.3Infochimps248
12.3.4Public Data Sets On AWS249
12.3.5不同的商业模式249
12.4将原创数据变为增值数据250
12.5大数据未来展望251
12.5.1大数据存储和管理252
12.5.2传统IT系统到大数据系统的过渡252
12.5.3大数据分析253
12.5.4大数据安全254
12.5.5数据科学254
参考文献266