大数据的冲击

目　录

第1章　什么是大数据
1.1　The data deluge　2
1.2　用3V来描述大数据的特征　3
1.3　广义的大数据　8
1.4　为什么现在要谈大数据？①大数据的民主化　9
1.5　为什么现在要谈大数据？②硬件性价比的提高以及软件技术的进步　10
1.6　为什么现在要谈大数据？③云计算的普及　12
1.7　从“看到过去”到“预测未来”BI与大数据的交叉　18
1.8　从点(交易数据)分析到线(交互数据)分析　20
1.9　大数据的分析工具　22
本章小结　24

第2章　支撑大数据的技术
2.1　人手不足　26
2.2　什么是Hadoop　26
2.3　发行版本的增加　30
2.4　发行版本众多的原因　33
2.5　NoSQL数据库　34
2.6　风投资本对Hadoop、NoSQL企业的热切关注　39
2.7　大数据时代的数据处理基础　41
2.8　备受关注的分析型数据库　42
2.9　流数据处理(实时数据处理)　45
2.10　自行开发流数据处理技术的互联网企业　47
2.11　机器学习、统计分析等　49
2.12　自然语言处理及其他　51
本章小结　53

第3章　以大数据为武器的企业欧美企业篇
3.1　大步迈进的互联网企业对大数据的运用　56
3.2　eBay：每天产生50TB的数据　59
3.2.1　超乎寻常的数据产生速度　60
3.2.2　eBay的数据分析基础架构　61
3.3　Zynga：披着游戏公司外衣的分析公司　64
3.3.1　社交游戏经济的重要指标　65
3.3.2　提高病毒系数的方法　66
3.3.3　数据驱动游戏　67
3.3.4　三次点击法则　68
3.4　Centrica：通过智能电表分析能源消耗模式　69
3.4.1　英国电力、燃气收费的实际情况　70
3.4.2　使用智能电表所带来的影响　71
3.5　Catalina　Marketing：通过收银台优惠券对顾客的购买行为进行设计　75
3.5.1　存储超过1亿人的购物记录　76
3.5.2　预测顾客的购买行为，刺激来店消费　78
本章小结　80

第4章　以大数据为武器的企业日本企业篇
4.1　对大数据的运用正在日本兴起　84
4.2　小松：在日本运用大数据的先驱者　84
4.3　Recruit：通过对Hadoop的充分运用，成功实现对数据分析的观念革新　88
4.3.1　几乎整个公司都在运用Hadoop　89
4.3.2　支撑Recruit大数据分析的Hadoop基础架构　91
4.3.3　成功的秘诀在于组织体制　93
4.3.4　在Recruit眼中Hadoop的真正价值是什么　94
4.4　GREE：快速成长的原动力在于数据驱动型工作方式　97
4.4.1　比起个人的感觉，数千万人的数据更可信　100
4.4.2　数据驱动型工作方式的支撑力是对日志数据的执着　102
4.4.3　集结了拥有多种技能的专业人员　104
4.4.4　将信息丢失控制在最低限度的团队体制　105
4.5　麦当劳：在现实世界中实现一对一营销　106
4.5.1　创新性的优惠券背后是周到的准备　107
4.5.2　关注将手机用作积分卡的模式　110
本章小结　111

第5章　大数据的运用模式
5.1　大数据的运用实例　114
5.2　大数据运用模式的分类　118
5.2.1　个别优化·批处理型(图表5-2)　119
5.2.2　个别优化·实时型(图表5-4)　121
5.2.3　整体优化·批处理型(图表5-5)　123
5.2.4　整体优化·实时型(图表5-8)　127
5.3　大数据的运用级别　128
5.3.1　对过去/现状的把握　128
5.3.2　发现模式　129
5.3.3　预测　130
5.3.4　优化　130
5.4　专栏：动态定价　132
5.5　大数据运用的真正价值　134
本章小结　137

第6章　大数据时代的隐私问题
6.1　在隐私与创新的夹缝中生存　140
6.2　美国国会的关注　142
6.3　建立社交化档案的是非　146
6.4　Do Not Track　149
6.5　消费者隐私权法案　151
6.6　采用主动许可方式的欧盟　155
6.7　数据保护指令同样面临修订　156
6.8　在日本需要考虑个人信息保护法及各行业领域的指导方针　159
6.9　在向第三方提供信息上采用主动许可方式的指导方针　162
6.10　日本政府的讨论情况　162
6.11　经济产业省以“信息大航海计划”为契机展开讨论　163
6.12　总务省从生活日志的角度展开讨论　165
6.12.1　个人信息保护的角度　167
6.12.2　与隐私等的关系　167
6.13　关键在于与用户的沟通　171
6.14　线下行为跟踪　172
本章小结　174

第7章　开放数据时代的到来与数据市场的兴起
7.1　运用公开数据也是一种选择　178
7.2　兴盛的LOD运动　179
7.3　对政府公开的影响　182
7.4　层出不穷的创业型公司　185
7.5　通过举办竞赛来促进数据运用　187
7.6　输在起跑线上的日本　189
7.7　以震灾为契机逐步发展的日本开放数据工作　191
7.8　数据市场的兴起　194
7.8.1　Factual　195
7.8.2　Windows Azure Marketplace　196
7.8.3　Infochimps　197
7.8.4　Public Data Sets on AWS　199
7.9　不同的商业模式　201
7.10　数据市场兴盛背后的课题　202
本章小结　203

第8章　为大数据时代做好准备
8.1　大数据时代的企业IT战略　206
8.2　共享数据的日本企业　209
8.2.1　罗森和雅虎　210
8.2.2　KDDI和乐天　210
8.2.3　COOKPAD和ID’s　210
8.3　拥有原创数据的优势　211
8.4　供应商企业的新商机：数据聚合商　212
8.5　谁能成为数据聚合商　214
8.6　在美国备受瞩目的支付服务商向数据聚合商的演化　216
8.6.1　VISA　216
8.6.2　PayPal　218
8.6.3　美国运通　218
8.7　数据整合之妙：将原创数据变为增值数据　219
8.8　日益抢手的数据科学家　220
8.9　数据科学家所需的技能　223
8.10　数据科学家所需的素质　227
8.11　严重的人才匮乏　228
8.12　研究生院的成立　232
8.13　大数据分析企业吸引了大量的资金　235
8.14　日本也开始了对数据科学家的争夺　236
8.15　最后的问题：组织结构和企业文化　238
8.16　目标：成为数据驱动型企业　240
本章小结　242

致谢　243
参考文献　244
版权声明　248