大数据技术架构：核心原理与应用实践

1 大数据的前世今生与应用场景\t1
大数据的前世今生：大数据简史与大数据生态体系概述\t1
从搜索引擎到人工智能：大数据应用发展史\t6
大数据应用的搜索引擎时代\t6
大数据应用的数据仓库时代\t7
大数据应用的数据挖掘时代\t7
大数据应用的机器学习时代\t8
数据驱动一切：大数据全领域应用场景分析\t10
大数据在医疗健康领域的应用\t10
大数据在社交媒体领域的应用\t12
大数据在金融领域的应用\t13
大数据在新零售领域的应用\t13
大数据在交通领域的应用\t13
2 Hadoop大数据原理与架构\t15
移动计算比移动数据更划算\t16
从RAID看垂直伸缩到水平伸缩的演化\t19
新技术层出不穷，HDFS依然是存储的王者\t23
为什么说MapReduce既是编程模型又是计算框架\t29
MapReduce如何让数据完成一次旅行\t33
MapReduce作业启动和运行机制\t34
MapReduce数据合并与连接机制\t37
为什么把Yarn称为资源调度框架\t39
程序员应该如何学好大数据技术\t44
3 大数据生态体系主要产品原理与架构\t47
Hive是如何让MapReduce实现SQL操作的\t47
用MapReduce实现SQL数据分析的原理\t48
Hive的架构\t49
Hive如何实现join操作\t51
人们并没有觉得MapReduce速度慢，直到Spark出现\t53
同样的本质，为何Spark可以更高效\t57
Spark的计算阶段\t57
Spark的作业管理\t61
Spark的执行过程\t62
BigTable的开源实现：HBase\t63
HBase可伸缩架构\t64
HBase可扩展数据模型\t65
HBase的高性能存储\t66
流式计算的代表：Storm、Spark Streaming、Flink\t68
Storm\t68
Spark Streaming\t70
Flink\t71
ZooKeeper是如何保证数据一致性的\t74
分布式一致性原理\t75
Paxos算法与ZooKeeper架构\t76
大数据技术应用场景分析\t80
4 大数据开发实践\t82
如何自己开发一个大数据SQL引擎\t83
Panthera架构\t83
Panthera的SQL语法转换\t84
比如这条SQL\t85
Panthera程序设计\t85
Spark的性能优化案例分析\t89
Apache开源社区的组织和参与方式\t90
软件性能优化\t91
大数据开发的性能优化\t91
Spark性能优化\t92
案例1：Spark任务文件初始化调优\t95
案例2：Spark任务调度优化\t98
案例3：Spark应用配置优化\t102
案例4：操作系统配置优化\t102
案例5：硬件优化\t103
大数据基准测试可以带来什么好处\t105
大数据基准测试的应用\t105
大数据基准测试工具HiBench\t107
从大数据性能测试工具Dew看如何快速开发大数据系统\t109
Dew设计与开发\t110
Akka的原理与应用\t112
大数据开发实践的启示\t115
5 大数据平台与系统集成\t117
大数据平台 = 互联网产品 + 大数据产品\t117
数据采集\t119
数据处理\t119
数据输出与展示\t119
大数据任务调度\t120
大数据平台Lamda架构\t120
数据在大数据平台中的流转\t121
大数据从哪里来\t123
从数据库导入\t123
从日志文件导入\t124
前端埋点采集\t126
爬虫系统\t128
数据的熵\t128
知名大厂如何搭建大数据平台\t129
淘宝大数据平台\t129
美团大数据平台\t130
滴滴大数据平台\t131
学架构就是学架构模式\t133
盘点可供中小企业参考的商业大数据平台\t134
大数据解决方案提供商\t134
大数据云计算服务商\t136
大数据SaaS服务商\t138
大数据开放平台\t138
当大数据遇上物联网\t139
物联网应用场景分析\t139
物联网平台架构\t140
大数据技术在物联网中的应用\t141
6 大数据分析与运营\t144
老板想要监控什么运营指标\t144
互联网运营的常用数据指标\t145
数据可视化图表与数据监控\t147
一个用户新增下降的数据分析案例\t150
数据分析案例\t151
数据分析方法\t154
AB测试与灰度发布必知必会\t156
A/B测试的过程\t157
A/B测试的系统架构\t158
灰度发布\t159
如何利用大数据成为“增长黑客”\t160
Hotmail的增长黑客故事\t161
AARRR用户增长模型\t161
利用大数据增长用户数量\t163
为什么说数据驱动运营\t164
7 大数据算法与机器学习\t168
如何对数据进行分类和预测\t168
k近邻分类算法\t169
数据的距离\t170
文本的特征值\t171
贝叶斯分类\t172
如何发掘数据的关系\t174
搜索排序\t174
关联分析\t177
聚类\t179
如何预测用户的喜好\t181
基于人口统计的推荐\t182
基于商品属性的推荐\t183
基于用户的协同过滤推荐\t184
基于商品的协同过滤推荐\t185
机器学习的数学原理是什么\t186
样本\t187
模型\t187
算法\t188
为什么学机器学习要学数学\t189
从感知机到神经网络\t190
感知机\t191
神经网络\t192