大数据平台基础架构指南

第1章 大数据平台整体建设思想 1
1．1 什么是大数据平台 1
1．2 大数据平台的建设目标 3
1．2．1 别人的大数据平台是怎样的 3
1．2．2 和业内领先的大数据平台的差距 4
1．2．3 大数据平台建设目标小结 6
1．3 大数据平台的建设指导方针 6
1．3．1 组件工具化 7
1．3．2 工具平台化 8
1．3．3 平台服务化 9
1．3．4 平台产品化 10
1．3．5 对中小公司大数据平台的适用性 11
1．4 大数据平台的两种建设路径 12
1．4．1 垂直业务领域一站到底的建设方式 13
1．4．2 通用组件建设，组合支持业务的方式 13
1．4．3 从蘑菇街平台的实践经验对比两种建设路径 14
1．4．4 两种建设路径的对比小结 16
第2章 服务意识和产品思想的培养 17
2．1 明确大数据平台服务能力的评估标准 17
2．1．1 大数据平台团队的职能定位 18
2．1．2 打通上下游系统和业务流程的能力 18
2．2 满足用户真正的需求 19
2．3 认清服务的代价，做好心理建设 20
2．4 寻找解决服务代价问题的方案 23
2．4．1 路线选择带来的代价问题 23
2．4．2 如何降低服务自身的代价 25
2．5 大数据平台的产品化思想 29
2．5．1 从用户体验的角度谈产品设计 31
2．5．2 从价值和利益的角度谈产品思维 36
2．6 小结 38
第3章 工作流（作业）调度系统 39
3．1 作业调度系统基础理论 40
3．1．1 调度系统分类 40
3．1．2 工作流调度系统的两种心法流派 45
3．1．3 工作流调度系统功能特性详解 49
3．2 Jarvis调度系统产品开发实践 55
3．2．1 需求定位分析 55
3．2．2 具体功能目标的详细分析和实践 57
3．2．3 第二代Jarvis现状和将来 75
3．3 小结 79
第4章 集成开发环境门户建设 81
4．1 集成开发环境的功能定位 82
4．1．1 集成开发环境的整体服务思路 83
4．1．2 集成开发环境的具体产品建设目标 86
4．1．3 小结 93
4．2 开发平台测试环境建设 94
4．2．1 问题背景 94
4．2．2 系统功能性测试环境 95
4．2．3 数据业务类测试环境 96
4．2．4 小结 100
第5章 数据采集、传输、交换、同步服务 101
5．1 数据交换服务场景和常见开源方案 102
5．1．1 大数据平台数据交换服务业务场景 102
5．1．2 常见数据交换服务解决方案介绍 103
5．2 数据交换服务具体产品实践 110
5．2．1 数据交换服务底层组件 110
5．2．2 数据交换服务管控平台 113
5．2．3 蘑菇街数据交换服务的实践现状和未来改进计划 118
5．3 用户行为链路分析之日志埋点采集跟踪方案实践 120
5．3．1 记日志有什么难的 120
5．3．2 蘑菇街的用户行为日志采集方案实践 122
5．3．3 小结 129
第6章 数据可视化平台 130
6．1 什么是数据可视化平台 130
6．1．1 数据可视化平台名词定义 131
6．1．2 已经有了那么多商业BI系统，为什么还要造轮子 132
6．2 数据可视化平台产品实践 134
6．2．1 可视化平台产品定位和需求分析 135
6．2．2 具体产品功能需求实践详解 136
6．2．3 将来的改进目标 146
6．2．4 产品实践小结 148
第7章 安全与权限管控 149
7．1 权限管理的目标是什么 149
7．1．1 适度安全，降低人为风险 150
7．1．2 隔离环境，提高工作效率 151
7．1．3 权责明晰，规范业务流程 152
7．1．4 权限管理目标小结 153
7．2 如何解决安全和便利的矛盾 153
7．2．1 安全和便利天生矛盾 153
7．2．2 改变角度，转移目标 154
7．2．3 把握尺度 155
7．2．4 可能的变通措施 157
7．2．5 思想小结 163
7．3 权限管控系统产品方案和技术分析 163
7．3．1 常见开源方案 164
7．3．2 Kerberos 165
7．3．3 Sentry和Ranger 168
7．3．4 Knox 169
7．3．5 开源项目中常见的权限模型概念 169
7．4 基于开发平台服务入口的权限管控方案 171
7．4．1 权限管控方案实践 171
7．4．2 底层统一权限管控和平台边界权限管控方案对比 173
第8章 数据质量管理 175
8．1 元数据管理平台 176
8．1．1 元数据管理平台管理什么 176
8．1．2 元数据管理相关系统方案介绍 180
8．1．3 元数据管理系统工程实践 183
8．2 DQC数据质量中心 185
8．2．1 DQC数据质量中心业界方案 186
8．2．2 DQC数据质量系统建设实践 188
8．3 数据质量管理小结 193
第9章 大数据集群迁移经验谈 195
9．1 集群迁移都要面对哪些麻烦事 196
9．1．1 集群和机房外部环境问题 196
9．1．2 平台自身组件和服务依赖问题 196
9．1．3 业务模式和沟通配合问题 197
9．1．4 业务逻辑和数据正确性问题 198
9．2 集群搬迁方案的总体目标、原则、流程 199
9．3 一些具体问题的分析和实践 201
9．3．1 如何保证正确性 201
9．3．2 集群数据同步拷贝方案 205
9．3．3 各种无法双跑的业务场景梳理 207
9．4 小结 208
第10章 谈谈大数据码农的职业发展问题 210
10．1 如何成为一名糟糕的大数据平台工程师 211
10．1．1 我是小白我怕谁 211
10．1．2 敏而好学，不耻下问 212
10．1．3 效率优先，中文至上 213
10．1．4 流行的就是最好的 213
10．1．5 我们的征途，是星辰大海 215
10．1．6 书中自有颜如玉，热衷阅读代码 216
10．1．7 谜之问题的谜之解决方式 218
10．1．8 勤奋好学，但是回头即忘 220
10．1．9 小结 221
10．2 职业选择和我们早晚要面对的中年危机问题 222
10．2．1 中年危机，要从娃娃抓起 222
10．2．2 中年危机之抗焦虑指南 223
10．2．3 如何才能获得自由 225
10．2．4 案例 230
10．2．5 小结 233