精通Hadoop 3

第1部分 Hadoop 3简介
第1章 Hadoop 3简介 3
1.1 Hadoop起源和时间轴 3
1.1.1 Hadoop的起源 4
1.1.2 时间轴 5
1.2 Hadoop 3及其特性 7
1.3 Hadoop逻辑视图 8
1.4 Hadoop发行版本 10
1.4.1 本地版本 11
1.4.2 云版本 11
1.5 回顾 12
1.6 本章小结 12
第2章 深入理解Hadoop分布式文件系统 13
2.1 技术需求 13
2.2 定义HDFS 13
2.3 深入研究HDFS体系结构 14
2.3.1 HDFS逻辑结构 15
2.3.2 数据分组的概念 18
2.3.3 HDFS通信体系结构 19
2.4 NameNode内部机制 21
2.5 数据本地性和机架感知 22
2.6 DataNode内部机制 24
2.7 Quorum Journal Manager（QJM） 25
2.8 Hadoop 3.x中的高可用性 26
2.9 数据管理 27
2.9.1 元数据管理 28
2.9.2 使用二级NameNode的检查点 31
2.9.3 数据集成 32
2.9.4 HDFS快照 32
2.9.5 数据平衡机制 33
2.9.6 均衡器的最佳应用方案 35
2.10 HDFS写入、读取操作 36
2.10.1 写入工作流 36
2.10.2 读取工作流 38
2.10.3 短路读取 40
2.11 管理Hadoop 3.x中的磁盘倾斜数据 41
2.12 HDFS中的延迟持久化写入操作 42
2.13 Hadoop 3.x中的纠删码 43
2.13.1 纠删码的优点 45
2.13.2 纠删码的缺点 45
2.14 HDFS公共接口 45
2.14.1 HDFS读取操作 46
2.14.2 HDFS写入操作 48
2.14.3 HDFSFileSystemWrite.java文件 49
2.14.4 HDFS删除操作 50
2.15 HDFS命令参考 50
2.15.1 文件系统命令 50
2.15.2 分布式复制 52
2.15.3 管理命令 53
2.16 回顾 54
2.17 本章小结 54
第3章 YARN资源管理器 55
3.1 YARN体系结构 55
3.1.1 资源管理器组件 58
3.1.2 节点管理器核心 60
3.2 YARN作业调度机制简介 60
3.3 FIFO调度器 61
3.4 计算能力调度器 61
3.5 公平调度器 63
3.5.1 调度队列 63
3.5.2 配置公平调度器 64
3.6 资源管理器的高可用性 65
3.6.1 资源管理器高可用性的体系结构 66
3.6.2 配置资源管理器高可用性 67
3.7 节点标记 69
3.8 Hadoop 3.x中的YARN时间轴服务器 75
3.9 Hadoop 3.x中的机会型容器 77
3.10 YARN中的Docker容器 79
3.10.1 配置Docker容器 80
3.10.2 运行Docker镜像 80
3.10.3 运行容器 80
3.11 YARN REST API 81
3.11.1 资源管理API 81
3.11.2 节点管理器REST API 85
3.12 YARN命令参考 86
3.12.1 用户命令 87
3.12.2 应用程序命令 87
3.12.3 日志命令 88
3.12.4 管理员命令 89
3.13 本章小结 90
第4章 MapReduce内部机制 91
4.1 技术需求 91
4.2 深入了解Hadoop MapReduce框架 91
4.3 YARN和MapReduce 95
4.4 Hadoop框架中的MapReduce工作流 97
4.5 常见的MapReduce模式 100
4.5.1 求和模式 100
4.5.2 过滤模式 112
4.5.3 连接模式 116
4.5.4 复合连接 123
4.6 MapReduce用例 126
4.6.1 MovieRatingMapper 127
4.6.2 MovieRatingReducer 128
4.6.3 MovieRatingDriver 128
4.7 优化MapReduce 130
4.7.1 硬件配置 130
4.7.2 操作系统调试 131
4.7.3 优化技术 132
4.7.4 运行期配置 133
4.7.5 文件系统优化 133
4.8 本章小结 134
第2部分 Hadoop生态圈
第5章 Hadoop中的SQL 137
5.1 技术需求 137
5.2 Presto 137
5.2.1 Presto体系结构 138
5.2.2 安装Presto并执行基本的查询操作 139
5.2.3 函数 142
5.2.4 Presto连接器 144
5.3 Hive 147
5.3.1 Apache Hive体系结构 148
5.3.2 安装和运行Hive 149
5.3.3 Hive查询 150
5.3.4 选择文件格式 154
5.3.5 HCatalog简介 156
5.3.6 HiveServer2简介 157
5.3.7 Hive UDF 157
5.3.8 理解Hive中的ACID 161
5.3.9 分区机制和分桶机制 166
5.3.10 最佳实践 167
5.4 Impala 168
5.4.1 Impala体系结构 168
5.4.2 了解Impala接口和查询 170
5.4.3 Impala实战 171
5.4.4 加载CSV文件中的数据 173
5.4.5 最佳实践方案 175
5.5 本章小结 176
第6章 实时处理引擎 177
6.1 技术需求 177
6.2 Spark 177
6.2.1 Apache Spark内部机制 178
6.2.2 弹性分布式数据集 180
6.2.3 安装并运行第一个Spark作业 182
6.2.4 累加器和广播变量 188
6.2.5 理解数据框和数据集 189
6.2.6 Spark集群管理器 192
6.2.7 最佳实践 193
6.3 Apache Flink 195
6.3.1 Flink体系结构 195
6.3.2 Apache Flink生态圈组件 196
6.3.3 数据流和数据集API 198
6.3.4 表API 201
6.3.5 最佳实践 203
6.4 Storm/Heron 204
6.4.1 Storm/Heron体系结构 205
6.4.2 理解Storm Trident 210
6.4.3 Storm集成 211
6.4.4 最佳实践 212
6.5 本章小结 212
第7章 Hadoop生态圈组件 213
7.1 技术需求 213
7.2 Pig 213
7.2.1 Apache Pig体系结构 214
7.2.2 安装并运行Pig 216
7.2.3 Pig Latin和Grunt 217
7.2.4 编写Pig中的UDF 218
7.2.5 Pig和Hive 221
7.2.6 最佳实践 222
7.3 HBase 222
7.3.1 HBase体系结构及其概念 223
7.3.2 CAP理论 225
7.3.3 HBase操作机器示例 227
7.3.4 安装 230
7.3.5 最佳实践 232
7.4 Kafka 233
7.4.1 Apache Kafka体系结构 234
7.4.2 安装和运行Apache Kafka 236
7.4.3 生产者和使用者的内部机制 238
7.4.4 编写生产者和使用者应用程序 241
7.4.5 Kafka的ETL连接 244
7.4.6 最佳实践 248
7.5 Flume 249
7.5.1 Apache Flume体系结构 249
7.5.2 深入理解源、通道和接收器 251
7.5.3 Flume拦截器 265
7.5.4 用例—Twitter数据 271
7.5.5 最佳实践 273
7.6 本章小结 274
第3部分 Hadoop的实际应用
第8章 定义Hadoop中的应用程序 277
8.1 技术需求 277
8.2 文件格式 277
8.2.1 了解文件格式 278
8.2.2 文本 279
8.2.3 序列文件 279
8.2.4 Avro 282
8.2.5 优化的行和列（ORC） 284
8.2.6 Parquet 285
8.3 数据压缩 285
8.3.1 Hadoop中的数据压缩类型 286
8.3.2 压缩格式 289
8.4 序列化 290
8.5 数据摄取 290
8.5.1 批量摄取 291
8.5.2 宏批处理摄取 292
8.5.3 实时摄取 293
8.6 数据处理 294
8.6.1 批处理 294
8.6.2 微批处理 296
8.6.3 实时处理 297
8.7 常见的批处理模式 298
8.7.1 缓时变维度 298
8.7.2 重复记录和小型文件 300
8.7.3 实时查找 301
8.8 针对编排的Airflow 302
8.9 数据治理 303
8.9.1 数据治理的主要内容 303
8.9.2 元数据管理 304
8.9.3 数据生命周期管理 305
8.9.4 数据分类 306
8.10 本章小结 307
第9章 Hadoop中的实时流处理 309
9.1 技术需求 309
9.2 流式数据集 309
9.3 流数据摄取 310
9.3.1 Flume中基于事件的数据摄取 310
9.3.2 Kafka 311
9.4 常见的流数据处理模式 313
9.5 流式设计 314
9.5.1 延迟 315
9.5.2 数据可用性、一致性和安全性 315
9.5.3 无界数据源 316
9.5.4 数据查找 316
9.5.5 数据格式 317
9.5.6 序列化数据 317
9.5.7 并行处理机制 317
9.5.8 无序事件 318
9.5.9 消息传递语义 318
9.6 微批处理用例 319
9.7 实时处理案例 328
9.7.1 主代码 333
9.7.2 执行代码 344
9.8 本章小结 345
第10章 Hadoop中的机器学习 347
10.1 技术需求 347
10.2 机器学习步骤 347
10.3 常见的机器学习挑战 348
10.4 Spark机器学习 349
10.4.1 转换器函数 350
10.4.2 评估器 351
10.4.3 Spark ML管线 351
10.5 Hadoop和R 352
10.6 Mahout 353
10.7 Spark中的机器学习案例 354
10.8 本章小结 358
第11章 云端中的Hadoop 359
11.1 技术需求 359
11.2 云端Hadoop的逻辑视图 359
11.3 网络 361
11.3.1 区域和可用区 361
11.3.2 VPC和子网 362
11.3.3 安全组和防火墙规则 363
11.3.4 AWS操作示例 364
11.4 管理资源 370
11.5 数据管线 374
11.5.1 Amazon数据管线 375
11.5.2 Airflow 375
11.5.3 Airflow组件 376
11.5.4 数据管线的DAG示例 376
11.6 高可用性（HA） 379
11.6.1 服务器故障 379
11.6.2 云存储高可用性 381
11.7 本章小结 382
第12章 Hadoop集群分析 383
12.1 基准测试和分析简介 383
12.2 HDFS 385
12.3 NameNode 386
12.3.1 NNBench 386
12.3.2 NNThroughputBenchmark 387
12.3.3 合成加载生成器 389
12.4 YARN 392
12.5 Hive 393
12.5.1 TPC-DS 393
12.5.2 TPC-H 394
12.6 混合工作负载 395
12.6.1 Rumen 395
12.6.2 Gridmix 396
12.7 本章小结 397
第4部分 Hadoop的安全机制
第13章 Hadoop中的角色及其执行内容 401
13.1 Hadoop安全问题的各种因素 401
13.2 系统安全 402
13.3 Kerberos验证机制 403
13.3.1 Kerberos的优点 404
13.3.2 Kerberos验证流 404
13.4 用户权限 406
13.4.1 Ranger 407
13.4.2 Sentry 408
13.5 Hadoop 3.0中的安全特征列表 409
13.6 本章小结 411
第14章 网络和数据安全 413
14.1 Hadoop网络安全 413
14.1.1 隔离不同类型的网络 413
14.1.2 网络防火墙 415
14.1.3 Hadoop服务的网络边界安全工具 415
14.2 加密技术 417
14.2.1 传输数据加密 417
14.2.2 静态数据加密 418
14.3 数据屏蔽机制 419
14.4 过滤机制 420
14.4.1 行级别过滤机制 420
14.4.2 列级别过滤机制 421
14.5 本章小结 421
第15章 监测Hadoop 423
15.1 通用监测机制 423
15.1.1 HDFS指标 423
15.1.2 YARN指标 425
15.1.3 ZooKeeper指标 426
15.1.4 Apache Ambari 426
15.2 安全监测机制 427
15.2.1 安全信息和事件管理 427
15.2.2 SIEM的工作方式 428
15.2.3 入侵检测系统 429
15.2.4 入侵预防系统 430
15.3 本章小结 430