目录
第1 章 Spark 与大数据 1
1.1 大数据的发展及现状 1
1.1.1 大数据时代所面临的问题 1
1.1.2 谷歌的大数据解决方案 2
1.1.3 Hadoop 生态系统 3
1.2 Spark 应时而生 4
1.2.1 Spark 的起源 4
1.2.2 Spark 的特点 5
1.2.3 Spark 的未来发展 6
第2 章 Spark 基础 8
2.1 Spark 本地单机模式体验 8
2.1.1 安装虚拟机 8
2.1.2 安装JDK 19
2.1.3 下载Spark 预编译包 21
2.1.4 本地体验Spark 22
2.2 高可用Spark 分布式集群部署 25
2.2.1 集群总览 26
2.2.2 集群机器的型号选择 28
2.2.3 初始化集群机器环境 29
2.2.4 部署ZooKeeper 集群 33
2.2.5 编译Spark 35
2.2.6 部署Spark Standalone 集群 37
2.2.7 高可用Hadoop 集群 40
2.2.8 让Spark 运行在YARN 上 40
2.2.9 一键部署高可用Hadoop +
Spark 集群 42
2.3 Spark 编程指南 43
2.3.1 交互式编程 43
2.3.2 RDD 创建 44
2.3.3 RDD 操作 47
2.3.4 使用其他语言开发Spark 程序 54
2.4 打包和提交 54
2.4.1 编译、链接、打包 54
2.4.2 提交 56
第3 章 Spark 工作机制 58
3.1 调度管理 58
3.1.1 集群概述及名词解释 58
3.1.2 Spark 程序之间的调度 60
3.1.3 Spark 程序内部的调度 63
3.2 内存管理 65
3.2.1 RDD 持久化 65
3.2.2 共享变量 66
3.3 容错机制 67
3.3.1 容错体系概述 67
3.3.2 Master 节点失效 68
3.3.3 Slave 节点失效 69
3.4 监控管理 69
3.4.1 Web 界面 69
3.4.2 REST API 72
3.4.3 Metrics 指标体系 73
3.4.4 其他监控工具 73
3.5 Spark
鄂公网安备 42010302001612号 