大数据运维图解教程

第1 章 大数据运维概述

1.1 从大数据说起  1

1.1.1 大数据产生、影响及挑战  1

1.1.2 大数据概念、特征及价值  14

1.1.3 大数据技术、产业及应用  18

1.2 大数据技术生态  24

1.2.1 分布式集群概述  24

1.2.2 Hadoop 生态系统  30

1.3 大数据运维  37

第2 章 集群基础环境搭建与运维

2.1 集群规划  41

2.2 虚拟机与Linux  44

2.3 网络配置与时钟同步  55

2.4 免密  60

2.5 JDK 和MySQL 部署  62

第3 章 分布式集群Hadoop 运维

3.1 Hadoop 平台安装与部署  69

3.1.1 Hadoop 安装准备  69

3.1.2 Hadoop 安装与部署  71

3.2 分布式存储组件HDFS  75

3.2.1 HDFS 结构  75

3.2.2 HDFS 读写原理  83

3.2.3 HDFS 操作与监控  86

3.3 离线分布式计算引擎MapReduce  90

3.3.1 MapReduce 结构与原理  90

3.3.2 MapReduce 部署与优化  100

3.4 集群资源管理YARN  101

3.4.1 YARN 的结构与原理  101

3.4.2 YARN 部署、优化与监控  105

第4 章 分布式系统协调器Zookeeper

4.1 Zookeeper 结构  108

IV 大数据运维图解教程

4.2 Zookeeper 原理  111

4.3 Zookeeper 部署与优化  117

第5 章 数据采集组件运维

5.1 日志采集组件Flume  121

5.2 数据迁移组件Sqoop  128

5.3 发布订阅消息组件Kafka  132

第6 章 数据处理组件运维

6.1 NoSQL 数据库HBase  137

6.1.1 NoSQL  137

6.1.2 HBase 架构与原理  141

6.1.3 HBase 部署与优化  148

6.2 数据仓库引擎Hive  153

6.2.1 Hive 架构与原理  154

6.2.2 Hive 部署与优化  166

6.3 内存计算引擎Spark  169

6.3.1 Spark 生态  169

6.3.2 Spark 架构与原理  173

6.3.3 Spark 部署与优化  179

第7 章 大数据平台运维工具

7.1 Ambari 大数据环境搭建利器  187

7.1.1 安装  187

7.1.2 使用  192

7.2 Hive SQL 监控系统—Hive Falcon  198

7.2.1 安装  198

7.2.2 使用  199

7.3 统一日志监控系统EKL  202

7.3.1 安装  202

7.3.2 使用  207

参考文献

附录A Web 监控端口

附录B 大数据平台运维任务

附录C 大数据运维三十六计