Hadoop大数据技术原理与应用

目录
第1章初识Hadoop1
1.1大数据概述1
1.1.1什么是大数据1
1.1.2大数据的特征2
1.1.3研究大数据的意义3
1.2大数据的应用场景4
1.2.1医疗行业的应用4
1.2.2金融行业的应用4
1.2.3零售行业的应用5
1.3Hadoop概述6
1.3.1Hadoop的前世今生6
1.3.2Hadoop的优势7
1.3.3Hadoop的生态体系7
1.3.4Hadoop的版本9
1.4本章小结11
1.5课后习题11
第2章搭建Hadoop集群13
2.1安装准备13
2.1.1虚拟机安装13
2.1.2虚拟机克隆22
2.1.3Linux系统网络配置24
2.1.4SSH服务配置28
2.2Hadoop集群搭建31
2.2.1Hadoop集群部署模式31
2.2.2JDK安装32
2.2.3Hadoop安装33
2.2.4Hadoop集群配置35
2.3Hadoop集群测试38
2.3.1格式化文件系统38目录Hadoop大数据技术原理与应用2.3.2启动和关闭Hadoop集群39
2.3.3通过UI查看Hadoop运行状态41
2.4Hadoop集群初体验43
2.5本章小结46
2.6课后习题46
第3章HDFS分布式文件系统48
3.1HDFS的简介48
3.1.1HDFS的演变48
3.1.2HDFS的基本概念50
3.1.3HDFS的特点51
3.2HDFS的架构和原理52
3.2.1HDFS存储架构52
3.2.2HDFS文件读写原理53
3.3HDFS的Shell操作55
3.3.1HDFS Shell介绍55
3.3.2案例——Shell定时采集数据到HDFS58
3.4HDFS的Java API操作62
3.4.1HDFS Java API介绍62
3.4.2案例——使用Java API操作HDFS63
3.5本章小结68
3.6课后习题69
第4章MapReduce分布式计算框架70
4.1MapReduce概述70
4.1.1MapReduce核心思想70
4.1.2MapReduce编程模型71
4.1.3MapReduce编程实例——词频统计72
4.2MapReduce工作原理73
4.2.1MapReduce工作过程73
4.2.2MapTask工作原理74
4.2.3ReduceTask工作原理75
4.2.4Shuffle工作原理76
4.3MapReduce编程组件77
4.3.1InputFormat组件77
4.3.2Mapper组件78
4.3.3Reducer组件78
4.3.4Partitioner组件80
4.3.5Combiner组件80
4.3.6OutputFormat组件81
4.4MapReduce运行模式82
4.5MapReduce性能优化策略84
4.6MapReduce经典案例——倒排索引86
4.6.1案例分析86
4.6.2案例实现89
4.7MapReduce经典案例——数据去重93
4.7.1案例分析93
4.7.2案例实现93
4.8MapReduce经典案例——TopN96
4.8.1案例分析96
4.8.2案例实现97
4.9本章小结100
4.10课后习题100
第5章Zookeeper分布式协调服务102
5.1初识Zookeeper102
5.1.1Zookeeper简介102
5.1.2Zookeeper的特性103
5.1.3Zookeeper集群角色103
5.2数据模型104
5.2.1数据存储结构104
5.2.2Znode的类型105
5.2.3Znode的属性105
5.3Zookeeper的Watch机制106
5.3.1Watch机制的简介106
5.3.2Watch机制的特点106
5.3.3Watch机制的通知状态和事件类型107
5.4Zookeeper的选举机制107
5.4.1选举机制的简介107
5.4.2选举机制的类型108
5.5Zookeeper分布式集群部署109
5.5.1Zookeeper安装包的下载安装109
5.5.2Zookeeper相关配置109
5.5.3Zookeeper服务的启动和关闭112
5.6Zookeeper的Shell操作113
5.6.1Zookeeper Shell介绍113
5.6.2通过Shell命令操作Zookeeper113
5.7Zookeeper的Java API操作119
5.7.1Zookeeper Java API介绍119
5.7.2通过Java API操作Zookeeper120
5.8Zookeeper典型应用场景122
5.8.1数据发布与订阅122
5.8.2统一命名服务123
5.8.3分布式锁123
5.9本章小结123
5.10课后习题124
第6章Hadoop 2.0新特性125
6.1Hadoop 2.0改进与提升125
6.2YARN资源管理框架125
6.2.1YARN体系结构125
6.2.2YARN工作流程127
6.3HDFS的高可用128
6.3.1HDFS的高可用架构128
6.3.2搭建Hadoop高可用集群129
6.4本章小结134
6.5课后习题135
第7章Hive数据仓库136
7.1数据仓库简介136
7.1.1什么是数据仓库136
7.1.2数据仓库的结构137
7.1.3数据仓库的数据模型138
7.2Hive简介140
7.2.1什么是Hive140
7.2.2Hive系统架构141
7.2.3Hive工作原理141
7.2.4Hive数据模型142
7.3Hive的安装143
7.3.1Hive安装模式简介143
7.3.2嵌入模式144
7.3.3本地模式和远程模式145
7.4Hive的管理147
7.4.1CLI方式147
7.4.2远程服务148
7.5Hive内置数据类型150
7.6Hive数据模型操作151
7.6.1Hive数据库操作151
7.6.2Hive内部表操作153
7.6.3Hive外部表操作157
7.6.4Hive分区表操作158
7.6.5Hive桶表操作163
7.7Hive数据操作166
7.8本章小结170
7.9课后习题170
第8章Flume日志采集系统172
8.1Flume概述172
8.1.1Flume简介172
8.1.2Flume运行机制172
8.1.3Flume日志采集系统结构图173
8.2Flume基本使用175
8.2.1Flume系统要求175
8.2.2Flume安装配置175
8.2.3Flume入门使用177
8.3Flume采集方案配置说明181
8.3.1Flume Sources181
8.3.2Flume Channels184
8.3.3Flume Sinks186
8.4Flume的可靠性保证189
8.4.1负载均衡189
8.4.2故障转移195
8.5Flume拦截器196
8.6案例——日志采集198
8.6.1案例分析198
8.6.2案例实现199
8.7本章小结204
8.8课后习题205
第9章工作流管理器（Azkaban）206
9.1工作流管理器概述206
9.1.1工作流调度系统背景206
9.1.2常用工作流管理器介绍206
9.2Azkaban概述207
9.2.1Azkaban特点208
9.2.2Azkaban组成结构208
9.2.3Azkaban部署模式209
9.3Azkaban部署210
9.3.1Azkaban资源准备210
9.3.2Azkaban安装配置212
9.3.3Azkaban启动测试220
9.4Azkaban使用224
9.4.1Azkaban工作流相关概念224
9.4.2案例演示——依赖任务调度管理226
9.4.3案例演示——MapReduce任务调度管理232
9.4.4案例演示——HIVE脚本任务调度管理235
9.5本章小结237
9.6课后习题237
第10章Sqoop数据迁移239
10.1Sqoop概述239
10.1.1Sqoop简介239
10.1.2Sqoop原理240
10.2Sqoop安装配置241
10.3Sqoop指令介绍242
10.4Sqoop数据导入244
10.4.1MySQL表数据导入HDFS245
10.4.2增量导入247
10.4.3MySQL表数据导入Hive248
10.4.4MySQL表数据子集导入249
10.5Sqoop数据导出251
10.6本章小结253
10.7课后习题253
第11章综合项目——网站流量日志数据分析系统255
11.1系统概述255
11.1.1系统背景介绍255
11.1.2系统架构设计255
11.1.3系统预览256
11.2模块开发——数据采集257
11.2.1使用Flume搭建日志采集系统257
11.2.2日志信息说明258
11.3模块开发——数据预处理258
11.3.1分析预处理的数据258
11.3.2实现数据的预处理259
11.4模块开发——数据仓库开发268
11.4.1设计数据仓库268
11.4.2实现数据仓库269
11.5模块开发——数据分析273
11.5.1流量分析273
11.5.2人均浏览量分析274
11.6模块开发——数据导出275
11.7模块开发——日志分析系统报表展示276
11.7.1搭建日志分析系统277
11.7.2实现报表展示功能285
11.7.3系统功能模块展示290
11.8本章小结290