Hadoop大数据技术应用

第1章 大数据概论
1.1 大数据概述
1.2 大数据的行业应用
1.3 大数据的基本概念
1.4 本章小结
1.5 课后习题
第2章 初识Hadoop
2.1 Hadoop简介
2.2 Hadoop生态圈介绍
2.3 本章小结
2.4 课后习题
第3章 Linux基础
3.1 Linux简介
3.2 Linux文件管理常用命令、Shell编程
3.2.1 Linux文件基础知识
3.2.2 Shell编程基础
3.2.3 Shell流程控制
3.3 本章小结
3.4 课后习题
第4章 Hadoop集群的搭建
4.1 Hadoop集群搭建前的准备
4.1.1 安装虚拟机软件
4.1.2 Hadoop集群规划
4.1.3 在虚拟机软件中安装Linux操作系统
4.1.4 配置Linux系统网络
4.1.5 SSH服务设置
4.2 Hadoop集群搭建
4.2.1 JDK安装
4.2.2 Hadoop安装
4.2.3 Hadoop集群配置
4.3 Hadoop集群启动
4.3.1 文件系统格式化
4.3.2 启动和关闭Hadoop集群
4.3.3 查看Hadoop集群运行状态
4.4 Hadoop集群使用
4.5 本章小结
4.6 课后练习
第5章 HDFS分布式文件系统
5.1 HDFS简介
5.1.1 HDFS演变
5.1.2 HDFS的基本概念
5.1.3 HDFS的特点
5.2 HDFS的读写
5.2.1 HDFS存储架构
5.2.2 HDFS文件读写原理
5.3 HDFS Shell操作
5.3.1 HDFS的Shell操作
5.3.2 案例——Shell定时采集数据到HDFS
5.4 HDFS Java API操作
5.4.1 HDFS Java API介绍
5.4.2 HDFS Java API案例
5.5 本章小结
5.6 课后习题
第6章 MapReduce分布式计算框架
6.1 MapReduce概述
6.2 .MapRedlace编程模型
6.2.1 MapReduce工作流程
6.2.2 MapTask工作原理
6.2.3 ReduceTask工作原理
6.3 MapReduce案例解析
6.3.1 单词统计
6.3.2 倒排索引(InvertedIndex)
6.3.3 数据去重(dedup)
6.4 本章小结
6.5 课后习题
第7章 项目实战——某国新冠肺炎疫情COVID-19分析
7.1 项目说明
7.1.1 MapRedlice PartItiion机制
7.1.2 MapRedlice Combiner规约
7.1.3 MapReduce编程技巧
7.1.4 数据字段说明
7.2 MapReduce自定义组件
7.2.1 初始化项目
7.2.2 自定义对象序列化
7.2.3 自定义排序
7.2.4 自定义分区
7.2.5 自定义分组
7.2.6 自定义分组拓展Top N
7.3 MapReduce运行模式
7.3.1 本地运行
7.3.2 打包发布运行
参考文献