Hive数据仓库技术与应用

单元1 Hive概述1
任务1.1 Hive的产生背景1
1 Hive的产生背景2
2 Hive的发展历史和现状4
3 Hive与Hadoop4

任务1.2 Hive的概念9
1 Hive的系统与部署架构9
2 Hive与RDBM对比12
3数据仓库的理解12
4 Hive的数据模型15
5 HiveQL与数据存储16
任务1.3 Hadoop生态与Hive20
1 Pig20
2 HBase21
单元小结25

单元2 环境准备26
任务2.1 VMware与SecureCRT  Portable26
1 VMware简介26
2 VMware的虚拟化27
任务2.2 JDK的配置37
1 JDK的简介37
2 JDK的版本37
3上传JDK的介质37
4 tar的解压与压缩37
任务2.3 免密登录41
1 免密登录用户41
2免密登录的优点42
单元小结46

单元3 Hadoop搭建和配置47
任务3.1 Hadoop搭建47
1上传Hadoop的介质47
2解压Hadoop压缩包48
3配置Hadoop的环境变量48
4配置Hadoop环境变量48
5修改Hadoop的配置文件49
6启动Hadoop服务51
7检查Hadoop的成功52
任务3.2 Hadoop配置57
1 Hadoop简介57
2 MapReduce综述61
单元小结70

单元4 安装Hive的基础操作71
任务4.1 Hive的模式71
1本地模式72
2远程模式72
3内嵌模式73
任务4.2 安装Hive实验88
1 Hive简介88
2 Hive的定义88
3设计特征88
4数据存储89
任务4.3 Hive命令95
1创建表语句95
2加载数据96
3改变表98
4替换101
5删除表102
6分区103
任务4.4 Hive命令行界面107
1 CLI选项107
2变量和属性111
3在Hive内使用Hadoop的DFS命令112
任务4.5 数据类型和文件格式114
1基本数据类型114
2文件格式116
3压缩编码119
4集合数据类型121
任务4.6 Hive权限管理125
1开启权限126
2权限操作128
任务4.7 Hive常用优化方法137
1控制Reducer数量137
2使用Map Join138
3使用distinct+union all 代替union139
4解决数据倾斜的通用方法140
单元小结141
单元5 HiveQL的数据定义143
任务5.1 HiveQL的数据定义143
1 HiveQL的数据定义143
2 HiveQL和SQL的区别146
任务5.2 Hive数据库150
1 Hive的数据库150
2修改数据库属性151
任务5.3 修改表157
1增加、修改和删除表分区157
2表重命名157
3增加列157
4删除或者替换列157
5修改表属性158
6修改存储属性158
7修改表语句158
单元小结162
单元6 HiveQL语句163
任务6.1 SELECT、FROM语句的概念163
1使用正则表达式来指定列163
2使用列值进行计算165
3算术运算符165
4使用函数168
5 LIMIT语句169
6列的别名169
7 CASE、WHEN、THEN句式169
8嵌套SELECT语句172
任务6.2 GROUP BY178
任务6.3 抽样查询180
1数据块抽样180
2分桶表的输入裁剪180
任务6.4 WHERE语句181
1谓语操作符182
2浮点数比较183
任务6.5 JOIN语句184
1 JOIN优化185
2 LEFT OUTER JOIN186
3 INNER JOIN187
4 FULL OUTER JOIN189
5 LEFT SEMIJOIN189
6 RIGHT OUTER JOIN190
7 OUTER JOIN190
8笛卡儿积JOIN191
9 mapsidejoin192
单元小结194
单元7 Hive综合应用195
任务7.1 Hive和亚马逊网络服务系统(AWS)195
1弹性MapReduce的优点196
2注意事项196
3 EMR上的实例196
任务7.2 Hive综合案例199
1 Hive操作演示199
2交易数据演示207
单元小结227
参考文献228