大数据分析及应用项目教程（Spark SQL）

第 1 章 大数据分析概述 ..........................................................................................1
任务 1.1 关于大数据分析............................................................................................. 1
情境导入 ........................................................................................................ 1
学习目标和要求 ............................................................................................ 1
1.1.1 什么是大数据分析 ............................................................................ 2
1.1.2 大数据分析工具 ................................................................................ 5
1.1.3 大数据分析可视化 ............................................................................ 8
任务 1.2 认识 Spark SQL ............................................................................................. 8
情境导入 ........................................................................................................ 8
学习目标和要求 ............................................................................................ 8
1.2.1 Spark SQL 的背景简介 ..................................................................... 9
1.2.2 Spark SQL 的运行原理 ................................................................... 10
脑图小结......................................................................................................................... 14
章节练习......................................................................................................................... 16
第 2 章 实践环境准备 ...........................................................................................17
任务 2.1 Hadoop 集群环境搭建 ................................................................................. 17
情境导入 ...................................................................................................... 17
学习目标和要求 .......................................................................................... 18
2.1.1 环境准备 .......................................................................................... 18
2.1.2 安装 Hadoop..................................................................................... 35
2.1.3 启动 Hadoop 集群............................................................................ 45
2.1.4 运行经典案例 wordcount ................................................................ 48
任务 2.2 Spark 集群部署与使用 ................................................................................ 50
情境导入 ...................................................................................................... 50
学习目标和要求 .......................................................................................... 50
2.2.1 安装 Spark ........................................................................................ 50
2.2.2 启动 Spark ........................................................................................ 54
2.2.3 Spark 集群测试 ................................................................................ 56
任务 2.3 安装 Scala ..................................................................................................... 60
情境导入 ...................................................................................................... 60
学习目标和要求 .......................................................................................... 60
2.3.1 下载 Scala 安装包............................................................................ 61
2.3.2 Scala 安装配置................................................................................. 61
脑图小结......................................................................................................................... 62
章节练习......................................................................................................................... 63
第 3 章 学生信息处理分析 ....................................................................................65
任务 3.1 班级基本情况分析....................................................................................... 66
情境导入 ...................................................................................................... 66
学习目标和要求 .......................................................................................... 66
3.1.1 学生所属班级和男女生数量 .......................................................... 67
3.1.2 以班级为单位整理学生信息 .......................................................... 84
任务 3.2 学生基本情况分析....................................................................................... 96
情境导入 ...................................................................................................... 96
学习目标和要求 .......................................................................................... 96
3.2.1 学生特长情况分析 .......................................................................... 96
3.2.2 学生成绩情况分析 ........................................................................ 102
脑图小结....................................................................................................................... 105
章节练习....................................................................................................................... 106
第 4 章 房产大数据分析与探索 ...........................................................................108
任务 4.1 某房产公司销售人员业绩分析............................................................... 108
情境导入 .................................................................................................... 108
学习目标和要求 ........................................................................................ 110
4.1.1 数据集处理 .................................................................................... 110
4.1.2 数据操作分析 ................................................................................ 116
任务 4.2 某城市近年房产销售状况分析................................................................. 131
情境导入 .................................................................................................... 131
学习目标和要求 ........................................................................................ 132
4.2.1 数据准备 ........................................................................................ 132
4.2.2 数据探索与分析 ............................................................................ 134
4.2.3 总结分析 ........................................................................................ 139
脑图小结....................................................................................................................... 139
章节练习....................................................................................................................... 140
第 5 章 电商大数据分析与索 ...........................................................................141
任务 5.1 “女装电子商务评论”数据分析........................................................ 141
情境导入 .................................................................................................... 141
学习目标和要求 ........................................................................................ 142
5.1.1 数据准备 ..................................................................................... 142
5.1.2 数据清洗 ..................................................................................... 152
5.1.3 数据转换 ..................................................................................... 157
5.1.4 数据分析 ........................................................................................ 162
5.1.5 数据输出 ........................................................................................ 171
任务 5.2 “在线销售订单”数据分析..................................................................... 173
情境导入 .................................................................................................... 173
学习目标和要求 ........................................................................................ 174
5.2.1 数据查询操作 ................................................................................ 174
5.2.2 数据分析探索 ................................................................................ 184
脑图小结....................................................................................................................... 191
章节练习....................................................................................................................... 192
第 6 章 Zeppelin 数据可视化 ............................................................................193
任务 6.1 Zeppelin 安装与部署.................................................................................. 193
情境导入 .................................................................................................... 193
学习目标和要求 ........................................................................................ 193
6.1.1 下载安装包 .................................................................................... 194
6.1.2 安装配置 ........................................................................................ 195
6.1.3 测试运行 Zeppelin ......................................................................... 199
任务 6.2 “女装电子商务评论”数据可视化......................................................... 203
情境导入 .................................................................................................... 203
学习目标和要求 ........................................................................................ 204
6.2.1 加载数据注册视图 ........................................................................ 204
6.2.2 执行 SQL 数据可视化................................................................... 208
任务 6.3 “在线销售订单”数据可视化................................................................. 212
情境导入 .................................................................................................... 212
学习目标和要求 ........................................................................................ 213
执行 Spark SQL 数据可视化 .................................................................... 213
脑图小结....................................................................................................................... 216
章节练习....................................................................................................................... 216