云计算与大数据技术（微课版）

第 1章 云计算和大数据基础　1
【本章知识结构图】　1
【本章学习目标】　1
1.1 云计算概述　1
1.1.1 云计算发展历程　2
1.1.2 云计算基本概念　3
1.1.3 云计算基本特征　4
1.1.4 云计算关键技术　4
1.2 大数据技术概述　8
1.2.1 大数据发展历程　8
1.2.2 大数据基本概念　9
1.2.3 大数据基本特征　10
1.2.4 大数据关键技术　11
1.3 云计算、大数据与其他技术的关系　13
习题　14
第 2章 云计算架构　16
【本章知识结构图】　16
【本章学习目标】　17
2.1 云计算架构概述　17
2.2 云计算架构设计与部署　18
2.2.1 通用架构设计与部署　18
2.2.2 高可用性架构设计与部署　19
2.2.3 高性能架构设计与部署　21
2.2.4 容灾架构设计与部署　22
2.2.5 云安全架构设计与部署　23
2.2.6 云桌面架构设计与部署　26
2.3 云计算架构优化　27
2.3.1 云计算架构优化概念　27
2.3.2 云计算架构优化案例　27
2.4 几种典型的云计算架构　29
2.4.1 谷歌云计算架构　30
2.4.2 阿里云计算架构　30
2.4.3 腾讯云计算架构　32
2.4.4 华为云计算架构　33
2.5 实践：腾讯云部署Web应用　35
2.5.1 概述　35
2.5.2 基础环境　36
2.5.3 实践条件　36
2.5.4 实践流程　36
习题　39
第3章 虚拟化技术　41
【本章知识结构图】　41
【本章学习目标】　41
3.1 虚拟化概述　42
3.1.1 虚拟化发展历程　42
3.1.2 虚拟化的几个重要概念　42
3.1.3 虚拟化的主要特性　44
3.1.4 虚拟化常见的架构类型　44
3.2 虚拟化的关键技术　47
3.2.1 CPU虚拟化　47
3.2.2 存储虚拟化　49
3.2.3 网络虚拟化　51
3.2.4 服务器虚拟化　54
3.2.5 虚拟桌面　54
3.2.6 应用程序虚拟化　55
3.3 几种典型的虚拟化软件　56
3.3.1 KVM　57
3.3.2 Xen　57
3.3.3 VMware ESXi　58
3.3.4 Microsoft Hyper-V　58
3.4 实践：轻量级虚拟化——Docker容器实战　58
3.4.1 Docker简述　58
3.4.2 Docker案例　59
习题　61
第4章 云计算技术　64
【本章知识结构图】　64
【本章学习目标】　65
4.1 云计算技术概述　65
4.2 分布式存储技术　66
4.2.1 GFS　66
4.2.2 Swift　68
4.2.3 Ceph　71
4.2.4 Lustre　75
4.2.5 主流分布式存储技术的比较　76
4.3 云计算网络　76
4.3.1 数据中心网络　77
4.3.2 软件定义网络　77
4.3.3 租户网络管理　81
4.4 云计算安全　82
4.4.1 云安全风险　82
4.4.2 云计算安全技术　82
4.5 云操作系统　85
4.5.1 云操作系统基本概念　85
4.5.2 云操作系统管理平台功能　85
4.5.3 云操作系统资源调度　86
4.5.4 云操作系统实例　87
4.6 云开发　87
4.6.1 云开发与传统开发　87
4.6.2 一站式后端Serverless服务　88
4.6.3 应用场景　88
4.7 云计算运维　89
4.8 实践　89
4.8.1 使用OpenStack搭建云计算管理平台　89
4.8.2 云开发实践　91
习题　91
第5章 大数据技术架构　93
【本章知识结构图】　93
【本章学习目标】　94
5.1 大数据技术架构概述　94
5.1.1 大数据技术参考模型　94
5.1.2 大数据技术处理平台　95
5.2 大数据技术架构设计　97
5.2.1 Lambda架构　97
5.2.2 Kappa架构　98
5.2.3 IOTA架构　99
5.3 Hadoop生态架构　101
5.3.1 Hadoop基本概念　101
5.3.2 Hadoop生态系统　101
5.3.3 Hadoop生态架构特点　103
5.3.4 Hadoop生态架构缺点　103
5.4 Spark生态架构　103
5.4.1 Spark基本概念　103
5.4.2 Spark生态系统　104
5.4.3 Spark基本流程　105
5.4.4 Spark适用场景　106
5.4.5 Spark与Hadoop的区别　106
5.5 Flink生态架构　106
5.5.1 Flink基本概念　106
5.5.2 Flink架构体系　107
5.5.3 Flink架构特性　108
5.5.4 流处理应用的基本组件　108
5.5.5 Flink API　109
5.5.6 Flink扩展库　110
5.5.7 Flink基础编程模型　111
5.5.8 Flink作业执行过程　112
5.5.9 Flink应用场景　112
5.5.10 Flink和Spark Streaming的区别　113
5.6 实践：Hadoop安装与配置　114
5.6.1 Hadoop基础环境配置　114
5.6.2 Hadoop配置　114
5.6.3 格式化文件系统　116
5.6.4 启动和验证Hadoop　116
5.6.5 Hadoop Web管理工具　116
习题　117
第6章 大数据技术　119
【本章知识结构图】　119
【本章学习目标】　120
6.1 大数据处理过程　120
6.2 大数据采集与预处理　120
6.2.1 大数据采集概述　121
6.2.2 数据采集　121
6.2.3 数据预处理　122
6.3 大数据存储技术　123
6.3.1 HDFS　123
6.3.2 NoSQL数据库　125
6.4 大数据计算技术　128
6.4.1 批处理计算　128
6.4.2 流计算　130
6.4.3 查询分析计算　131
6.4.4 图计算　133
6.5 数据挖掘与可视化分析　133
6.5.1 数据挖掘　133
6.5.2 可视化分析　134
6.6 实践：某招聘网站信息抓取可视化分析　135
6.6.1 爬虫概述　135
6.6.2 基本数据概述　136
6.6.3 模块及库文件　137
6.6.4 数据爬取　137
6.6.5 利用pyecharts进行数据可视化　142
习题　146
第7章 云计算与大数据应用　148
【本章知识结构图】　148
【本章学习目标】　148
7.1 云计算与大数据在数字政府中的应用　149
7.1.1 城市智能运行中心　149
7.1.2 社会治理　150
7.1.3 互联网+监管　152
7.2 云计算与大数据在工业领域中的应用　153
7.2.1 工业互联网　153
7.2.2 生产过程优化　154
7.2.3 工业数字孪生　155
7.3 云计算与大数据在医疗健康中的应用　157
7.3.1 数字化医院　157
7.3.2 医药云　158
7.3.3 基因测序　160
7.4 云计算与大数据在教育行业中的应用　161
7.4.1 智慧校园　161
7.4.2 科研云　163
7.4.3 智慧教学　164
7.5 云计算与大数据在金融领域中的应用　165
7.5.1 互联网银行　166
7.5.2 证券智能营销　167
7.5.3 保险　168
习题　169
第8章 综合实践：搭建云平台并进行大数据处理分析　171
【本章知识结构图】　171
【本章学习目标】　172
8.1 案例介绍　172
8.2 搭建云平台　172
8.2.1 OpenStack概述　172
8.2.2 OpenStack基础环境　174
8.2.3 安装和部署Keystone身份服务　178
8.2.4 安装和部署Glance镜像服务　180
8.2.5 安装和部署Placement放置服务　182
8.2.6 安装和部署Nova计算服务　183
8.2.7 安装和部署Neutron网络服务　186
8.2.8 安装和部署Horizon仪表板　193
8.2.9 创建和操作虚拟机实例　195
8.3 搭建大数据平台　196
8.3.1 数据仓库　196
8.3.2 安装Hive　197
8.3.3 安装Spark　197
8.3.4 安装Zeppelin　198
8.3.5 安装Sqoop　198
8.3.6 安装Flume　199
8.4 大数据采集与预处理　199
8.4.1 数据采集　199
8.4.2 数据预处理　200
8.5 大数据实时分析　200
8.5.1 订单指标分析——订单总数量　201
8.5.2 订单指标分析——预约订单/非预约订单占比　201
8.5.3 订单指标分析——不同时段订单占比　202
8.5.4 订单指标分析——不同地域订单占比　202
8.5.5 订单指标分析——不同年龄段/时段订单占比　203
8.6 用户行为可视化　204
习题　206
参考文献　208