云计算与大数据技术（第2版 微课视频 题库版）

第一部分云计算理论与技术

第1章云计算概论

1.1什么是云计算

1.2云计算的产生背景

1.3云计算的发展历史

1.4如何学好云计算

1.5小结

习题

第2章云计算基础

2.1分布式计算

2.2云计算的基本概念

2.3分布式计算和云计算的区别与联系

2.4云计算的关键技术

2.4.1分布式海量数据存储

2.4.2虚拟化技术

2.4.3云管理平台技术

2.4.4并行编程技术

2.4.5数据管理技术

2.5云交付模型

2.5.1SaaS

2.5.2PaaS

2.5.3IaaS

2.5.4基本云交付模型的比较

2.6云部署模式

2.6.1公有云

2.6.2私有云

2.6.3混合云

2.7云计算的优势与挑战

2.8典型的云应用

2.8.1云存储

2.8.2云服务

2.8.3云物联

2.9云计算与大数据

2.10小结

习题

第3章云计算机制

3.1云基础设施机制

3.1.1虚拟网络边界

3.1.2虚拟服务器

3.1.3云存储设备

3.1.4就绪环境

3.2云管理机制

3.2.1远程管理系统

3.2.2资源池化管理

3.2.3服务等级协议管理系统

3.2.4计费管理系统

3.2.5资源备份

3.2.6云监控

3.2.7自动化运维

3.2.8服务模板管理

3.2.9云CMDB及流程管理

3.2.10服务目录管理

3.2.11租户及用户管理

3.2.12容量规划及管理

3.3特殊云机制

3.3.1自动伸缩监听器

3.3.2负载均衡器

3.3.3故障转移系统

3.3.4资源集群

3.3.5多设备代理

3.3.6状态管理数据库

3.4小结

习题

第4章虚拟化

4.1虚拟化简介

4.1.1什么是虚拟化

4.1.2虚拟化的发展历史

4.1.3虚拟化带来的好处

4.2虚拟化的分类

4.2.1服务器虚拟化

4.2.2网络虚拟化

4.2.3存储虚拟化

4.2.4应用虚拟化

4.2.5技术比较

4.3系统虚拟化

4.4虚拟化与云计算

4.5开源技术

4.5.1Xen

4.5.2KVM

4.5.3OpenVZ

4.6虚拟化未来的发展趋势

4.7小结

习题

第5章云计算的应用

5.1概述

5.2亚马逊公司的弹性计算云

5.2.1开放的服务

5.2.2灵活的工作模式

5.2.3带来的好处

5.3Microsoft Azure

5.3.1简介

5.3.2Microsoft Azure的架构

5.3.3Microsoft Azure服务平台

5.3.4开发步骤

5.4谷歌公司的云计算平台与应用

5.4.1MapReduce分布式编程环境

5.4.2分布式大规模数据库管理系统BigTable

5.4.3谷歌的云应用

5.5阿里云

5.5.1简介

5.5.2阿里云的主要产品

5.6IBM公司的蓝云云计算平台

5.6.1蓝云云计算平台中的虚拟化

5.6.2蓝云云计算平台中的存储结构

5.7清华大学的透明计算平台

5.8小结

习题

第二部分大数据理论与技术

第6章大数据概念和发展背景

6.1什么是大数据

6.2大数据的特点

6.3大数据的发展

6.4大数据的应用

6.5小结

习题

第7章大数据系统架构概述

7.1总体架构概述

7.1.1总体架构设计原则

7.1.2总体架构参考模型

7.2运行架构概述

7.2.1物理架构

7.2.2集成架构

7.2.3安全架构

7.3主流大数据系统厂商

7.3.1Cloudera

7.3.2Hortonworks

7.3.3亚马逊

7.3.4谷歌

7.3.5微软

7.3.6阿里云数加平台

7.4小结

习题

第8章分布式通信与协同

8.1数据编码传输

8.1.1数据编码概述

8.1.2LZSS算法

8.1.3Snappy压缩库

8.2分布式通信系统

8.2.1远程过程调用

8.2.2消息队列

8.2.3应用层多播通信

8.2.4Hadoop IPC应用

8.3分布式协同系统

8.3.1Chubby锁服务

8.3.2ZooKeeper

8.3.3ZooKeeper在HDFS高可用中使用

8.4小结

习题

第9章大数据存储

9.1大数据存储技术的发展

9.2海量数据存储的关键技术

9.2.1数据分片与路由

9.2.2数据复制与一致性

9.3重要数据结构和算法

9.3.1Bloom Filter

9.3.2LSM树

9.3.3Merkle哈希树

9.3.4Cuckoo哈希

9.4分布式文件系统

9.4.1文件存储格式

9.4.2GFS

9.4.3HDFS

9.5分布式数据库NoSQL

9.5.1NoSQL数据库概述

9.5.2KV数据库

9.5.3列式数据库

9.5.4图数据库

9.5.5文档数据库

9.6HBase数据库搭建与使用

9.6.1HBase伪分布式运行

9.6.2HBase分布式运行

9.7大数据存储技术的趋势

9.8小结

习题

第10章分布式处理

10.1CPU多核和POSIX Thread

10.2MPI并行计算框架

10.3Hadoop MapReduce

10.4Spark

10.5数据处理技术的发展

10.6小结

习题

第11章Hadoop MapReduce解析

11.1Hadoop MapReduce架构

11.2Hadoop MapReduce与高性能计算、网格计算的区别

11.3MapReduce工作机制

11.3.1Map

11.3.2Reduce

11.3.3Combine

11.3.4Shuffle

11.3.5Speculative Task

11.3.6任务容错

11.4应用案例

11.4.1WordCount

11.4.2WordMean

11.4.3Grep

11.5MapReduce的缺陷与不足

11.6小结

习题

第12章Spark解析

12.1Spark RDD

12.2Spark与MapReduce对比

12.3Spark工作机制

12.3.1DAG工作图

12.3.2Partition

12.3.3Lineage容错方法

12.3.4内存管理

12.3.5数据持久化

12.4数据读取

12.4.1HDFS

12.4.2Amazon S3

12.4.3HBase

12.5应用案例

12.5.1日志挖掘

12.5.2判别西瓜好坏

12.6Spark的发展趋势

12.7小结

习题

第13章流计算

13.1流计算概述

13.2流计算与批处理系统对比

13.3Storm流计算系统

13.4Samza流计算系统

13.5集群日志文件实时分析

13.6流计算的发展趋势

13.7小结

习题

第14章集群资源管理与调度

14.1集群资源统一管理系统

14.1.1集群资源管理概述

14.1.2Apache YARN

14.1.3Apache Mesos

14.1.4Google Omega

14.2资源管理模型

14.2.1基于slot的资源表示模型

14.2.2基于最大最小公平原则的资源分配模型

14.3资源调度策略

14.3.1调度策略概述

14.3.2Capacity Scheduler调度

14.3.3Fair Scheduler调度

14.4YARN上运行计算框架

14.4.1MapReduce on YARN

14.4.2Spark on YARN

14.4.3YARN程序设计

14.5小结

习题

第15章机器学习

15．1机器学习概述

15．1．1关键术语

15．1．2机器学习的分类

15．1．3机器学习的模型构造过程

15．2监督学习

15．2．1线性回归

15．2．2逻辑斯特回归

15．2．3最小近邻法

15．2．4线性判别分析法

15．2．5朴素贝叶斯分类算法

15．2．6决策树分类算法

15．2．7支持向量机分类算法

15．3非监督学习

15．3．1划分式聚类方法

15．3．2层次化聚类方法

15．3．3基于密度的聚类方法

15．4强化学习

15．4．1强化学习VS监督学习和非监督学习

15．4．2强化学习问题描述

15．4．3强化学习问题分类

15．5神经网络和深度学习

15．5．1感知器模型

15．5．2前馈神经网络

15．5．3卷积神经网络

15．5．4其他类型结构的神经网络

15．6案例： 银行贷款用户筛选

15.7小结

习题

第三部分综 合 实 践

第16章实验： AWS

16.1实验一： 创建一个EC2实例

16.2实验二： 创建一个弹性高可用的博客

16.3实验三： 使用S3来实现静态网站

16.4实验四： AWS关系型数据库入门

16.5实验五： AWS大数据系列平台

16.6实验六： AWS计算存储网络基础入门

16.7实验七： AWS上的Kubernetes创建、管理及DevOps

第17章实验： 阿里云

17.1实验一： 创建阿里云服务器

17.2实验二： 配置SSH远程连接

17.3实验三： 安装Python环境

17.4实验四： 部署并启动Django服务

第18章实验： Docker

18.1Docker的核心概念

18.2实验一： Docker的安装

18.3实验二： 容器操作

18.4实验三： 搭建一个Docker应用栈

18.5实验四： 实现私有云

第19章实验： Hadoop、HDFS、MapReduce、Spark

19.1Hadoop

19.1.1实验一： 构建虚拟机网络

19.1.2实验二： 大数据环境安装

19．2HDFS

19．2．1实验一： 文件创建与读/写

19．2．2实验二： 文件上传

19．2．3实验三： 文件下载

19．2．4实验四： 使用字符流读取数据

19．2．5实验五： 删除文件

19．2．6实验六： 删除文件夹

19．2．7实验七： 自定义数据输入流

19．3MapReduce

19．3．1实验一： 合并去重

19．3．2实验二： PageRank算法

19．4Spark

19．4．1实验一： 安装Spark

19．4．2实验二： 使用Spark Shell编写代码

19．4．3实验三： 使用Java编写Spark应用程序

第20章案例： 基于Docker的云计算服务平台搭建

20．1方案介绍

20．1．1云平台总体架构

20．1．2网络架构

20．1．3集群架构

20．1．4性能监控

20．1．5Docker架构

20．1．6镜像架构

20．2系统分析

20．2．1优点

20．2．2局限性

20．2．3应用场景

20．3门户界面

20．3．1注册

20．3．2登录

20．3．3用户主界面

20．3．4管理员界面

20．4服务器Docker配置

第21章案例： 使用Spark实现数据统计分析及性能优化

21.1系统架构

21.1.1总体方案

21.1.2详细设计

21.1.3优化设计

21.2具体实现

21.2.1数据获取

21.2.2数据可视化

21.3性能优化

21.3.1读取优化

21.3.2查询优化

21.3.3Spark参数级优化

第22章实验： 基于OpenStack和Hadoop的大数据分析

22.1实验一： OpenStack安装准备

22.2实验二： OpenStack在线安装

22.3实验三： 初始化OpenStack中的环境

22.4实验四： 搭建OpenStack中的虚拟机

22.5实验五： 大数据分析案例

参考文献