云计算与大数据技术理论及应用

目录

第1章绪论

1.1分布式计算概念

1.1.1定义

1.1.2优缺点

1.1.3经典的分布式计算项目

1.2分布式计算模式

1.2.1单机计算

1.2.2并行计算

1.2.3网络计算

1.2.4对等计算

1.2.5集群计算

1.2.6网格计算

1.2.7云计算

1.2.8雾计算

1.2.9边缘计算

1.2.10大数据计算

1.3CAP定理

1.3.1CAP定理历史

1.3.2CAP定理应用

1.3.3CAP问题的实例

习题

第2章分布式计算编程基础

2.1进程间通信

2.1.1进程间通信概念

2.1.2IPC原型与示例

2.2Socket编程

2.2.1Socket概述

2.2.2流式Socket编程

2.3RMI编程

2.3.1RMI概述

2.3.2RMI基本分布式应用

2.4P2P编程

习题

第3章云计算原理与技术

3.1云计算概述

3.1.1云计算起源

3.1.2云计算的概念与定义

3.1.3云计算与分布式计算

3.1.4云计算分类

3.2云计算关键技术

3.2.1体系结构

3.2.2数据存储

3.2.3计算模型

3.2.4资源调度

3.2.5虚拟化

3.3Google云计算原理

3.3.1GFS

3.3.2MapReduce

3.3.3BigTable

3.3.4Dremel

3.4亚马逊云服务

3.4.1亚马逊云平台存储架构

3.4.2EC2、S3、SimpleDB等组件

3.5基于亚马逊云的大数据分析案例

3.5.1亚马逊云平台存储架构

3.5.2亚马逊云的Web服务器日志大数据分析案例

3.6阿里云

3.6.1飞天开放平台架构

3.6.2开放云计算服务ECS

3.6.3开放存储服务OSS和CDN

3.6.4开放结构化数据服务OTS

3.6.5关系型数据库(RDS)

3.6.6开放数据处理服务(ODPS)

习题

第4章云计算编程实践

4.1CloudSim体系结构和API介绍

4.1.1CloudSim体系结构

4.1.2CloudSim 3.0 API介绍

4.2CloudSim环境搭建和使用方法

4.2.1环境配置

4.2.2运行样例程序

4.3CloudSim扩展编程

4.3.1调度策略的扩展

4.3.2仿真核心代码

4.3.3平台重编译

4.4CloudSim的编程实践

4.4.1CloudSim任务调度编程

4.4.2CloudSim网络编程

4.4.3CloudSim能耗编程

4.5MultiRECloudSim

4.5.1MultiRECloudSim体系结构和原理

4.5.2MultiRECloudSim的API

4.5.3MultiRECloudSim的使用方法

4.6云环境任务调度编程实践

4.6.1云计算的资源管理

4.6.2云任务调度模拟实验

习题

第5章云存储技术

5.1存储基础知识

5.1.1存储组网形态

5.1.2RAID

5.1.3磁盘热备

5.1.4快照

5.1.5数据分级存储概念

5.2云存储概念与技术原理

5.2.1分布式存储

5.2.2存储虚拟化

5.3对象存储技术

5.3.1对象存储架构

5.3.2传统块存储与对象存储

5.3.3对象

5.3.4对象存储系统组成

5.4存储技术趋势

5.4.1存储虚拟化

5.4.2固态硬盘

5.4.3重复数据删除

5.4.4语义化检索

5.4.5存储智能化

5.4.6混合存储系统

习题

第6章大数据技术原理与平台

6.1大数据概述

6.1.1大数据产生的背景

6.1.2大数据的定义

6.1.3大数据的4V特征

6.2大数据存储平台

6.2.1HDFS

6.2.2HBase

6.2.3Cassandra

6.2.4Redis

6.2.5MongoDB

6.3大数据计算模式

6.3.1MapReduce

6.3.2Spark

6.3.3流式计算

6.4典型大数据分析管理平台

6.4.1Cloudera Impala

6.4.2Hortonworks Data Platform

6.4.3HadoopDB

6.5大数据并行计算编程实践

6.5.1基于MAPREDUCE程序实例(HDFS)

6.5.2基于MAPREDUCE程序实例(HBase)

6.5.3基于Spark的程序实例

6.5.4基于Impala的查询实践

6.6大数据研究与发展方向

6.6.1数据的不确定性与数据质量

6.6.2跨领域的数据处理方法的可移植性

6.6.3数据处理的时效性保证——内存计算

6.6.4对于流式数据的实时处理

6.6.5大数据应用

6.6.6大数据发展趋势

习题

第7章实时医疗大数据分析案例

7.1案例背景与需求概述

7.1.1背景介绍

7.1.2基本需求

7.2设计方案

7.2.1ETL

7.2.2非格式化存储

7.2.3流处理

7.2.4训练模型与结果预测

7.3环境准备

7.3.1节点规划

7.3.2软件选型

7.4实现方法

7.4.1使用Kettle/Sqoop等ETL工具，将数据导入HDFS

7.4.2基于Spark Streaming开发Kafka连接器组件

7.4.3基于Spark MLlib开发数据挖掘组件

7.5不足与扩展

习题

第8章保险大数据分析案例

8.1案例背景与需求概述

8.1.1背景介绍

8.1.2基本需求

8.2设计方案

8.2.1基于GraphX的并行家谱挖掘算法

8.2.2基于分片技术的随机森林算法

8.2.3基于内存计算的FPGrowth关联规则挖掘算法

8.3环境准备

8.4实现方法

8.4.1基于GraphX的并行家谱挖掘

8.4.2基于分片技术的随机森林模型用户推荐

8.4.3基于FPGrowth关联规则挖掘算法的回归检验

8.4.4结果可视化

8.5不足与扩展

习题

第9章基于Spark聚类算法的网络流量异常检测

9.1基本需求与数据说明

9.1.1基本需求

9.1.2数据说明

9.2设计方案

9.2.1聚类问题描述

9.2.2系统整体架构和算法设计

9.2.3数据预处理

9.2.4聚类算法

9.2.5聚类质量评估算法

9.2.6检测算法

9.3实现方法和程序设计

9.3.1搭建Spark集群实验平台

9.3.2程序运行说明

9.3.3数据预处理

9.3.4基于R的数据分析和可视化

9.3.5聚类算法

9.3.6聚类质量评估

9.3.7异常检测

9.4结果展示

9.4.1Spark平台说明与作业提交演示

9.4.2聚类算法及其质量评估

9.4.3有效性分析

9.4.4示例说明

9.5展望

习题

第10章基于Hadoop的宏基因组序列比对计算

10.1相关背景介绍与基本需求

10.1.1相关背景

10.1.2基本需求

10.2设计方案

10.2.1串行程序分析

10.2.2并行程序设计

10.3实现方法

10.3.1自定义Hadoop Streaming Inputformat

10.3.2修改SOAPaligner程序的输入文件函数

10.4环境建立和实验数据说明

10.4.1案例环境

10.4.2实验数据

10.5结果展示

10.5.1测试方法

10.5.2测试结果和分析

习题

第11章基于细胞反应大数据的生物效应评估计算

11.1相关背景介绍与基本需求

11.1.1相关背景

11.1.2基本需求

11.2设计方案

11.2.1基本思路

11.2.2设计框架

11.3环境建立和实验数据说明

11.3.1案例环境

11.3.2实验数据

11.4实现方法

11.4.1算法分析

11.4.2基因谱两两比对——富集积分矩阵并行化计算

11.4.3基因谱聚类分析——KMedoids算法并行化

11.5结果展示

11.5.1基因谱两两比对——计算富集积分矩阵实验分析

11.5.2基因谱聚类实验分析

习题

第12章基于Spark的海量宏基因组聚类问题分析计算

12.1相关背景介绍与基本需求

12.1.1相关背景

12.1.2基本需求

12.2问题分析与设计方案

12.2.1问题分析

12.2.2设计方案

12.3实现方法

12.3.1基于Spark的相似基因对问题的实现

12.3.2利用LSH加速相似基因对算法

12.3.3基因图的生成

12.3.4图的基本性质分析

12.3.5基因图聚类

12.4环境建立和实验数据说明

12.4.1案例环境

12.4.2实验数据

12.5结果展示

12.5.1LSH方法精确度分析

12.5.2可扩展性分析和加速效果分析

12.5.3基因图顶点的度分布和连通性分析

12.5.4基因图聚类结果分析

12.5.5总结

习题

参考文献