云计算（典藏版）

第1章 大数据与云计算 1
1.1 大数据时代 1
1.2 云计算概述 3
1.3 云计算发展现状 5
1.4 云计算实现机制 7
1.5 云计算压倒性的成本优势 8
习题 12
第2章 Google云计算原理与应用 13
2.1 Google文件系统 13
2.1.1 系统架构 14
2.1.2 容错机制 16
2.1.3 系统管理技术 17
2.2 分布式计算编程模型MapReduce 17
2.2.1 产生背景 17
2.2.2 编程模型 18
2.2.3 实现机制 19
2.2.4 案例分析 20
2.3 分布式锁服务Chubby 22
2.3.1 Paxos算法 22
2.3.2 Chubby系统设计 23
2.3.3 Chubby中的Paxos算法 24
2.3.4 Chubby文件系统 26
2.3.5 通信协议 27
2.3.6 正确性与性能 29
2.4 分布式结构化数据表BigTable 30
2.4.1 设计动机与目标 31
2.4.2 数据模型 31
2.4.3 系统架构 32
2.4.4 主服务器 33
2.4.5 子表服务器 34
2.4.6 性能优化 37
2.5 分布式存储系统Megastore 39
2.5.1 设计目标及方案选择 39
2.5.2 Megastore数据模型 40
2.5.3 Megastore中的事务及并发控制 42
2.5.4 Megastore基本架构 43
2.5.5 核心技术――复制 45
2.5.6 产品性能及控制措施 48
2.6 分布式监控系统Dapper 50
2.6.1 基本设计目标 50
2.6.2 Dapper监控系统简介 50
2.6.3 关键性技术 53
2.6.4 常用Dapper工具 54
2.6.5 Dapper使用经验 56
2.7 海量数据的交互式分析工具Dremel 58
2.7.1 产生背景 58
2.7.2 数据模型 59
2.7.3 嵌套式的列存储 60
2.7.4 查询语言与执行 64
2.7.5 性能分析 66
2.8 内存大数据分析系统PowerDrill 67
2.8.1 产生背景与设计目标 67
2.8.2 基本数据结构 68
2.8.3 性能优化 69
2.8.4 性能分析与对比 71
2.9 Google应用程序引擎 72
2.9.1 Google App Engine简介 72
2.9.2 应用程序环境 74
2.9.3 Google App Engine服务 77
习题 87
第3章 云计算AWS 88
3.1 基础存储架构Dynamo 88
3.1.1 Dynamo概况 88
3.1.2 Dynamo架构的主要技术 90
3.2 弹性计算云 97
3.2.1 EC2的基本架构 97
3.2.2 EC2的关键技术 99
3.2.3 EC2的安全及容错机制 101
3.3 简单存储服务 102
3.3.1 S3的基本概念和操作 102
3.3.2 S3的数据一致性模型 103
3.3.3 S3的安全措施 104
3.4 非关系型数据库服务 106
3.4.1 非关系型数据库与传统关系型数据库的比较 106
3.4.2 SimpleDB 107
3.4.3 DynamoDB 109
3.4.4 SimpleDB和DynamoDB的比较 109
3.5 关系型数据库服务 110
3.5.1 RDS的基本原理 110
3.5.2 RDS的使用 111
3.6 简单队列服务 111
3.6.1 SQS的基本模型 111
3.6.2 SQS的消息 112
3.7 内容推送服务 114
3.7.1 CDN 114
3.7.2 CloudFront 116
3.8 其他 云计算服务 117
3.8.1 快速应用部署Elastic Beanstalk和服务模板CloudFormation 117
3.8.2 DNS服务Route53 118
3.8.3 虚拟私有云VPC 118
3.8.4 简单通知服务和简单邮件服务 119
3.8.5 弹性MapReduce服务 119
3.8.6 电子商务服务DevPay、FPS和简单支付服务 121
3.8.7 执行网络服务 125
3.8.8 土耳其机器人 125
3.8.9 数据仓库服务Redshift 126
3.8.10 应用流服务AppStream和数据流服务Kinesis 127
3.8.11 增强现实（AR）和虚拟现实（VR）应用Sumerian 128
3.8.12 区块链应用Managed Blockchain 128
3.9 AWS应用实例 129
3.9.1 照片和视频共享网站SmugMug 129
3.9.2 视频制作网站Animoto 129
3.9.3 网站排名公司Alexa 130
3.10 小结 130
习题 131
第4章 微软云计算Microsoft Azure 132
4.1 微软云计算平台 132
4.2 微软云操作系统Microsoft Azure 134
4.2.1 Microsoft Azure概述 134
4.2.2 Microsoft Azure计算服务 135
4.2.3 Microsoft Azure存储服务 139
4.2.4 Microsoft Azure Connect 147
4.2.5 Microsoft Azure CDN 148
4.2.6 Fabric控制器 149
4.3 微软云关系数据库SQL Azure 150
4.3.1 SQL Azure概述 150
4.3.2 SQL Azure关键技术 151
4.3.3 SQL Azure和SQL Server对比 153
4.4 Microsoft Azure Service Fabric 154
4.4.1 Service Fabric 概述 154
4.4.2 Service Fabric体系结构 155
4.4.3 Service Fabric群集 157
4.5 Microsoft Azure Marketplace 163
4.6 Microsoft Azure服务平台 164
4.6.1 网站 164
4.6.2 虚拟机 165
4.6.3 云服务 166
4.6.4 移动服务 167
4.6.5 大数据处理 168
4.6.6 媒体服务 169
4.6.7 物联网平台 170
4.6.8 人工智能服务 171
习题 172
第5章 Hadoop 3.0：主流开源云架构 173
5.1 挑战与对策 173
5.1.1 问题概述 173
5.1.2 常规解决方案 173
5.1.3 分布式下的解决方案 174
5.1.4 小结 178
5.2 Hadoop 3.0简述 178
5.2.1 Hadoop发展 178
5.2.2 Hadoop 3.0生态圈项目 179
5.2.3 Hadoop应用 181
5.3 Hadoop 3.0部署 181
5.3.1 部署综述 182
5.3.2 传统解压包方式部署 186
5.4 Hadoop 3.0体系架构 192
5.4.1 公共组件Common 192
5.4.2 分布式文件系统HDFS 194
5.4.3 分布式操作系统YARN 199
5.5 Hadoop 3.0访问接口 206
5.5.1 配置项接口 206
5.5.2 浏览器接口 207
5.5.3 命令行接口 207
5.5.4 HDFS编程 209
5.5.5 YARN编程 212
5.6 Hadoop 3.0生态组件 220
5.6.1 组件简介 220
5.6.2 Hive 224
5.6.3 Spark 228
5.6.4 ZooKeeper 239
5.6.5 HBase 243
5.6.6 Mahout 250
5.6.7 Redis 253
5.6.8 Kafka 258
5.6.9 Flink 263
5.6.10 Flume 266
5.6.11 Pig 271
习题 275
第6章 虚拟化技术 276
6.1 虚拟化技术简介 276
6.2 服务器虚拟化 277
6.2.1 服务器虚拟化的层次 277
6.2.2 服务器虚拟化的底层实现 278
6.2.3 虚拟机迁移 279
6.2.4 隔离技术 281
6.2.5 案例分析 283
6.3 存储虚拟化 284
6.3.1 存储虚拟化的一般模型 284
6.3.2 存储虚拟化的实现方式 284
6.3.3 案例分析 285
6.4 网络虚拟化 287
6.4.1 网络虚拟化简介 287
6.4.2 案例分析：VMware的网络虚拟化技术 288
6.5 桌面虚拟化 290
6.5.1 桌面虚拟化简介 290
6.5.2 技术现状 291
6.5.3 案例分析 292
6.6 OpenStack开源虚拟化平台 292
6.6.1 OpenStack背景介绍 293
6.6.2 Nova 294
6.6.3 Swift 299
6.6.4 Glance 305
6.7 超融合技术 306
6.7.1 概念 306
6.7.2 产生背景 306
6.7.3 超融合技术简介 308
习题 310
第7章 容器技术 311
7.1 容器技术简介 311
7.1.1 容器技术的发展历程 311
7.1.2 容器技术的架构 313
7.1.3 容器的底层技术 314
7.1.4 容器的关键技术 315
7.1.5 容器技术的优势和局限性 316
7.1.6 容器技术的典型应用 317
7.1.7 容器和虚拟机对比 318
7.2 Docker技术 320
7.2.1 Docker是什么 320
7.2.2 Docker的架构和流程 322
7.2.3 Docker的优势和局限性 323
7.2.4 分布式Docker网络环境搭建 327
7.3 Rocket（Rkt）技术简介 328
7.3.1 Rkt的标准化尝试 329
7.3.2 Rkt是什么 331
7.3.3 Rkt的基本使用方法 333
7.4 其他容器技术 335
7.4.1 Garden容器技术 335
7.4.2 Kata容器技术 337
7.5 容器编排系统 338
7.5.1 Google Kubernetes 339
7.5.2 Docker Swarm 346
7.5.3 Apache Mesos 350
7.5.4 CoreOS Fleet 356
习题 357
第8章 云原生技术 359
8.1 云原生简介 359
8.2 微服务 361
8.2.1 Spring Cloud架构 361
8.2.2 服务网格架构 370
8.3 敏捷基础设施 374
8.3.1 分布式消息中间件服务 375
8.3.2 分布式缓存服务 383
8.3.3 分布式任务调度服务 386
8.3.4 监控告 务 390
8.4 DevOps 392
8.4.1 概念 393
8.4.2 Ansible 394
8.4.3 SaltStack 395
8.4.4 Jenkins 397
8.5 持续交付 399
8.5.1 持续交付与持续集成、持续部署 400
8.5.2 持续交付vs. DevOps 401
8.6 云原生应用场景 401
8.6.1 深度学习应用场景 402
8.6.2 区块链应用场景 403
8.6.3 边缘计算应用场景 404
8.6.4 传统行业互联网化应用场景 404
习题 405
第9章 云计算数据中心 406
9.1 云计算数据中心的特征 406
9.2 云计算数据中心网络部署 407
9.2.1 改进型树形结构 407
9.2.2 递归层次结构 409
9.2.3 光交换网络 412
9.2.4 无线数据中心网络 414
9.2.5 软件定义网络 414
9.3 绿色节能技术 418
9.3.1 配电系统节能技术 418
9.3.2 空调系统节能技术 420
9.3.3 集装箱数据中心节能技术 423
9.3.4 海底数据中心 424
9.3.5 数据中心节能策略和算法研究 427
9.3.6 新能源的应用 429
9.3.7 典型的绿色节能数据中心 432
9.4 自动化管理 434
9.4.1 自动化管理的特征 434
9.4.2 自动化管理实现阶段 435
9.4.3 Facebook自动化管理 436
9.5 容灾备份 438
9.5.1 容灾系统的等级标准 438
9.5.2 容灾备份的关键技术 439
9.5.3 云存储在容灾备份中的应用 441
习题 442
0章 云计算核心算法 443
10.1 Paxos算法 443
10.1.1 Paxos算法背景知识 443
10.1.2 Paxos算法详解 444
10.1.3 Paxos算法举例 447
10.1.4 Chubby中Paxos算法的具体实现 448
10.2 DHT算法 449
10.2.1 DHT原理介绍 450
10.2.2 Chord中DHT的具体实现 452
10.2.3 Pastry中DHT的具体实现 454
10.2.4 CAN中DHT的具体实现 455
10.2.5 Tapestry中DHT的具体实现 456
10.3 Gossip协议 457
10.3.1 Gossip协议的特点 457
10.3.2 Gossip协议的通信方式及收敛性 458
10.3.3 Gossip节点管理算法 459
10.3.4 Cassandra中Gossip协议的具体实现方式 460
10.3.5 CoolStreaming中Gossip协议的具体实现方式 463
10.3.6 Hyperledger Fabric中Gossip协议的具体实现方式 465
10.3.7 Chord网络中Gossip协议的具体实现方式 467
习题 468
1章 云际计算技术 469
11.1 传统云计算面临的挑战 469
11.2 云际计算诞生 470
11.2.1 云际计算概念 470
11.2.2 技术优势 470
11.3 云际计算架构 471
11.3.1 集中式代理架构 472
11.3.2 地理分布式代理架构 472
11.4 云际计算关键技术 473
11.4.1 云际协作环境 474
11.4.2 对等协作机制 477
11.5 云际存储关键技术 478
11.5.1 纠删码容错技术 479
11.5.2 数据完整性证明机制 481
11.5.3 并发控制方法 483
11.5.4 安全重删技术 485
11.6 云际计算研究进展 487
11.6.1 Inter-Cloud 488
11.6.2 SuperCloud 489
11.6.3 Multi-Cloud 490
11.6.4 Federated Cloud 491
11.6.5 Cloud Service Broker 493
11.6.6 Internetware 494
11.6.7 iVCE 496
11.7 云际计算应用场景 497
习题 498
2章 中国云计算技术 499
12.1 云计算发展概况 499
12.2 云存储技术 500
12.2.1 淘宝文件系统 501
12.2.2 云创大数据cStor超融合云存储系统 503
12.2.3 A8000超低功耗云存储一体机 507
12.3 大数据库技术 510
12.3.1 阿里巴巴OceanBase 510
12.3.2 云创大数据数据立方 514
12.4 云视频监控技术 519
12.4.1 cVideo云视频监控系统 519
12.4.2 cVideo智能分析系统 521
12.4.3 cVideo云转码系统 523
12.5 阿里巴巴阿里云服务 525
12.5.1 阿里云计算体系架构 526
12.5.2 弹性计算服务 526
12.5.3 对象存储服务 527
12.5.4 表格存储服务 527
12.5.5 开放数据处理服务 528
12.5.6 关系型数据库服务 528
12.6 云创大数据万物云服务 529
12.6.1 平台简介 529
12.6.2 系统架构 530
12.6.3 功能服务 531
12.6.4 应用举例 533
12.7 云创大数据人工智能云平台 534
12.7.1 训练平台 534
12.7.2 推理平台 536
12.7.3 开放平台 540
习题 542
3章 总结与展望 543
13.1 主流商业云计算解决方案比较 543
13.1.1 应用场景 543
13.1.2 使用流程 545
13.1.3 体系结构 546
13.1.4 实现技术 546
13.1.5 核心业务 547
13.2 主流开源云计算系统比较 549
13.2.1 开发目的 549
13.2.2 体系结构 551
13.2.3 实现技术 552
13.2.4 核心服务 552
13.3 云计算发展趋势 553
13.3.1 标准化 553
13.3.2 混合云模式 558
13.3.3 多云部署 559
13.3.4 云计算与人工智能相融合 560
习题 561