云计算：科学与工程实践指南

出版者的话
译者序
前言
致谢
第1章　在云的宇宙中定位 1
1.1　云：计算机、助理和平台 1
1.2　云的概况 2
1.3　本书导读 5
1.4　获取云服务的方式：网站、应用编程接口和软件开发工具包 6
1.4.1　Web界面、应用编程接口、软件开发工具包和命令行界面 6
1.4.2　本地应用和云应用 8
1.5　本书使用的工具 8
1.5.1　Python 8
1.5.2　Jupyter：基于Web的交互式计算工具 9
1.5.3　版本控制系统GitHub 10
1.5.4　Globus 10
1.6　小结 10
1.7　资源 11
第一部分　管理云中的数据
第2章　存储即服务 15
2.1　三个启发式的例子 15
2.2　存储模型 16
2.2.1　文件系统 16
2.2.2　对象存储 17
2.2.3　关系型数据库 17
2.2.4　NoSQL数据库 18
2.2.5　图数据库 19
2.2.6　数据仓库 20
2.3　云存储全景 20
2.3.1　文件系统 20
2.3.2　对象存储 21
2.3.3　NoSQL服务 21
2.3.4　关系型数据库 22
2.3.5　基于数据仓库的数据分析 22
2.3.6　图数据库及其他服务 23
2.3.7　OpenStack存储服务和Jetstream云服务 23
2.4　小结 24
2.5　资源 24
第3章　使用云存储服务 25
3.1　两种访问方式：门户和API 25
3.2　使用Amazon云存储服务 26
3.3　使用Microsoft Azure云存储服务 28
3.4　使用Google云存储服务 31
3.4.1　Google Bigtable 32
3.4.2　Google Cloud Datastore 33
3.5　使用OpenStack云存储服务 34
3.6　用Globus传输和共享数据 35
3.6.1　用Globus传输数据 36
3.6.2　用Globus共享数据 38
3.7　小结 38
3.8　资源 39
第二部分　云中的计算
第4章　计算即服务 43
4.1　虚拟机和容器 43
4.2　先进的计算服务 45
4.3　无服务器计算 46
4.4　公有云计算的优缺点 46
4.5　小结 47
4.6　资源 48
第5章　虚拟机的使用和管理 49
5.1　历史根源 49
5.2　亚马逊的弹性计算云 50
5.2.1　创建虚拟机实例 50
5.2.2　连接存储 52
5.3　Azure虚拟机 54
5.4　谷歌云虚拟机服务 55
5.5　Jetstream虚拟机服务 55
5.6　小结 56
5.7　资源 57
第6章　使用和管理容器 58
6.1　容器的基础知识 58
6.2　Docker和Hub 59
6.3　容器用于科学 61
6.4　构建你自己的容器 62
6.5　小结 63
6.6　资源 63
第7章　弹性部署 64
7.1　云中并行计算的范式 64
7.2　SPMD和HPC风格的并行 65
7.2.1　云中的消息传递接口 65
7.2.2　云中的GPU 65
7.2.3　在Amazon云上部署HPC集群 67
7.2.4　在Azure上部署HPC集群 70
7.2.5　集群的进一步扩展 71
7.3　多任务并行计算 72
7.4　MapReduce和批量同步并行计算 72
7.5　图数据流的执行和Spark 73
7.6　代理和微服务 74
7.6.1　微服务和容器资源管理器 75
7.6.2　在集群中管理身份 75
7.6.3　简单的例子 75
7.6.4　Amazon EC2容器服务 76
7.6.5　Google的Kubernetes 81
7.6.6　Mesos和Mesosphere 84
7.7　HTCondor 86
7.8　小结 86
7.9　资源 87
第三部分　云平台
第8章　云中的数据分析 91
8.1　Hadoop和YARN 91
8.2　Spark 93
8.2.1　一个简单的Spark程序 93
8.2.2　一个更有趣的Spark程序：k均值聚类 94
8.2.3　容器中的Spark 95
8.2.4　Spark中的SQL 96
8.3　Amazon Elastic MapReduce 97
8.4　Azure HDInsight和数据湖 99
8.4.1　Azure Data Lake存储 100
8.4.2　数据湖分析 101
8.5　Amazon Athena分析 102
8.6　Google云数据实验室 102
8.6.1　华盛顿和印第安纳州的风疹 103
8.6.2　寻找气象台的异常 104
8.7　小结 107
8.8　资源 107
第9章　将数据以流式传输到云端 109
9.1　科学流案例 109
9.1.1　广域地球物理传感器网络 110
9.1.2　城市信息学 110
9.1.3　大规模科学数据流 111
9.2　流系统的基本设计挑战 112
9.3　Amazon Kinesis和Firehose 112
9.3.1　Kinesis Streams架构 113
9.3.2　Kinesis和Amazon SQS 114
9.4　Kinesis、Spark和物体阵列 115
9.5　用Azure进行流数据处理 118
9.6　Kafka、Storm和Heron Streams 121
9.7　Google Dataflow和Apache Beam 124
9.8　Apache Flink 126
9.9　小结 127
9.10　资源 128
第10章　基于云的机器学习 129
10.1　Spark机器学习库 129
10.1.1　逻辑回归 130
10.1.2　芝加哥餐厅案例 130
10.2　Azure机器学习空间 133
10.3　Amazon机器学习平台 136
10.4　深度学习浅析 138
10.4.1　深度网络 139
10.4.2　卷积神经网络 140
10.4.3　递归神经网络 141
10.5　Amazon MXNet虚拟机镜像 143
10.6　Google TensorFlow 146
10.7　微软认知工具包 147
10.8　小结 149
10.9　资源 150
第11章　Globus研究数据管理平台 152
11.1　分布式数据的挑战和机遇 152
11.2　Globus平台 153
11.2.1　Globus传输和共享 153
11.2.2　rule_data结构 155
11.3　身份和证书管理 155
11.3.1　Globus Auth授权服务 156
11.3.2　一个典型的Globus Auth工作流 157
11.3.