高性能计算：现代系统与应用实践

译者序
序言
前言
致谢
第1章　绪论 1
1.1　高性能计算学科 2
1.1.1　定义 3
1.1.2　应用程序 3
1.1.3　性能和指标 3
1.1.4　高性能计算系统 4
1.1.5　超算问题 6
1.1.6　应用编程 7
1.2　超算对科学、社会和安全的影响 8
1.2.1　促进欺诈检测和市场数据分析 8
1.2.2　发现、管理和分配石油和天然气 8
1.2.3　加快制造业的创新 9
1.2.4　个性化医药和药物发现 9
1.2.5　预测自然灾害和了解气候变化 10
1.3　超级计算机剖析 11
1.4　计算机性能 13
1.4.1　性能 13
1.4.2　峰值性能 13
1.4.3　持续性能 14
1.4.4　可扩展性 15
1.4.5　性能退化 15
1.4.6　性能提升 17
1.5　超级计算机简史 17
1.5.1　第一个阶段—利用机械技术的自动计算机 18
1.5.2　第二个阶段—真空管时代的冯·诺依曼架构 19
1.5.3　第三个阶段—指令级并行 23
1.5.4　第四个阶段—向量处理和积分 24
1.5.5　第五个阶段—单指令多数据阵列 27
1.5.6　第六个阶段—顺序处理器的通信和超大规模集成电路 27
1.5.7　第七个阶段—多核和千万亿次 30
1.5.8　新数字时代和超越摩尔定律 30
1.6　作为学生的指南和工具 31
1.7　本章小结及成果 32
1.8　练习 33
参考文献 34
第2章　HPC架构：系统和技术 35
2.1　引言 35
2.2　HPC架构的关键特性 36
2.2.1　速度 36
2.2.2　并行性 36
2.2.3　效率 37
2.2.4　功率 37
2.2.5　可靠性 38
2.2.6　可编程性 38
2.3　并行架构家族—弗林分类法 39
2.4　支持技术 41
2.4.1　技术阶段 41
2.4.2　技术的角色 44
2.4.3　数字逻辑 45
2.4.4　存储技术 47
2.5　冯·诺依曼顺序处理器 50
2.6　向量和流水线 52
2.6.1　流水线并行 53
2.6.2　向量处理 55
2.7　单指令多数据阵列 56
2.7.1　单指令多数据架构 56
2.7.2　阿姆达定律 57
2.8　多处理器 59
2.8.1　共享内存多处理器 60
2.8.2　大规模并行处理器 62
2.8.3　商品集群系统 62
2.9　异构计算机结构 63
2.10　本章小结及成果 64
2.11　练习 65
参考文献 67
第3章　商品集群 68
3.1　引言 68
3.1.1　商品集群的定义 68
3.1.2　集群的动机和理由 69
3.1.3　集群元素 70
3.1.4　对500强名单的影响 70
3.1.5　简史 71
3.1.6　章节指南 73
3.2　Beowulf集群项目 74
3.3　硬件架构 76
3.3.1　节点 76
3.3.2　系统区域网络 77
3.3.3　辅助存储 78
3.3.4　商业系统摘要 78
3.4　编程接口 78
3.4.1　高性能计算程序设计语言 78
3.4.2　并行编程模式 80
3.5　软件环境 80
3.5.1　操作系统 80
3.5.2　资源管理 82
3.5.3　调试器 83
3.5.4　性能分析 84
3.5.5　可视化 85
3.6　基本使用方法 86
3.6.1　登录 86
3.6.2　用户空间和目录系统 87
3.6.3　包的配置和构建 92
3.6.4　编译器和编译 93
3.6.5　运行应用程序 94
3.7　本章小结及成果 94
3.8　练习 95
参考文献 95
第4章　基准测试程序 97
4.1　引言 97
4.2　HPC基准测试程序的关键属性 100
4.3　标准的HPC社区的基准测试程序 101
4.4　高度并行计算的Linpack 102
4.5　HPC挑战基准测试套件 104
4.6　高性能共轭梯度 106
4.7　NAS并行基准测试程序 110
4.8　Graph500 111
4.9　小型应用作为基准测试程序 115
4.10　本章小结及成果 116
4.11　练习 117
参考文献 118
第5章　资源管理的基础 119
5.1　资源管理 119
5.2　SLURM的基础 123
5.2.1　架构概述 123
5.2.2　工作负载的组织 124
5.2.3　SLURM调度 125
5.2.4　SLURM命令概要 127
5.2.5　SLURM作业脚本 141
5.2.6　SLURM速查表 146
5.3　便携式批量系统基础 147
5.3.1　PBS概述 147
5.3.2　PBS架构 148
5.3.3　PBS命令概要 148
5.3.4　PBS作业脚本 158
5.3.5　PBS速查表 160
5.4　本章小结及成果 161
5.5　练习 162
参考文献 163
第6章　对称多处理器架构 164
6.1　引言 164
6.2　架构概览 165
6.3　阿姆达定律 168
6.4　处理器核心的架构 171
6.4.1　执行流水线 172
6.4.2　指令级并行 173
6.4.3　分支预测 173
6.4.4　直通 174
6.4.5　保留站 174
6.4.6　多线程 174
6.5　存储层次 175
6.5.1　数据重用和局部性 175
6.5.2　存储层次结构 176
6.5.3　存储系统的性能 178
6.6　PCI总线 180
6.7　外部I/O接口 184
6.7.1　网络接口控制器 184
6.7.2　串行高级技术附件 185
6.7.3　JTAG 187
6.7.4　通用串行总线 189
6.8　本章小结及成果 190
6.9　练习 191
参考文献 192
第7章　OpenMP的基础 194
7.1　引言 194
7.2　OpenMP编程模型概览 195
7.2.1　线程并行 195
7.2.2　线程变量 197
7.2.3　运行时库与环境变量 197
7.3　并行线程和循环 199
7.3.1　并行线程 199
7.3.2　私有 200
7.3.3　并行“for”语句 200
7.3.4　块 206
7.4　同步 208
7.4.1　临界同步指令 208
7.4.2　master指令 209
7.4.3　barr