并行处理基本原理

第1章 并行机和并行计算
1.1 并行体系结构的发展历程
1.1.1 串行计算机中的并行性
1.1.2 向量或SIMD计算机
1.1.3 多处理机或MIMD计算机
1.2 互连网络
1.3 体系结构并行性的应用
1.4 SIMD和MIMD程序设计
1.5 算法并行性
1.6 小结
1.7 参考文献注解
1.8 练习题
第2章 并行计算基础
2.1 描述算法并行性的参数
2.2 前缀问题
2.3 并行前缀算法
2.3.1 高/低并行前缀算法
2.3.2 奇/偶并行前缀算法
2.3.3 Ladner和Fischer并行前缀算法
2.4 大规模问题求解算法的特性
2.5 编程实现并行前缀算法
2.6 并行算法的加速比和效率
2.7 性能分析
2.7.1 影响性能的因素
2.7.2 一个简单的性能模型--Amdahl定律
2.7.3 平均执行速度
2.8 小结
2.9 参考文献注解
2.10 练习题
第3章 向量算法与体系结构
3.1 向量和矩阵算法
3.2 向量体系结构--单指令多数据流体系结构
3.3 SIMD指令集
3.3.1 SIMD计算机的寄存器和存储器
3.3.2 向量、控制器与协同指令
3.3.3 数据相关条件操作
3.3.4 向量长度和分段处理
3.3.5 在PE之间路由数据
3.4 互素存储器系统
3.5 用PE索引来解决存储布局问题
3.6 SIMD语言结构--Fortran 90
3.6.1 数组和数组分片
3.6.2 数组赋值和数组表达式
3.6.3 Fortran 90数组内置函数
3.6.4 Fortran 90中SIMD操作举例
3.7 流水SIMD向量计算机
3.7.1 流水SIMD处理机的结构
3.7.2 流水SIMD计算机的存储器接口
3.7.3 流水SIMD计算机的性能
3.8 向量体系结构小结
3.9 参考文献注解
3.10 练习题
第4章 MIMD计算机或多处理机
4.1 共享存储器和消息传递体系结构
4.1.1 混合类型多处理机体系结构
4.1.2 共享存储器和消息传递的特点
4.1.3 消息传递体系结构中的网络拓扑结构
4.1.4 直接和间接网络
4.1.5 实际系统的分类
4.2 共享存储器多处理机程序设计总览
4.2.1 数据共享和进程管理
4.2.2 同步
4.2.3 原子性与同步
4.2.4 作业分配
4.2.5 多个进程执行一个程序
4.3 共享存储器程序设计的选择与领域
4.3.1 进程管理--启动、停止和层次
4.3.2 并行进程对数据的访问
4.3.3 作业分配
4.3.4 多处理机的同步
4.4 共享存储器多处理机程序设计语言
4.4.1 OpenMP语言扩展
4.4.2 OpenMP Fortran语言的应用程序接口(API)
4.4.3 OpenMP Fortran实例与讨论
4.5 流水MIMD--多线程
4.6 小结
4.7 参考文献注解
4.8 练习题
第5章 分布式存储器多处理机
5.1 处理机/存储器对中的分布式数据和操作
5.2 使用消息传递机制编程
5.2.1 通信串行进程语言
5.2.2 分布式存储器编程实例：矩阵乘法
5.3 通信的特征
5.3.1 点对点通信
5.3.2 在分布式存储器程序中的变量分类
5.3.3 高级通信操作
5.3.4 使用高级通信进行分布高斯消元法
5.3.5 进程拓扑与处理机拓扑
5.4 消息传递接口(MPI)
5.4.1 MPI中的基本概念
5.4.2 MPI程序实例--矩阵乘法
5.5 管理通信的硬件--分布式高速缓存
5.5.1 高速缓存一致性
5.5.2 共享存储器的一致性
5.6 小结--共享存储器多处理机与分布式存储器多处理机
5.7 参考文献注解
5.8 练习题
第6章 互连网络
6.1 网络特性
6.2 置换
6.3 静态网络
6.3.1 网格
6.3.2 环
6.3.3 树
6.3.4 立方体网络
6.3.5 性能
6.4 动态网络
6.4.1 总线(bus)
6.4.2 交叉开关
6.4.3 多级互连网络
6.4.4 组合网络--互斥自由同步
6.4.5 性能
6.5 小结
6.6 参考文献注解
6.7 练习题
第7章 数据相关性与并行性
7.1 发现(串行)代码中的并行操作
7.2 具有复杂名称的变量
7.2.1 嵌套循环
7.2.2 关于数组访问不确定性问题的变化
7.3 样本编译技术
7.3.1 循环变换
7.3.2 循环重构
7.3.3 循环替换变换
7.3.4 消除反相关和输出相关的变换
7.4 数据流原理
7.4.1 数据流基本概念
7.4.2 数据流计算的图形化表示
7.4.3 数据流的条件
7.4.4 数据流迭代
7.4.5 数据流函数的应用与递归
7.4.6 数据流中的结构值--数组
7.5 数据流体系结构
7.5.1 MIT静态数据流体系结构
7.5.2 动态数据流计算机
7.5.3 数据流机器的一些问题
7.6 脉动阵列
7.7 小结
7.8 参考文献注解
7.9 练习题
第8章 同步实现与数据共享
8.1 同步传输信息的特点
8.2 不同类别的协同计算同步
8.2.1 一个生产者和一个或多个消费者
8.2.2 全局归约
8.2.3 全局前缀
8.2.4 划分结构的协同更新
8.2.5 管理共享作业集
8.2.6 协同的列表操作
8.2.7 使用Fetch&Add并行访问队列
8.2.8 直方图--细粒度数据相关同步
8.3 等待机制
8.3.1 硬件等待
8.3.2 软件等待
8.3.3 多级等待
8.4 用原子读写操作实现互斥
8.5 证明同步实现的正确性
8.5.1 使用锁实现Produce/Consume
8.5.2 时间逻辑
8.5.3 正确性证明
8.6 另一种同步实现--障碍.
8.6.1 障碍同步的特点.
8.6.2 障碍实现的特点
8.7 小结
8.8 参考文献注解
8.9 练习题
第9章 并行处理机性能
9.1 Amdahl定律回顾
9.1.1 工作粒度对Amdahl定律的影响
9.1.2 Amdahl定律参数的最小方差估计
9.2 参数化的执行时间
9.2.1 流水线向量机的性能
9.2.2 流水线多处理机的性能
9.2.3 多流水线多处理机系统
9.3 障碍同步的性能
9.3.1 障碍性能的说明
9.3.2 障碍性能测量的手段
9.3.3 障碍同步性能测量举例
9.4 并行循环静态调度和动态调度的统计模型
9.4.1 动态调度模型
9.4.2 静态调度模型
9.4.3 实验结果的比较
9.5 小结
9.6 参考文献注解
9.7 练习题
第10章 并行程序的时间特性
10.1 高速缓存行为的时间特性
10.1.1 高速缓存特性的时间局部性度量标准
10.1.2 冒泡排序程序局部性度量标准的应用举例
10.2 分布式高速缓存多处理机中的读共享
10.2.1 共享数据读取的一个简单例子
10.2.2 KSR-1体系结构
10.2.3 读多重性度量标准
10.2.4 实验
10.2.5 编程控制的邮寄存储和预取
1O.3 消息传递多处理机系统中的消息等待
10.4 小结
10.5 参考文献注解
10.6 练习题
第11章 并行输入输出
11.1 并行I/O问题
11.1.1 数据相关性和输入输出
11.1.2 输入输出格式转换
11.1.3 输入输出延迟和带宽需求的数值例子
11.2 并行输入输出的硬件
11.2.1 主存方面的传输控制
11.2.2 输入输出通道的并发
11.2.3 并行外围设备
11.3 并行访问磁盘阵列--RAID
11.4 共享存储器多处理机中的并行格式化I/O
11.4.1 使用c中的I/O例程fread()和sscan()实现并行输入
11.4.2 使用C中的I/O例程sprintf()和fwrite()实现并行输出
11.5 多处理机中的聚合I/O--MPI-IO
11.5.1 MPI-2中的I/O概念
11.5.2 MPI-IO示例
11.6 小结
11.7 参考文献注解
11.8 练习题
附录A MPI消息传递库程序
A.1 点对点通信程序
A.2 聚合通信程序
A.3 MPI数据类型和构造器
A.4 通信器、进程组和拓扑
A.5 MPI环境和错误处理
A.6 小结与MPI-2扩展
附录B 同步机制
B.1 硬件级同步
B.2 语言级同步
B.3 等待机制
参考文献