分布式流数据处理的容错技术研究

目 录
第1章 绪论 1
1．1 研究背景与意义 1
1．1．1 分布式流数据处理 1
1．1．2 系统可靠性问题与容错机制 2
1．1．3 流数据处理容错技术的挑战 3
1．2 国内外研究现状 5
1．2．1 分布式流数据处理系统 5
1．2．2 流处理自动并行化技术 9
1．2．3 容错技术 10
1．3 本书的主要内容 13
1．4 本书的组织结构 14
第2章 支持分布式流处理的低开销容错机制 16
2．1 引言 16
2．2 相关工作 16
2．3 通用分布式流处理框架 17
2．4 系统模型 18
2．4．1 流数据处理作业 18
2．4．2 节点运行状态 19
2．5 结合检查点的上游备份模型 21
2．5．1 异步检查点 22
2．5．2 上游数据备份 22
2．6 容错协议及算法 24
2．6．1 上游备份协议 24
2．6．2 协议开销分析 26
2．6．3 快速恢复算法 27
2．7 实验结果与性能分析 29
2．7．1 系统原型实现 29
2．7．2 实验设置 29
2．7．3 容错通信开销 32
2．7．4 容错延迟开销 33
2．7．5 容错内存开销 33
2．7．6 故障恢复测试 34
2．8 本章小结 35
第3章 支持弹性流处理的自适应容错机制 36
3．1 引言 36
3．2 相关工作 37
3．3 弹性流处理下容错问题建模 38
3．3．1 问题概述 38
3．3．2 备份调整函数 40
3．3．3 问题模型假设 41
3．4 支持弹性流处理的自适应容错机制 41
3．4．1 弹性数据备份单元 42
3．4．2 数据依赖关系追踪 44
3．4．3 在线检查点调整机制 46
3．5 自适应容错协议 46
3．6 实验与结果分析 49
3．6．1 系统原型实现 49
3．6．2 实验设置 50
3．6．3 容错开销测试 51
3．6．4 故障恢复测试 52
3．6．5 综合性能比较 52
3．7 本章总结 53
第4章 负载感知的最佳检查点间隔策略 54
4．1 引言 54
4．2 相关工作 55
4．3 最佳检查点问题建模 57
4．3．1 系统模型 57
4．3．2 处理效率 58
4．3．3 问题定义 60
4．4 动态最佳检查点间隔（DOCI）模型 61
4．4．1 在线恢复时间预测 61
4．4．2 最佳检查点间隔 62
4．5 DOCI调整策略 63
4．5．1 DOCI调整算法 63
4．5．2 缓存对最佳检查点间隔的影响 66
4．6 实验与结果分析 67
4．6．1 模拟方法 67
4．6．2 恒定输入速率下的效率测试 68
4．6．3 工作负载波动下的效率测试 69
4．6．4 备份缓存区容量的影响测试 71
4．7 应用场景 72
4．8 本章总结 73
第5章 负载感知的近似备份策略 74
5．1 引言 74
5．2 相关工作 76
5．3 系统模型介绍 77
5．3．1 流处理模型 77
5．3．2 近似备份模型 77
5．3．3 前提假设 78
5．4 容错问题建模 79
5．4．1 备份开销 79
5．4．2 恢复质量 80
5．4．3 问题描述 81
5．5 近似备份算法 82
5．5．1 单节点故障算法 82
5．5．2 级联故障算法 83
5．5．3 负载倾斜备份算法 85
5．6 实验结果与分析 87
5．6．1 实验设置 87
5．6．2 综合性能测试 89
5．6．3 系统性能与故障恢复精度的影响测试 91
5．6．4 负载倾斜下的性能测试 92
5．6．5 可扩展性测试 93
5．7 结论 94
第6章 总结与展望 96
6．1 总结 96
6．2 未来研究展望 96
参考文献 98