自动化软件测试实施指南

译者序
序
序二
前言
第一部分 什么是自动化软件测试和为什么需要自动化
第1章 自动化软件测试概述
1.1 自动化测试定义
1.2 自动化测试的方法
1.3 AST技术的发展
1.4 各种自动化测试类型
1.5 提供基于AST的产品支持
1.5.1 按照需要对定位和修复产品问题提供支持
1.5.2 对确定出修正给特定程序组件造成的影响提供支持
1.5.3 校验产品修正的准确性和质量
1.5.4 支持产品的STR分类方法
1.6 自动化评估标准
小结
第2章 为什么要使用自动化
2.1 当今测试软件面临的挑战
2.2 减少软件测试的时间和成本
2.2.1 自动测试计划和开发——初始测试的工作量增加
2.2.2 生成测试数据——测试工作／计划减少
2.2.3 测试的执行——测试工作的减少／测试进度的加快
2.2.4 测试结果分析——测试工作的减少／测试进度的加快
2.2.5 错误状态／更正监测——测试工作的减少，测试进度的加快
2.2.6 报告的创建——测试工作的减／测试进度的加快
2.2.7 其他需要考虑的降低因素
2.3 影响软件质量
2.4 改进软件测试程序
2.4.1 改进构建验证测试（冒烟测试）
2.4.2 改进回归测试
2.4.3 多平台兼容性测试和配置测试
2.4.4 改善日常测试的执行
2.4.5 改进重点关注的高级测试问题
2.4.6 完成手动测试无法完成的工作
2.4.7 重现软件缺陷的能力
2.4.8 加强系统专业知识
2.4.9 下班后“无人值守”测试
2.4.10 改进需求定义
2.4.11 改进性能测试
2.4.12 改进压力测试和耐力测试
2.4.13 质量度量和测试优化
2.4.14 改进系统开发生命周期
2.4.15 改进文档和可跟踪性
2.4.16 分布式工作负载和并发测试
小结
第3章 商业案例
3.1 商业案例的定义
3.2 确定业务需要
3.3 在成本和收益方面调整自动化
3.3.1 评估ROI
3.3.2 自动化测试的总节省
3.3.3 测试环境建立的时间节省
3.3.4 测试开发的时间节省
3.3.5 测试执行时间的节省
3.3.6 测试评估／诊断时间节省
3.3.7 ROI的其他几点考量
3.3.8 更多ROI指标
3.4 风险
3.5 其他考虑
小结
第4章 自动化测试失败的原因以及需要避免的陷阱
4.1 通常R&D不重视自动化测试或手动测试的工作
4.2 自动化测试的神话与现实
4.2.1 自动测试计划的生成
4.2.2 测试工具适合所有场景
4.2.3 测试工作立即减少
4.2.4 计划立即缩减
4.2.5 工具的易用性
4.2.6 任何应用都可以使用AST
4.2.7 100％测试覆盖率
4.2.8 捕获／回放等同AST
4.2.9 AST是手动测试活动
4.2.10 忘记了测试的目的是找出缺陷
4.2.11 侧重于系统测试自动化而非自动化单元测试
4.3 软件开发时缺乏针对AST的考虑
4.3.1 在应用中构建可测试性
4.3.2 遵循开放架构标准
4.3.3 遵循标准文档格式
4.3.4 标准化的文档测试用例
4.3.5 遵循编码标准
4.3.6 使用OMG的IDI
4.3.7 GUI测试建议
4.3.8 GuI对象命名标准
4.3.9 代码重用的库概念
4.4 只见树木不见森林——不知道如何选择工具
4.5 缺少工具供应商都遵循的自动化标准
4.6 缺乏企业案例
小结
第二部分 如何实现自动化：获得自动化回报最重要的6个要点
第5章 要点1：了解需求
5.1 理解AST所支持的需求
5.1.1 AUT或SUT需求
5.1.2 AST框架（ASTF）和工具的需求
5.1.3 AST数据需求
5.1.4 测试环境的需求
5.1.5 AST过程需求
5.2 支持.AST需求的更多信息
5.2.1 手动测试过程
5.2.2 设计文档
5.2.3 原型
5.3 当信息不存在时
5.3.1 引导性的访谈
5.3.2 进一步增加知识面
5.3.3 基于遗留应用程序或遗留系统开发需求
5.4 开始实现需求跟踪矩阵（RTM）
5.4.1 RTM中的信息
5.4.2 RTM示例
小结
第6章 要点2：开发自动化测试策略
6.1 AST策略文档
6.2 范围和自动化测试目标
6.2.1 决定要自动化哪些测试
6.2.2 优先级——基于优先级的功能计划的自动化需求
6.2.3 定义测试目标：示例
6.3 确定方法
6.4 自动化软件测试框架
6.5 AST环境／配置
6.5.1 测试配置
6.5.2 其他测试环境的自动化测试需求
6.5.3 自动化测试环境管理——自动化CM
6.6 自动化RTM
6.6.1 需要标准的测试用例模板，对自动化框架极其有用
6.6.2 链接到测试用例
6.6.3 更新测试用例的步骤，包括通过失败结果
6.6.4 更新RTM，包括通过，失败结果
6.7 自动化的缺陷跟踪
小结
第7章 要点3：测试自动化软件测试框架（ASTF）
7.1 验证ASTF是否满足特定需求，功能是否表现得如预期那样
7.2 对所有ASTF相关工件，包括设计、开以及相关测试用例进行同级评审
7.2.1 作为软件开发生命周期一部分的同级评审
7.2.2 评估所有ASTF组件
7.2.3 评审测试用例
7.2.4 评审测试逻辑
7.2.5 评审测试数据
7.2.6 评审自动化的测试代码
7.3 验证需求和覆盖率
7.3.1 跟踪能力
7.3.2 覆盖率
7.4 举行一次用户审查
小结
第8章 要点4：持续跟踪过程并作相应调整
8.1 AST程序跟踪和缺陷预防
8.1.1 技术交换和走查
8.1.2 内部检查
8.1.3 检查约束和相关风险
8.1.4 实现风险缓解策略
8.1.5 维护AST过程和环境的完整性
8.1.6 定义、沟通和跟踪进度和成本
8.1.7 跟踪工作、问题和缺陷
8.2 AST度量
8.2 可自动化的百分比或自动化指标
8.2.2 自动化进展
8.2.3 测试进度
8.2.4 自动化测试覆盖率百分比
8.2.5 缺陷密度
8.2.6 缺陷趋势分析
8.2.7 缺陷移除效率
8.2.8 自动化软件测试ROI
8.2.9 其他软件测试度量
8.3 根本原因分析
小结
第9章 要点5：实施AST过程
9.1 AST的阶段和里程碑
9.2 AST阶段1：需求收集——分析自动化测试需求
9.3 AST阶段2：测试用例设计和开发
9.4 AST阶段3：开发自动化测试软件框架（ASTF）和测试脚本
9.5 AST阶段4：自动化测试的执行和结果报告·
9.6 AST阶段5：程序审查和评估
9.7 虚拟质量门槛
9.8 过程度量
小结
第10章 要点6：人尽其才
10.1 程序管理
10.1.1 AST阶段1：需求收集——分析自动化测试需求
10.1.2 AST阶段2：测试用例设计与开发
10.1.3 AST阶段3：开发自动化软件测试框架和测试脚本
10.1.4 AST阶段4：自动化测试执行和结果报告
10.1.5 AST阶段5：审查并评估程序
10.2 系统工程
10.2.1 AST阶段1：需求收集——分析自动化测试需求
10.2.2 AST阶段2：测试用例设计和开发
10.2.3 AST阶段3：开发自动化测试框架和测试脚本
10.2.4 AST阶段4：自动化测试的执行和结果报告
10.2.5 AST阶段5：审查并评估程序
10.3 软件开发
10.3.1 AST阶段1：需求收集——分析自动化测试需求
10.3.2 AST阶段2：测试用例设计和开发
10.3.3 AST阶段3：开发自动化软件测试框架和测试脚本
10.3.4 AST阶段4：自动化测试的执行和结果报告
10.3.5 AST阶段5：程序审查和评估
10.4 配置管理
10.4.1 AST阶段1：需求收集——分析自动化测试需求
10.4.2 AST阶段2：测试用例设计和开发
10.4.3 AST阶段3：开发自动化软件测试框架和测试脚本
10.4.4 AST阶段4：自动化测试的执行和结果报告
10.4.5 AST阶段5：审查并评估程序
10.5 质量保证
10.5.1 AST阶段1：需求收集——分析自动化测试需求
10.5.2 AST阶段2：测试用例设计和开发
10.5.3 AST阶段3：开发自动化软件测试框架和测试脚本
10.5.4 AST阶段4：自动化测试的执行和结果报告
10.5.5 AST阶段5：审查并评估程序
10.6 领域专家（$ME）
10.7 培训
小结
附录
附录A 过程一览表
附录B 将AST应用到的各种测试类型
附录C 工作中的利器
附录D 案例研究：自动化软件测试框架（ASTF）示例