大数据测试技术：数据采集、分析与测试实践（在线实验+在线自测）

第 1章　大数据测试的思维　1
1．1　规律是否存在　1
1．2　大数据的背后　3
1．3　大数据测试方法　4
1．4　目的及组织结构　5
第 2章　大数据收集概述　7
2．1　案例介绍　7
2．2　原理及方法　7
2．3　环境配置　8
2．3．1　配置无线网　8
2．3．2　安装分析软件　9
2．4　数据采集　10
2．4．1　软件连接　10
2．4．2　信息显示　11
2．4．3　数据包的存储　11
2．5　同步操作　12
2．6　小结　14
【思考题】　14
第3章　网络数据的采集与分析　15
3．1　物理连接及Wireshark软件的常用操作　15
3．1．1　物理连接　15
3．1．2　Wireshark软件的打开方式　15
3．1．3　构建网络　17
3．1．4　Wireshark软件功能介绍　18
3．2　数据包的采集　18
3．2．1　数据的收集　18
3．2．2　数据的存储和打开　20
3．3　数据包的自动抓取　22
3．3．1　背景介绍　22
3．3．2　脚本录制　23
3．3．3　脚本执行　24
3．4　数据包分析　25
3．4．1　数据包的分析方法　25
3．4．2　数据获取　25
3．4．3　数据包的数量　28
3．4．4　数据分析　28
3．5　小结　32
【思考题】　32
第4章　数据格式转换及Python编程　34
4．1　原理及方法　34
4．1．1　pyshark介绍　34
4．1．2　FileCapture和LiveCapture　35
4．1．3　Python基础语法　37
4．2　Python安装及配置　37
4．2．1　Python安装　37
4．2．2　配置　38
4．2．3　pyshark包下载　39
4．2．4　pyshark包安装　40
4．2．5　安装支撑文件　41
4．3　Python基础学习　42
4．3．1　Python的命令行演示　42
4．3．2　创建并运行．py文件　42
4．3．3　Python出错演示　42
4．3．4　Python注释　43
4．3．5　一行多语句　43
4．3．6　输出换行　43
4．3．7　缩进　44
4．3．8　Python帮助　44
4．4　Notepad环境　45
4．4．1　Notepad++软件　45
4．4．2　运行设置　45
4．4．3　多个变量赋值　46
4．4．4　Python的标准数据类型　47
4．4．5　删除对象的引用　50
4．4．6　Python语言的运算符　50
4．4．7　Python条件语句　52
4．5　Python编程实践　52
4．5．1　汉诺塔问题　52
4．5．2　奇偶数分离　53
4．5．3　Python中in的应用　54
4．5．4　循环使用else语句编程　54
4．6　Python面向对象　54
4．6．1　面向对象介绍　54
4．6．2　self代表类的对象　55
4．6．3　类的实例化　56
4．6．4　Python内置类属性　57
4．6．5　Python对象的销毁（垃圾回收）　57
4．6．6　类的继承　58
4．6．7　方法重写　59
4．6．8　运算符重载　60
4．6．9　类属性与方法　60
4．7　Python的集成开发环境　61
4．7．1　PyCharm软件　61
4．7．2　Jupyter软件　67
4．8　pcapng文件到CSV文件　78
4．8．1　编写代码　78
4．8．2　代码运行　80
4．8．3　转换文件　80
4．9　小结　80
【思考题】　81
第5章　Splunk软件初探　83
5．1　Splunk简介　83
5．1．1　Splunk的架构　84
5．1．2　Splunk indexer集群架构　85
5．1．3　Splunk search集群架构　86
5．1．4　SPL语言　86
5．2　Splunk的安装与配置　90
5．2．1　安装　90
5．2．2　配置　92
5．3　Splunk数据分析　94
5．3．1　构造SPL语句　94
5．3．2　确定列名　95
5．3．3　Splunk的简单操作　95
5．4　SPL高级编程　97
5．4．1　自动生成数据　97
5．4．2　构造随机数　99
5．4．3　数据统计　100
5．4．4　Splunk处理过程　101
5．4．5　报告再编辑　102
5．5　小结　102
【思考题】　102
第6章　Splunk平台实践　105
6．1　Splunk的基础命令　105
6．1．1　Search（搜索）命令　105
6．1．2　SPL的命令分类　107
6．1．3　常用命令详解　115
6．2　Splunk软件的自动数据生成　119
6．2．1　生成数据　119
6．2．2　删除无用数据　121
6．2．3　构造随机数据　121
6．2．4　创建对数列和指数列　122
6．3　可视化展示　123
6．3．1　可视化图　123
6．3．2　格式设置　123
6．3．3　保存和导入　123
6．3．4　图形修改　125
6．4　官方帮助文档　126
6．4．1　SPL语言目录　126
6．4．2　命令分析实例　133
6．5　应用分析实例　137
6．5．1　案例　137
6．5．2　案例分析　137
6．5．3　创建记录　137
6．5．4　增加统计值　138
6．5．5　创建test字段　138
6．5．6　错误解决　139
【思考题】　140
第7章　SPL案例编程　142
7．1　stats命令学习　142
7．2　数据下载和导入　144
7．2．1　数据下载　144
7．2．2　数据导入　145
7．3　问题描述及分析　148
7．3．1　自动生成的SPL语句　148
7．3．2　要求及分析　149
7．3．3　解决方案　150
【思考题】　151
第8章　数据导入及错误分析　153
8．1　背景知识介绍　153
8．1．1　时间戳　153
8．1．2　数据　153
8．2　数据选择　154
8．2．1　导入数据入口　154
8．2．2　数据类型　154
8．3　时间戳错误　155
8．3．1　手机联网数据导入　155
8．3．2　时间戳错误　157
8．4　问题分析及解决　157
8．4．1　问题分析　157
8．4．2　问题解决　158
8．5　导入配置　159
8．5．1　源类型设置　159
8．5．2　索引设置　160
8．5．3　导入成功及预览　161
8．5．4　数据搜索及分析　162
【思考题】　163
第9章　联网效率分析　164
9．1　原理及方法　164
9．1．1　效率分析　164
9．1．2　性能测试方法　164
9．2　常用分析命令　164
9．2．1　sort命令　164
9．2．2　timechart命令　165
9．2．3　outlier命令　166
9．2．4　eventstats命令　167
9．3　数据导入和处理　167
9．3．1　数据导入　167
9．3．2　从Wireshark代码到Splunk代码　167
9．3．3　字段调整　169
9．3．4　时间排序　171
9．3．5　数据分组　172
9．4　分析联网效率　175
9．4．1　创建count字段　175
9．4．2　数据过滤　176
9．4．3　数据分析　176
【思考题】　180
第 10章　Linux部署　182
10．1　原理及方法　182
10．1．1　虚拟机　182
10．1．2　数据传输　183
10．2　软件安装及运行　184
10．2．1　在虚拟机中安装Linux系统　184
10．2．2　在CentOS 7系统中安装Splunk平台　185
10．2．3　启动Splunk　186
10．2．4　Splunk的运行演示　187
10．3　网络配置　189
10．3．1　Ubuntu安装　189
10．3．2　VMware网络设置　190
10．3．3　网络验证　191
10．3．4　Ubuntu系统的网络配置　192
10．3．5　运行Splunk　193
【思考题】　196
第 11章　大数据测试实践　197
11．1　监测数据导入　197
11．1．1　运行Splunk　197
11．1．2　Web日志分析　197
11．1．3　Xftp连接　198
11．1．4　monitor方式　199
11．1．5　monitor数据导入　199
11．1．6　数据分析　203
11．1．7　查看文件和目录　204
11．1．8　小结　205
11．2　数据缺陷挖掘　205
11．2．1　方法与思路　205
11．2．2　状态码　206
11．2．3　启动Splunk服务　209
11．2．4　网络联通验证　210
11．2．5　运行Splunk　212
11．2．6　返回操作　212
11．2．7　数据挖掘及分析　214
11．2．8　可视化展示　217
11．3　非结构化数据处理　220
11．3．1　非结构化数据　220
11．3．2　正则表达式　221
11．3．3　数据处理　226
【思考题】　240
思考题答案　242