大数据测试技术 数据采集、分析与测试实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据测试技术 数据采集、分析与测试实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据测试的思维1

1.1 规律是否存在1

1.2 大数据的背后3

1.3 大数据测试方法4

1.4 目的及组织结构5

第2章 大数据收集概述7

2.1 案例介绍7

2.2 原理及方法7

2.3 环境配置8

2.3.1 配置无线网8

2.3.2 安装分析软件9

2.4 数据采集10

2.4.1 软件连接10

2.4.2 信息显示11

2.4.3 数据包的存储11

2.5 同步操作12

2.6 小结14

【思考题】14

第3章 网络数据的采集与分析15

3.1 物理连接及Wireshark软件的常用操作15

3.1.1 物理连接15

3.1.2 Wireshark软件的打开方式15

3.1.3 构建网络17

3.1.4 Wireshark软件功能介绍18

3.2 数据包的采集18

3.2.1 数据的收集18

3.2.2 数据的存储和打开20

3.3 数据包的自动抓取22

3.3.1 背景介绍22

3.3.2 脚本录制23

3.3.3 脚本执行24

3.4 数据包分析25

3.4.1 数据包的分析方法25

3.4.2 数据获取25

3.4.3 数据包的数量28

3.4.4 数据分析28

3.5 小结32

【思考题】32

第4章 数据格式转换及Python编程34

4.1 原理及方法34

4.1.1 pyshark介绍34

4.1.2 FileCapture和LiveCapture35

4.1.3 Python基础语法37

4.2 Python安装及配置37

4.2.1 Python安装37

4.2.2 配置38

4.2.3 pyshark包下载39

4.2.4 pyshark包安装40

4.2.5 安装支撑文件41

4.3 Python基础学习42

4.3.1 Python的命令行演示42

4.3.2 创建并运行.Py文件42

4.3.3 Python出错演示42

4.3.4 Python注释43

4.3.5 一行多语句43

4.3.6 输出换行43

4.3.7 缩进44

4.3.8 Python帮助44

4.4 Notepad环境45

4.4.1 Notepad+++软件45

4.4.2 运行设置45

4.4.3 多个变量赋值46

4.4.4 Python的标准数据类型47

4.4.5 删除对象的引用50

4.4.6 Python语言的运算符50

4.4.7 Python条件语句52

4.5 Python编程实践52

4.5.1 汉诺塔问题52

4.5.2 奇偶数分离53

4.5.3 Python中in的应用54

4.5.4 循环使用else语句编程54

4.6 Python面向对象54

4.6.1 面向对象介绍54

4.6.2 self代表类的对象55

4.6.3 类的实例化56

4.6.4 Python内置类属性57

4.6.5 Python对象的销毁（垃圾回收）57

4.6.6 类的继承58

4.6.7 方法重写59

4.6.8 运算符重载60

4.6.9 类属性与方法60

4.7 Python的集成开发环境61

4.7.1 PyCharm软件61

4.7.2 Jupyter软件67

4.8 pcapng文件到CSV文件78

4.8.1 编写代码78

4.8.2 代码运行80

4.8.3 转换文件80

4.9 小结80

【思考题】81

第5章 Splunk软件初探83

5.1 Splunk简介83

5.1.1 Splunk的架构84

5.1.2 Splunk indexer集群架构85

5.1.3 Splunk search集群架构86

5.1.4 SPL语言86

5.2 Splunk的安装与配置90

5.2.1 安装90

5.2.2 配置92

5.3 Splunk数据分析94

5.3.1 构造SPL语句94

5.3.2 确定列名95

5.3.3 Splunk的简单操作95

5.4 SPL高级编程97

5.4.1 自动生成数据97

5.4.2 构造随机数99

5.4.3 数据统计100

5.4.4 Splunk处理过程101

5.4.5 报告再编辑102

5.5 小结102

【思考题】102

第6章 Splunk平台实践105

6.1 Splunk的基础命令105

6.1.1 Search（搜索）命令105

6.1.2 SPL的命令分类107

6.1.3 常用命令详解115

6.2 Splunk软件的自动数据生成119

6.2.1 生成数据119

6.2.2 删除无用数据121

6.2.3 构造随机数据121

6.2.4 创建对数列和指数列122

6.3 可视化展示123

6.3.1 可视化图123

6.3.2 格式设置123

6.3.3 保存和导入123

6.3.4 图形修改125

6.4 官方帮助文档126

6.4.1 SPL语言目录126

6.4.2 命令分析实例133

6.5 应用分析实例137

6.5.1 案例137

6.5.2 案例分析137

6.5.3 创建记录137

6.5.4 增加统计值138

6.5.5 创建test字段138

6.5.6 错误解决139

【思考题】140

第7章 SPL案例编程142

7.1 stats命令学习142

7.2 数据下载和导入144

7.2.1 数据下载144

7.2.2 数据导入145

7.3 问题描述及分析148

7.3.1 自动生成的SPL语句148

7.3.2 要求及分析149

7.3.3 解决方案150

【思考题】151

第8章 数据导入及错误分析153

8.1 背景知识介绍153

8.1.1 时间戳153

8.1.2 数据153

8.2 数据选择154

8.2.1 导入数据入口154

8.2.2 数据类型154

8.3 时间戳错误155

8.3.1 手机联网数据导入155

8.3.2 时间戳错误157

8.4 问题分析及解决157

8.4.1 问题分析157

8.4.2 问题解决158

8.5 导入配置159

8.5.1 源类型设置159

8.5.2 索引设置160

8.5.3 导入成功及预览161

8.5.4 数据搜索及分析162

【思考题】163

第9章 联网效率分析164

9.1 原理及方法164

9.1.1 效率分析164

9.1.2 性能测试方法164

9.2 常用分析命令164

9.2.1 sort命令164

9.2.2 timechart命令165

9.2.3 outlier命令166

9.2.4 eventstats命令167

9.3 数据导入和处理167

9.3.1 数据导入167

9.3.2 从Wireshark代码到Splunk代码167

9.3.3 字段调整169

9.3.4 时间排序171

9.3.5 数据分组172

9.4 分析联网效率175

9.4.1 创建count字段175

9.4.2 数据过滤176

9.4.3 数据分析176

【思考题】180

第10章 Linux部署182

10.1 原理及方法182

10.1.1 虚拟机182

10.1.2 数据传输183

10.2 软件安装及运行184

10.2.1 在虚拟机中安装Linux系统184

10.2.2 在CentOS 7系统中安装Splunk平台185

10.2.3 启动Splunk186

10.2.4 Splunk的运行演示187

10.3 网络配置189

10.3.1 Ubuntu安装189

10.3.2 VMware网络设置190

10.3.3 网络验证191

10.3.4 Ubuntu系统的网络配置192

10.3.5 运行Splunk193

【思考题】196

第11章 大数据测试实践197

11.1 监测数据导入197

11.1.1 运行Splunk197

11.1.2 Web日志分析197

11.1.3 Xftp连接198

11.1.4 monitor方式199

11.1.5 monitor数据导入199

11.1.6 数据分析203

11.1.7 查看文件和目录204

11.1.8 小结205

11.2 数据缺陷挖掘205

11.2.1 方法与思路205

11.2.2 状态码206

11.2.3 启动Splunk服务209

11.2.4 网络联通验证210

11.2.5 运行Splunk212

11.2.6 返回操作212

11.2.7 数据挖掘及分析214

11.2.8 可视化展示217

11.3 非结构化数据处理220

11.3.1 非结构化数据220

11.3.2 正则表达式221

11.3.3 数据处理226

【思考题】240

思考题答案242