基于数据科学的恶意软件分析

目　　录
译者序
序
前言
致谢
作者简介
评审专家简介
第1章　恶意软件静态分析基础 1
1.1　微软Windows可移植可执行文件格式 2
1.1.1　PE头 3
1.1.2　可选头 3
1.1.3　节头 3
1.2　使用pef?ile解析PE文件格式 5
1.3　检查恶意软件的图片 7
1.4　检查恶意软件的字符串 8
1.4.1　使用字符串程序 8
1.4.2　分析镜像字符串 8
1.5　小结 10
第2章　基础静态分析进阶：x86反汇编 11
2.1　反汇编方法 11
2.2　x86汇编语言基础 12
2.2.1　CPU寄存器 13
2.2.2　算术指令 14
2.2.3　数据传送指令 15
2.3　使用peffile和capstone反汇编ircbot.exe 19
2.4　限制静态分析的因素 21
2.4.1　加壳 21
2.4.2　资源混淆 22
2.4.3　反汇编技术 22
2.4.4　动态下载数据 22
2.5　小结 23
第3章　动态分析简介 24
3.1　为什么使用动态分析 24
3.2　恶意软件数据科学的动态分析 25
3.3　动态分析的基本工具 25
3.3.1　典型的恶意软件行为 26
3.3.2　在malwr.com上加载文件 26
3.3.3　在malwr.com上分析结果 27
3.4　基本动态分析的局限 32
3.5　小结 32
第4章　利用恶意软件网络识别攻击活动 33
4.1　节点和边 34
4.2　二分网络 35
4.3　恶意软件网络可视化 37
4.3.1　失真问题 37
4.3.2　力导向算法 38
4.4　使用NetworkX构建网络 38
4.5　添加节点和边 39
4.5.1　添加属性 40
4.5.2　将网络保存到磁盘 41
4.6　使用GraphViz实现网络可视化 41
4.6.1　使用参数调整网络 42
4.6.2　GraphViz命令行工具 43
4.6.3　向节点和边添加可视属性 47
4.7　构建恶意软件网络 50
4.8　构建共享图像关系网络 53
4.9　小结 57
第5章　共享代码分析 58
5.1　通过特征提取对样本进行比较 61
5.1.1　特征袋模型如何工作 61
5.1.2　N-gram 62
5.2　使用Jaccard系数量化相似性 63
5.3　使用相似性矩阵评价恶意软件共享代码估计方法 65
5.3.1　基于指令序列的相似性 66
5.3.2　基于字符串的相似性 68
5.3.3　基于导入地址表的相似性 69
5.3.4　基于API动态调用的相似性 70
5.4　构建相似图 71
5.5　扩展相似性比较 76
5.5.1　minhash概述 77
5.5.2　minhash详述 77
5.6　构建持续的恶意软件相似性搜索系统 79
5.7　运行相似性搜索系统 84
5.8　小结 86
第6章　理解基于机器学习的恶意软件检测方法 87
6.1　基于机器学习的检测引擎构建步骤 88
6.1.1　收集训练样本 88
6.1.2　提取特征 89
6.1.3　设计好的特征 90
6.1.4　训练机器学习系统 90
6.1.5　测试机器学习系统 91
6.2　理解特征空间和决策边界 91
6.3　是什么决定了模型的好和坏：过拟合与欠拟合 96
6.4　机器学习算法的主要类型 99
6.4.1　逻辑回归 100
6.4.2　k近邻算法 103
6.4.3　决策树 106
6.4.4　随机森林 112
6.5　小结 114
第7章　评价恶意软件检测系统 115
7.1　四种可能的检测结果 115
7.1.1　检出率和误报率 116
7.1.2　检出率和误报率之间的关系 117
7.1.3　ROC曲线 118
7.2　在评价中考虑基准率 119
7.2.1　基准率如何影响精确度 120
7.2.2　在部署环境中评价精确度 120
7.3　小结 122
第8章　构建基于机器学习的检测器 123
8.1　术语和概念 124
8.2　构建一个基于决策树的检测器雏形 125
8.2.1　训练你的决策树分类器 126
8.2.2　可视化决策树 127
8.2.3　完整的示例代码 129
8.3　使用sklearn构建实际的机器学习检测器 130
8.3.1　实际的特征提取 130
8.3.2　为什么不能使用所有可能的特征 134
8.3.3　使用哈希技巧压缩特征 134
8.4　构建工业级的检测器 138
8.4.1　特征提取 138
8.4.2　训练检测器 139
8.4.3　运行检测器检测新的二进制文件 141
8.4.4　至此我们实现了什么 142
8.5　评价检测器的性能 144
8.5.1　使用ROC曲线评价检测器的功效 144
8.5.2　计算ROC曲线 144
8.5.3　将数据拆分为训练集和测试集 146
8.5.4　计算ROC曲线 147
8.5.5　交叉验证 148
8.6　下一步工作 151
8.7　小结 152
第9章　可视化恶意软件趋势 153
9.1　为什么可视化恶意软件数据很重要 153
9.2　理解我们的恶意软件数据集 155
9.2.1　将数据加载到pandas中 156
9.2.2　使用pandas DataFrame 157
9.2.3　使用条件过滤数据 159
9.3　使用matplotlib可视化数据 160
9.3.1　绘制恶意软件大小和反病毒引擎检测之间的关系 161
9.3.2　绘制勒索软件检出率 162
9.3.3　绘制勒索软件和蠕虫检测率 163
9.4　使用seaborn可视化数据 166
9.4.1　绘制反病毒引擎检出的分布图 167
9.4.2　创建小提琴图 170
9.5　小结 172
第10章　深度学习基础 173
10.1　深度学习的定义 174
10.2　神经网络是如何工作的 175
10.2.1　神经元剖析 175
10.2.2　神经元网络 178
10.2.3　通用近似定理 178
10.2.4　构建自己的神经网络 179
10.2.5　向网络中添加一个新的神经元 182
10.2.6　自动生成特征 184
10.3　训练神经网络 185
10.3.1　利用后向传播优化神经网络 186
10.3.2　路径爆炸 188
10.3.3　梯度消失 189
10.4　神经网络的类型 189
10.4.1　前馈神经网络 189
10.4.2　卷积神经网络 190
10.4.3　自编码神经网络 191
10.4.4　生成式对抗网络 192
10.4.5　循环神经网络 192
10.4.6　残差网络 193
10.5　小结 193
第11章　使用Keras构建神经网络恶意软件检测器 194
11.1　定义模型的架构 195
11.2　编译模型 197
11.3　训练模型 198
11.3.1　提取特征 198
11.3.2　创建数据生成器 199
11.3.3　与验证数据协作 203
11.3.4　保存和加载模型 204
11.4　模型评价 205
11.5　使用回调强化模型训练过程 206
11.5.1　使用内置回调 207
11.5.2　使用自定义回调函数 208
11.6　小结 210
第12章　成为数据科学家 211
12.1　成为安全数据科学家之路 211
12.2　安全数据科学家的一天 212
12.3　高效安全数据科学家的特征 214
12.3.1　开放的心态 214
12.3.2　无穷的好奇心 214
12.3.3　对结果的痴迷 215
12.3.4　对结果的怀疑 215
12.4　未来的工作 215
附录　数据集和工具概述 217