网络安全态势感知：提取、理解和预测

前言

第一部分　基础知识

第1章　开启网络安全态势感知的旅程 2

1.1　引言 2

1.2　网络安全简史 3

1.2.1　计算机网络 3

1.2.2　恶意代码 4

1.2.3　漏洞利用 6

1.2.4　高级持续性威胁 7

1.2.5　网络安全设施 8

1.3　网络安全态势感知 10

1.3.1　为什么需要态势感知 10

1.3.2　态势感知的定义 12

1.3.3　网络安全态势感知的定义 13

1.3.4　网络安全态势感知参考模型 14

1.3.5　网络安全态势感知的周期 17

1.4　我国网络安全态势感知政策和发展 19

1.4.1　我国网络安全态势感知政策 19

1.4.2　我国网络安全态势感知的曲线发展历程 20

1.5　国外先进的网络安全态势感知经验 21

1.5.1　美国网络安全态势感知建设方式 21

1.5.2　美国网络安全国家战略 21

1.5.3　可信互联网连接 22

1.5.4　信息安全持续监控 23

1.5.5　可借鉴的经验 24

1.6　网络安全态势感知建设意见 24

第2章　大数据平台和技术 26

2.1　引言 26

2.2　大数据基础 27

2.2.1　大数据的定义和特点 27

2.2.2　大数据关键技术 28

2.2.3　大数据计算模式 28

2.3　大数据应用场景 29

2.4　大数据主流平台框架 30

2.4.1　Hadoop 30

2.4.2　Spark 32

2.4.3　Storm 33

2.5　大数据生态链的网络安全态势感知应用架构 34

2.6　大数据采集与预处理技术 34

2.6.1　传感器 36

2.6.2　网络爬虫 37

2.6.3　日志收集系统 39

2.6.4　数据抽取工具 40

2.6.5　分布式消息队列系统 42

2.7　大数据存储与管理技术 46

2.7.1　分布式文件系统 46

2.7.2　分布式数据库 50

2.7.3　分布式协调系统 53

2.7.4　非关系型数据库 55

2.7.5　资源管理调度 57

2.8　大数据处理与分析技术 64

2.8.1　批量数据处理 64

2.8.2　交互式数据分析 67

2.8.3　流式计算 71

2.8.4　图计算 74

2.8.5　高级数据查询语言Pig 75

2.9　大数据可视化技术 76

2.9.1　大数据可视化含义 76

2.9.2　基本统计图表 76

2.9.3　大数据可视化分类 77

2.9.4　高级分析工具 77

2.10　国外先进的大数据实践经验 78

2.10.1　大数据平台 78

2.10.2　网络分析态势感知能力 79

第二部分　态势提取

第3章　网络安全数据范围 82

3.1　引言 82

3.2　完整内容数据 82

3.3　提取内容数据 85

3.4　会话数据 86

3.5　统计数据 88

3.6　元数据 90

3.7　日志数据 93

3.8　告警数据 98

第4章　网络安全数据采集 100

4.1　引言 100

4.2　制定数据采集计划 100

4.3　主动式采集 102

4.3.1　通过SNMP采集数据 102

4.3.2　通过Telnet采集数据 103

4.3.3　通过SSH采集数据 103

4.3.4　通过WMI采集数据 104

4.3.5　通过多种文件传输协议采集数据 104

4.3.6　利用JDBC/ODBC采集数据库信息 105

4.3.7　通过代理和插件采集数据 106

4.3.8　通过漏洞和端口扫描采集数据 107

4.3.9　通过“蜜罐”和“蜜网”采集数据 107

4.4　被动式采集 108

4.4.1　通过有线和无线采集数据 108

4.4.2　通过集线器和交换机采集数据 110

4.4.3　通过Syslog采集数据 112

4.4.4　通过SNMP Trap采集数据 112

4.4.5　通过NetFlow/IPFIX/sFlow采集流数据 113

4.4.6　通过Web Service/MQ采集数据 114

4.4.7　通过DPI/DFI采集和检测数据 115

4.5　数据采集工具 116

4.6　采集点部署 117

4.6.1　需考虑的因素 117

4.6.2　关注网络出入口点 118

4.6.3　掌握IP地址分布 118

4.6.4　靠近关键资产 119

4.6.5　创建采集全景视图 119

第5章　网络安全数据预处理 121

5.1　引言 121

5.2　数据预处理的主要内容 121

5.2.1　数据审核 121

5.2.2　数据筛选 122

5.2.3　数据排序 122

5.3　数据预处理方法 123

5.4　数据清洗 123

5.4.1　不完整数据 124

5.4.2　不一致数据 124

5.4.3　噪声数据 124

5.4.4　数据清洗过程 125

5.4.5　数据清洗工具 126

5.5　数据集成 126

5.5.1　数据集成的难点 126

5.5.2　数据集成类型层次 127

5.5.3　数据集成方法模式 128

5.6　数据归约 129

5.6.1　特征归约 130

5.6.2　维归约 130

5.6.3　样本归约 131

5.6.4　数量归约 131

5.6.5　数据压缩 132

5.7　数据变换 132

5.7.1　数据变换策略 133

5.7.2　数据变换处理内容 133

5.7.3　数据变换方法 133

5.8　数据融合 135

5.8.1　数据融合与态势感知 135

5.8.2　数据融合的层次分类 136

5.8.3　数据融合相关算法 137

第三部分　态势理解

第6章　网络安全检测与分析 142

6.1　引言 142

6.2　入侵检测 143

6.2.1　入侵检测通用模型 143

6.2.2　入侵检测系统分类 144

6.2.3　入侵检测的分析方法 146

6.2.4　入侵检测技术的现状和发展趋势 151

6.3　入侵防御 152

6.3.1　入侵防御产生的原因 152

6.3.2　入侵防御的工作原理 153

6.3.3　入侵防御系统的类型 154

6.3.4　入侵防御与入侵检测的区别 155

6.4　入侵容忍 156

6.4.1　入侵容忍的产生背景 156

6.4.2　入侵容忍的实现方法 156

6.4.3　入侵容忍技术分类 157

6.4.4　入侵容忍与入侵检测的区别 157

6.5　安全分析 158

6.5.1　安全分析流程 158

6.5.2　数据包分析 160

6.5.3　计算机/网络取证 163

6.5.4　恶意软件分析 164

第7章　网络安全态势指标构建 167

7.1　引言 167

7.2　态势指标属性的分类 168

7.2.1　定性指标 168

7.2.2　定量指标 169

7.3　网络安全态势指标的提取 169

7.3.1　指标提取原则和过程 170

7.3.2　网络安全属性的分析 172

7.3.3　网络安全态势指标选取示例 178

7.4　网络安全态势指标体系的构建 179

7.4.1　指标体系的构建原则 179

7.4.2　基础运行维指标 179

7.4.3　脆弱维指标 180

7.4.4　风险维指标 181

7.4.5　威胁维指标 182

7.4.6　综合指标体系和指数划分 183

7.5　指标的合理性检验 184

7.6　指标的标准化处理 185

7.6.1　定量指标的标准化 186

7.6.2　定性指标的标准化 188

第8章　网络安全态势评估 189

8.1　引言 189

8.2　网络安全态势评估的内涵 190

8.3　网络安全态势评估的基本内容 190

8.4　网络安全态势指数计算基本理论 192

8.4.1　排序归一法 192

8.4.2　层次分析法 193

8.5　网络安全态势评估方法分类 194

8.6　网络安全态势评估常用的融合方法 196

8.6.1　基于逻辑关系的融合评价方法 196

8.6.2　基于数学模型的融合评价方法 197

8.6.3　基于概率统计的融合评价方法 204

8.6.4　基于规则推理的融合评价方法 207

第9章　网络安全态势可视化 212

9.1　引言 212

9.2　数据可视化基本理论 213

9.2.1　数据可视化一般流程 213

9.2.2　可视化设计原则与步骤 214

9.3　什么是网络安全态势可视化 216

9.4　网络安全态势可视化形式 217

9.4.1　层次化数据的可视化 217

9.4.2　网络数据的可视化 217

9.4.3　可视化系统交互 219

9.4.4　安全仪表盘 220

9.5　网络安全态势可视化的前景 221

第四部分　态势预测

第10章　典型的网络安全态势预测方法 224

10.1　引言 224

10.2　灰色理论预测 225

10.2.1　灰色系统理论的产生及发展 225

10.2.2　灰色理论建立依据 226

10.2.3　灰色预测及其类型 226

10.2.4　灰色预测模型 227

10.3　时间序列预测 234

10.3.1　时间序列分析的基本特征 235

10.3.2　时间序列及其类型 235

10.3.3　时间序列预测的步骤 236

10.3.4　时间序列分析方法 238

10.4　回归分析预测 240

10.4.1　回归分析的定义和思路 241

10.4.2　回归模型的种类 241

10.4.3　回归分析预测的步骤 242

10.4.4　回归分析预测方法 242

10.5　总结 245

第11章　网络安全态势智能预测 246

11.1　引言 246

11.2　神经网络预测 247

11.2.1　人工神经网络概述 247

11.2.2　神经网络的学习方法 248

11.2.3　神经网络预测模型类型 249

11.2.4　BP神经网络结构和学习原理 252

11.3　支持向量机预测 254

11.3.1　支持向量机方法的基本思想 254

11.3.2　支持向量机的特点 255

11.3.3　支持向量回归机的分类 257

11.3.4　支持向量机核函数的选取 260

11.4　人工免疫预测 261

11.4.1　人工免疫系统概述 262

11.4.2　人工免疫模型相关机理 262

11.4.3　人工免疫相关算法 264

11.5　复合式攻击预测 267

11.5.1　基于攻击行为因果关系的复合式攻击预测方法 268

11.5.2　基于贝叶斯博弈理论的复合式攻击预测方法 269

11.5.3　基于CTPN的复合式攻击预测方法 270

11.5.4　基于意图的复合式攻击预测方法 272

第12章　其他 274

12.1　引言 274

12.2　网络安全人员 274

12.2.1　网络安全人员范围 274

12.2.2　需要具备的技能 275

12.2.3　能力级别分类 277

12.2.4　安全团队建设 278

12.3　威胁情报分析 279

12.3.1　网络威胁情报 279

12.3.2　威胁情报来源 280

12.3.3　威胁情报管理 281

12.3.4　威胁情报共享 282

参考文献 283