金融数据建模应用（初级）

目 录

第 1 章 金融大数据概述 　　　　　　1

1.1 认识金融大数据 　　　　　　　1

1.1.1 大数据的定义 　　　　　　　　1

1.1.2 金融大数据的定义 　　　　　　　1

1.1.3 金融大数据的分类 　　　　　　　2

1.1.4 金融大数据的特点 　　　　　　　3

1.1.5 金融大数据的作用 　　　　　　　4

1.1.6 金融大数据的分析方法 　　　　　　　5

1.2 金融大数据应用 　　　　　　　6

1.2.1 金融大数据在银行业的应用 　　　　　　6

1.2.2 金融大数据在证券业的应用 　　　　　　8

1.2.3 金融大数据在保险业的应用 　　　　　　8

1.3 金融大数据应用技术架构 　　　　　　10

1.3.1 数据产生层 　　　　　　　　10

1.3.2 数据交换层 　　　　　　　　11

1.3.3 流程调度层 　　　　　　　　13

1.3.4 数据计算层 　　　　　　　　13

1.3.5 数据应用层 　　　　　　　　17

1.3.6 数据访问层 　　　　　　　　18

1.3.7 数据管控层 　　　　　　　　19

1.4 金融大数据应用的关键技术 　　　　　20

1.4.1 大数据采集技术 　　　　　　　20

1.4.2 大数据预处理技术 　　　　　　20

1.4.3 大数据存储与管理技术 　　　　　　　20

1.4.4 大数据分析与挖掘技术 　　　　　　　21

1.4.5 大数据展现与应用技术 　　　　　　　21

本章习题 　　　　　　　　21

第 2 章金融数据分析基础　　　　　23

2.1 认识金融数据分析 　　　　　　　23

2.1.1 金融数据分析的目的 　　　　　　　23

2.1.2 金融数据分析的意义 　　　　　　　24

2.1.3 金融数据分析的基本思路 　　　　　　25

2.1.4 金融数据分析常用术语 　　　　　　　28

2.2 金融数据分析流程及应用场景 　　　　　　37

2.2.1 金融数据的获取 　　　　　　　37

2.2.2 金融数据的预处理 　　　　　　38

2.2.3 金融数据的清洗 　　　　　　　39

2.2.4 金融数据的分析 　　　　　　　39

2.2.5 金融数据的展示 　　　　　　　40

2.2.6 金融数据分析的应用场景 　　　　　　40

2.3 操作误区 　　　　　　　　41

2.3.1 偏离分析目的 　　　　　　　42

2.3.2 分析报告缺少内涵 　　　　　　42

本章习题 　　　　　　　　42

第 3 章金融数据建模及常用算法　　　　　45

3.1 金融数据建模基础 　　　　　　　45

3.1.1 数据模型 　　　　　　　　45

3.1.2 数据建模 　　　　　　　　47

3.1.3 金融数据模型和金融数据建模规范 　　　　　48

3.1.4 金融数据建模的流程 　　　　　　　51

3.2 金融数据业务常用算法 　　　　　　55

3.2.1 相关分析 　　　　　　　　55

3.2.2 回归分析 　　　　　　　　59

3.2.3 决策树 　　　　　　　67

3.2.4 聚类分析 　　　　　　　　71

3.2.5 关联规则分析 　　　　　　　78

本章习题 　　　　　　　　81

第 4 章 金融数据自主建模高级应用 　　　　　82

4.1 自主建模的基本概念 　　　　　　　82

4.1.1 数据模型 　　　　　　　　82

4.1.2 数据表 　　　　　　　86

4.1.3 算子 　　　　　　　　86

4.2 大数据建模分析平台简介 　　　　　　86

4.2.1 大数据建模分析平台的功能模块 　　　　　　87

4.2.2 数据手动上传 　　　　　　　96

4.3 模型创建与管理 　　　　　　　100

4.3.1 模型创建 　　　　　　　　100

4.3.2 模型管理 　　　　　　　　102

4.4 单表级数据处理通用算子 　　　　　108

4.4.1 添加字段算子 　　　　　　　108

4.4.2 JSON解析算子 　　　　　　　109

4.4.3 算术运算算子 　　　　　　　111

4.4.4 日期处理算子 　　　　　　　113

4.4.5 字符串处理算子 　　　　　　　116

4.4.6 空值率算子 　　　　　　　　120

4.4.7 SQL算子 　　　　　　　　121

4.5 多表级数据建模算子 　　　　　　123

4.5.1 左连接算子 　　　　　　　　123

4.5.2 差集算子 　　　　　　　　125

4.5.3 全关联算子 　　　　　　　　126

4.6 金融数据模型综合应用 　　　　　　128

4.6.1 数据准备 　　　　　　　　128

4.6.2 场景分析 　　　　　　　　128

4.6.3 模型实现 　　　　　　　　133

本章习题 　　　　　　　133

第 5 章 SQL在金融数据建模中的应用 　　　　135

5.1 SQL使用场景及技巧 　　　　　　135

5.2 SQL查询基本语法及函数应用 　　　　　　139

5.2.1 SQL查询基本语法 　　　　　　　139

5.2.2 数学运算函数应用 　　　　　　　142

5.2.3 日期函数应用 　　　　　　　146

5.2.4 条件函数应用 　　　　　　　154

5.2.5 字符串函数应用 　　　　　　　157

5.2.6 数值计算函数应用 　　　　　　　162

5.2.7 聚合函数应用 　　　　　　　163

5.3 函数应用注意事项 　　　　　　　164

本章习题 　　　　　　　164

第 6 章金融数据可视化分析高级应用 　　　　166

6.1 金融数据可视化分析概述 　　　　　166

6.1.1 金融数据可视化分析的定义 　　　　　166

6.1.2 金融数据可视化分析的应用场景 　　　　　　167

6.1.3 金融数据可视化分析的主要功能 　　　　　　167

6.2 可视化图表类型介绍 　　　　　　168

6.2.1 数据准备及上传 　　　　　　　168

6.2.2 堆积图及百分比堆积图 　　　　　　169

6.2.3 瀑布图 　　　　　　　173

6.2.4 词云图 　　　　　　　175

6.2.5 散点图 　　　　　　　177

6.2.6 桑基图 　　　　　　　180

6.3 图表设置 　　　　　　　　182

6.3.1 图表颜色设置 　　　　　　　182

6.3.2 图表联动设置 　　　　　　　187

6.3.3 图表筛选设置 　　　　　　　191

6.3.4 图表钻取设置 　　　　　　　196

6.3.5 图表排序设置 　　　　　　　197

6.3.6 图表样式设置 　　　　　　　197

6.4 图表中的常用计算 　　　　　　　197

6.4.1 百分比 　　　　　　　197

6.4.2 留存率 　　　　　　　198

6.4.3 活跃率 　　　　　　　198

6.4.4 重复率 　　　　　　　198

6.4.5 同比 　　　　　　　　199

6.4.6 环比 　　　　　　　　199

6.4.7 移动计算 　　　　　　　　200

6.4.8 累计计算 　　　　　　　　200

6.5 图表中的自定义计算 　　　　　　200

6.5.1 分组字段 　　　　　　　　200

6.5.2 计算字段 　　　　　　　　201

本章习题 　　　　　　　202

第 7 章 金融数据建模应用案例解析 　　　　　203

7.1 案例背景 　　　　　　　　203

7.2 申请评分卡模型的构建 　　　　　　204

7.2.1 建模思想及原理 　　　　　　　204

7.2.2 建模方法 　　　　　　　　204

7.2.3 模型开发流程 　　　　　　　206

7.3 申请评分卡模型的实现 　　　　　　206

7.3.1 数据获取 　　　　　　　　206

7.3.2 数据预处理 　　　　　　　　207

7.3.3 探索性数据分析 　　　　　　　210

7.3.4 变量选择 　　　　　　　　214

7.3.5 模型开发 　　　　　　　　220

7.3.6 模型评估 　　　　　　　　225

7.3.7 信用评分 　　　　　　　　226

7.4 模型分析总结 　　　　　　　227

本章习题 　　　　　　　227

第 8 章 金融数据建模新技术 　　　　　229

8.1 机器学习 　　　　　　　　229

8.1.1 机器学习概述 　　　　　　　229

8.1.2 机器学习常用算法 　　　　　　　230

8.1.3 机器学习在金融领域的应用 　　　　　232

8.2 自然语言处理 　　　　　　　232

8.2.1 自然语言处理概述 　　　　　　　232

8.2.2 自然语言处理的基本任务 　　　　　　233

8.2.3 自然语言处理在金融领域的应用 　　　　　　235

8.3 知识图谱 　　　　　　　　236

8.3.1 知识图谱概述 　　　　　　　236

8.3.2 知识图谱构建技术 　　　　　　　236

8.3.3 知识图谱在金融领域的应用 　　　　　239

8.4 区块链 　　　　　　　　240

8.4.1 区块链概述 　　　　　　　　240

8.4.2 区块链核心技术 　　　　　　　241

8.4.3 区块链技术在金融领域的应用 　　　　　　242

本章习题 　　　　　　　244

第 9 章金融数据安全规范　　　　　245

9.1 金融数据安全概述 　　　　　　　245

9.1.1 金融数据安全的重要性 　　　　　　245

9.1.2 金融数据面临的风险 　　　　　　　245

9.1.3 我国金融数据安全原则 　　　　　　　247

9.1.4 我国金融数据安全法规 　　　　　　247

9.2 金融数据安全分级 　　　　　　　250

9.2.1 金融数据安全分级的目标、原则和范围 　　　　250

9.2.2 金融数据安全分级要素和规则 　　　　　　251

9.2.3 金融数据安全级别划分 　　　　　　252

9.3 金融数据生命周期安全管理 　　　　　　253

9.3.1 数据采集安全管理 　　　　　　　253

9.3.2 数据传输安全管理 　　　　　　　254

9.3.3 数据存储安全管理 　　　　　　　256

9.3.4 数据使用安全管理 　　　　　　　257

9.3.5 数据删除安全管理 　　　　　　　261

9.3.6 数据销毁安全管理 　　　　　　　262

本章习题 　　　　　　　263

参考文献　　　　　　　264