数据资源规划与管理实践

第1篇　数据工程基础
第1章 数据工程概述 3
1.1　数据工程相关概念 3
1.1.1　数据的定义和生命周期 3
1.1.2　数据、信息、知识和智慧 4
1.1.3　数据工程的定义和内涵 5
1.2　数据工程的体系建设 6
1.2.1　总体架构 6
1.2.2　数据工程的体系维 7
1.2.3　数据工程的标准维 9
1.2.4　数据工程的技术维 10
1.3　数据工程建设现状与发展 11
1.3.1　我国数据工程建设的现状与发展 11
1.3.2　美军数据工程建设的发展历程 14
1.4　小结 18
习题 18
第2章 数据标准 19
2.1　概述 19
2.1.1　标准和标准化的基本概念 19
2.1.2　数据标准化概述 21
2.1.3　数据标准体系 22
2.2　元数据标准化 24
2.2.1　元数据基本概念 24
2.2.2　典型元数据标准 27
2.2.3　元数据标准的分类与管理 30
2.2.4　元数据标准参考框架 32
2.3　数据元标准化 35
2.3.1　数据元概述 35
2.3.2　数据元的基本属性 39
2.3.3　数据元的命名和定义 41
2.3.4　数据元的表示格式和值域 43
2.3.5　数据元间的关系 46
2.4　数据分类与编码 47
2.4.1　数据分类的基本原则和方法 47
2.4.2　数据编码的基本原则和方法 49
2.5　小结 53
习题 54
第3章 数据模型 55
3.1　数据模型基本概念 55
3.1.1　概念模型 55
3.1.2　逻辑模型 56
3.1.3　物理模型 58
3.2　数据建模标记符号 59
3.2.1　实体?联系图标记符号 59
3.2.2　IDEF1x标记符号 60
3.2.3　信息工程标记符号 63
3.2.4　UML数据模型标记符号 65
3.2.5　标记符号的补充说明 66
3.3　数据模型描述方法 67
3.3.1　概念模型描述方法 67
3.3.2　逻辑模型描述方法 68
3.3.3　物理模型描述方法 70
3.3.4　数据字典描述方法 70
3.4　小结 71
习题 71
第2篇 数据资源规划
第4章 数据资源规划理论 75
4.1　数据资源规划的由来 75
4.1.1 失败的案例 75
4.1.2 应用积压严重 76
4.1.3 应用开发效率低 76
4.1.4 系统维护的困难 76
4.2　数据资源规划的概念和作用 77
4.2.1　数据资源规划概念的提出 77
4.2.2　数据资源规划的定义 78
4.2.3　数据资源规划的核心思想 79
4.2.4　数据资源规划的作用 79
4.3　数据资源规划的理论基础 79
4.3.1　信息生命周期管理理论 80
4.3.2　信息工程和战略数据资源规划理论 81
4.3.3　信息资源管理和数据资源管理标准化理论 84
4.4　小结 86
习题 86
第5章 数据资源规划方法 87
5.1　基于稳定信息过程的数据资源规划方法 87
5.1.1　方法概述 87
5.1.2　具体步骤 88
5.2　基于稳定信息结构的数据资源规划方法 92
5.2.1　方法概述 92
5.2.2　具体步骤 92
5.3　基于指标能力的数据资源规划方法 94
5.3.1　方法概述 94
5.3.2　具体步骤 95
5.4　数据资源规划方法比较 96
5.5　小结 96
习题 97
第6章 数据资源规划的需求分析 98
6.1　需求分析基本概念 98
6.2　需求获取方法 99
6.2.1　访谈 99
6.2.2　快速原型系统法 99
6.2.3　简易的应用规格说明技术 100
6.2.4　数据流图法 101
6.3　需求分析工具——数据流图 102
6.3.1　数据流图的符号 102
6.3.2　数据流图设计步骤 103
6.3.3　数据字典 106
6.4　用户视图分析技术 108
6.4.1　用户视图概念 108
6.4.2　数据结构规范化 110
6.4.3　用户视图整理模式 114
6.5　小结 116
习题 116
第7章 数据资源规划的模型构建 118
7.1　数据模型构建的类型 118
7.1.1 层次模型和网状模型 118
7.1.2 关系模型 118
7.1.3 多维数据模型 119
7.1.4 DataVault数据模型 119
7.1.5 Anchor模型 119
7.1.6 基于本体的数据模型 119
7.2　关系模型构建技术 120
7.2.1　关系模型的基本概念 120
7.2.2　关系模型的构建步骤 121
7.3　维度模型构建技术 123
7.3.1　维度模型的基本概念 123
7.3.2　维度模型构建的基本步骤 123
7.4　基于本体的数据模型构建技术 125
7.4.1　本体的基本概念 125
7.4.2　本体的构建原则与步骤 126
7.4.3　基于本体的数据模型构建 127
7.5　小结 128
习题 128
第8章 数据资源规划实践和工具 129
8.1　数据资源规划实践案例 129
8.1.1 确定职能域 129
8.1.2 职能域业务分析，并确定其业务活动 129
8.1.3 职能域数据分析 132
8.1.4 建立领域的数据资源管理基础标准 134
8.2　数据资源规划工具IRP 2000 139
8.3　新版数据资源规划工具 143
8.4　小结 146
习题 146
第3篇 数据资源管理
第9章 数据治理 149
9.1　数据治理概述 149
9.1.1　数据治理的基本概念 149
9.1.2　相关概念辨析 150
9.1.3　数据治理要素 152
9.2　数据治理实施方法 153
9.2.1　定义业务问题 153
9.2.2　获取高层支持 154
9.2.3　评估成熟度 154
9.2.4　创建路线图 154
9.2.5　建立组织蓝图 154
9.2.6　创建数据字典 154
9.2.7　理解数据 154
9.2.8　创建元数据仓库 155
9.2.9　定义度量标准 155
9.2.10　主数据治理 155
9.2.11　治理分析 155
9.2.12　安全与隐私管理 155
9.2.13　信息生命周期管理 156
9.2.14　测量结果 156
9.3　大数据治理概述 156
9.3.1　大数据治理的基本概念 156
9.3.2　大数据治理的技术框架 159
9.4　小结 168
习题 168
第10章 数据质量管理 169
10.1　数据质量概述 169
10.1.1　数据质量定义 169
10.1.2　数据质量问题来源 169
10.1.3　数据质量问题分类 170
10.1.4　数据质量衡量维度 171
10.2　数据清洗 171
10.2.1　数据清洗定义 172
10.2.2　数据清洗方法 172
10.2.3　缺失数据处理 172
10.2.4　重复数据处理 176
10.2.5　异常数据处理 181
10.2.6　逻辑错误数据处理 182
10.2.7　数据清洗流程 183
10.3　数据质量工具 185
10.3.1　SAS/DataFlux 公司产品 185
10.3.2　Informatica公司产品 185
10.3.3　IBM公司产品 186
10.3.4　Oracle公司产品 186
10.3.5　Talend公司产品 187
10.3.6　Data Cleaner 187
10.4　小结 188
习题 188
第11章 数据集成 189
11.1　数据集成概述 189
11.1.1 数据集成的概念 189
11.1.2 数据集成的挑战 190
11.2　数据集成主要方法 191
11.2.1　虚拟视图方法 191
11.2.2　物化方法 192
11.2.3　混合型集成方法 194
11.3　数据集成开发生命周期 194
11.4　数据集成技术 195
11.4.1　ETL技术 195
11.4.2　实时数据集成技术 197
11.4.3　数据虚拟化技术 198
11.5　数据集成产品介绍 199
11.5.1　Kettle工具 199
11.5.2　DataX工具 200
11.5.3　Informatica PowerCenter工具 201
11.6　小结 204
习题 204
第12章 数据中台 205
12.1　数据中台概述 205
12.1.1　数据中台的概念 206
12.1.2　数据中台的发展 206
12.1.3　数据中台的功能 207
12.2　数据中台的架构 207
12.2.1　数据采集与集成 208
12.2.2　数据加工 209
12.2.3　数据资产体系构建 209
12.2.4　数据资产管理 210
12.2.5　数据服务 211
12.3　数据中台的建设 212
12.3.1　需求调研 212
12.3.2　需求分析 212
12.3.3　数据中台架构设计 212
12.3.4　实施数据中台建设 214
12.3.5　运行维护数据中台 214
12.4　数据中台的支撑技术 214
12.4.1　数据采集技术 214
12.4.2　数据存储技术 215
12.4.3　数据挖掘技术 216
12.4.4　大数据计算技术 217
12.4.5　数据服务技术 217
12.5　典型数据中台的介绍 218
12.5.1　阿里云上数据中台 218
12.5.2　网易数据中台 219
12.6　小结 220
习题 220
参考文献 221