DM8数据中心解决方案：达梦数据交换平台

入 门 篇
第1章 概述 2
1．1 数据交换基本概念 2
1．1．1 数据交换概念模型 2
1．1．2 数据交换技术的发展 3
1．2 数据交换体系结构 4
1．2．1 数据交换模式 4
1．2．2 数据交换体系组成 6
1．3 达梦数据交换平台简介 7
1．3．1 组成及功能 7
1．3．2 技术架构 10
1．3．3 特点 11
第2章 安装与配置 13
2．1 安装与卸载 13
2．1．1 Windows操作系统中的安装 13
2．1．2 Linux操作系统中的安装 21
2．1．3 升级安装 23
2．1．4 卸载 24
2．1．5 常见问题与注意事项 25
2．2 系统配置 27
2．2．1 启动与停止系统服务 27
2．2．2 服务器配置 30
2．2．3 元数据库配置 31
2．2．4 集群配置 33
2．2．5 数据总线服务配置 34
2．2．6 Web监控服务配置 35
2．2．7 查看许可证信息 36
2．2．8 监听服务器日志信息 37
2．2．9 日志参数配置 37
第3章 快速入门 38
3．1 设计器界面 38
3．1．1 设计器启动 38
3．1．2 界面简介 40
3．2 基本操作 40
3．2．1 设计 40
3．2．2 运行 43
3．3 入门示例 44
3．3．1 示例说明 44
3．3．2 创建数据源 45
3．3．3 创建工程 50
3．3．4 设计转换 51
3．3．5 设计作业 62
3．3．6 查看运行日志 66
基 础 篇
第4章 数据源管理 68
4．1 关系型数据库 68
4．1．1 关系型数据库概述 68
4．1．2 添加表 70
4．1．3 添加视图 70
4．1．4 添加SQL查询 71
4．1．5 表 73
4．2 文本文件 79
4．2．1 文本文件描述 79
4．2．2 文本文件选项配置说明 79
4．2．3 文本文件详细说明 79
4．3 CSV文件 80
4．3．1 CSV文件描述 80
4．3．2 CSV文件选项配置说明 80
4．4 Excel文件 80
4．4．1 Excel文件描述 80
4．4．2 Excel文件选项配置说明 81
4．5 XML文件 81
4．5．1 XML文件描述 81
4．5．2 XML文件选项配置说明 81
4．5．3 XML文件示例描述 82
4．6 数据集文件 83
4．6．1 数据集文件描述 83
4．6．2 数据集文件选项配置说明 83
4．7 DBF文件 84
4．7．1 DBF文件描述 84
4．7．2 DBF文件选项配置说明 84
4．8 JSON文件 84
4．8．1 JSON文件描述 84
4．8．2 JSON文件选项配置说明 84
4．8．3 JSON文件示例描述 85
4．9 HDFS文件 86
4．9．1 HDFS文件描述 86
4．9．2 HDFS文件选项配置说明 86
4．10 AVRO文件 86
4．10．1 AVRO文件描述 86
4．10．2 AVRO文件选项配置说明 87
4．11 JMS文件 87
4．11．1 JMS文件描述 87
4．11．2 JMS文件选项配置说明 87
4．11．3 JMS文件示例描述 87
4．12 WebSphere MQ 89
4．12．1 WebSphere MQ描述 89
4．12．2 WebSphere MQ选项配置说明 89
4．13 Kafka 89
4．13．1 Kafka描述 89
4．13．2 Kafka选项配置说明 89
4．14 WebService 90
4．14．1 WebService描述 90
4．14．2 WebService选项配置说明 90
4．15 LDAP 90
4．15．1 LDAP描述 90
4．15．2 LDAP选项配置说明 90
4．15．3 LDAP示例描述 91
4．15．4 添加LDAP DN数据集 91
4．16 Mail数据源 91
4．16．1 Mail数据源描述 91
4．16．2 Mail数据源选项配置说明 92
4．16．3 Mail数据源示例描述 92
4．16．4 添加Mail数据集 93
4．17 MongoDB数据源 94
4．17．1 MongoDB数据源描述 94
4．17．2 MongoDB数据源选项配置说明 94
4．17．3 MongoDB数据源示例描述 94
4．17．4 添加MongoDB数据集 94
4．18 Elasticsearch数据源 95
4．18．1 Elasticsearch数据源描述 95
4．18．2 Elasticsearch数据源选项配置说明 95
4．18．3 Elasticsearch数据源示例描述 96
4．18．4 添加Elasticsearch类型 96
4．19 Hbase数据源 97
4．19．1 Hbase数据源描述 97
4．19．2 Hbase数据源选项配置说明 97
4．19．3 Hbase数据源示例描述 98
4．19．4 添加Hbase表 98
4．20 导出元数据 99
4．20．1 导出元数据描述 99
4．20．2 导出元数据选项配置说明 99
4．20．3 导出元数据示例描述 99
4．21 导出数据 101
4．21．1 导出数据描述 101
4．21．2 导出数据选项配置说明 101
4．21．3 导出数据示例描述 101
第5章 转换 103
5．1 转换概述 103
5．1．1 转换功能描述 103
5．1．2 转换选项配置说明 103
5．2 转换通用配置 104
5．2．1 输出配置 104
5．2．2 高级属性配置 109
5．2．3 数据条数 111
5．2．4 文件切分 112
5．2．5 文件处理 113
5．2．6 文件选择 114
5．2．7 自动分表 116
5．2．8 流程运行统计 117
5．3 数据读取 118
5．3．1 读取表/视图 118
5．3．2 SQL查询 120
5．3．3 读取增量表 122
5．3．4 读取文本文件 124
5．3．5 读取CSV文件 125
5．3．6 读取Excel文件 127
5．3．7 读取XML文件 128
5．3．8 读取数据集文件 129
5．3．9 读取JMS数据 131
5．3．10 读取WebService数据 133
5．3．11 读取LDAP数据 134
5．3．12 读取Mail数据 135
5．3．13 读取随机数据 136
5．3．14 读取自定义数据源 138
5．3．15 读取DBF文件 141
5．3．16 读取JSON文件 141
5．3．17 读取MongoDB数据 142
5．3．18 读取WebSphere MQ数据 143
5．3．19 读取网络输入数据 143
5．4 数据转换 143
5．4．1 数据清洗转换 143
5．4．2 联合 155
5．4．3 数据集查找 157
5．4．4 数据质量检测 159
5．4．5 SQL脚本 159
5．4．6 设置变量 161
5．4．7 排序 162
5．4．8 删除重复行 164
5．4．9 行数据抽样 165
5．4．10 自定义转换 166
5．4．11 聚合 167
5．4．12 列转行 168
5．4．13 行转列 170
5．4．14 系统命令 171
5．4．15 数据脱敏 171
5．4．16 连接 172
5．5 数据装载 172
5．5．1 表装载 172
5．5．2 增量表装载 174
5．5．3 缓慢变化维表装载 176
5．5．4 文本文件装载 181
5．5．5 CSV文件装载 182
5．5．6 Excel文件装载 183
5．5．7 XML文件装载 185
5．5．8 数据集文件装载 186
5．5．9 JMS装载 187
5．5．10 WebService装载 188
5．5．11 DBF文件装载 190
5．5．12 JSON文件装载 191
5．5．13 MongoDB装载 192
5．5．14 WebSphere MQ装载 192
5．5．15 Kafka装载 192
5．5．16 Elasticsearch装载 193
5．5．17 网络输出 193
5．6 快速装载 194
5．6．1 DM8快速装载 194
5．6．2 Greenplum快速装载 195
5．6．3 Oracle快速装载 197
5．6．4 MySQL快速装载 198
5．6．5 Infobright快速装载 199
5．6．6 Mariadb快速装载 200
5．6．7 Hive快速装载 200
5．7 文件同步 201
5．7．1 文件源 201
5．7．2 文件目的 203
5．7．3 文件同步示例 203
第6章 作业 206
6．1 作业概述 206
6．1．1 作业功能描述 206
6．1．2 作业选项配置说明 206
6．2 作业通用配置 207
6．2．1 高级属性 207
6．2．2 循环执行 208
6．3 引用 209
6．3．1 引用转换 210
6．3．2 引用作业 210
6．4 脚本 211
6．4．1 Java脚本 212
6．4．2 SQL脚本 213
6．4．3 设置变量 214
6．5 文件操作 216
6．5．1 基本文件操作 216
6．5．2 压缩 217
6．5．3 解压缩 218
6．5．4 远程文件同步 219
6．6 实用工具 221
6．6．1 发送邮件 221
6．6．2 OS命令 223
6．6．3 DLL调用 224
6．6．4 Ant 225
6．6．5 休眠 227
6．6．6 数据校验 228
6．7 系统维护 230
6．7．1 清除日志 230
6．7．2 刷新缓存 231
第7章 函数与变量 233
7．1 函数 233
7．1．1 函数定义 233
7．1．2 函数类型与作用域 234
7．2 变量 234
7．2．1 变量定义 234
7．2．2 变量类型与作用域 235
7．2．3 节点变量 235
7．2．4 局部变量 237
7．3 表达式 237
7．4 使用嵌入式表达式 238
7．5 数据类型 239
第8章 调度与监控 241
8．1 调度 241
8．1．1 新建调度 241
8．1．2 设置调度 243
8．1．3 调度引擎 245
8．2 监控 246
8．2．1 监控后台流程 246
8．2．2 查询历史日志 247
8．2．3 清除历史日志 249
8．2．4 实时告警 250
8．2．5 历史告警 251
8．2．6 清除告警 251
第9章 权限与版本管理 252
9．1 权限概述 252
9．1．1 功能权限 252
9．1．2 对象权限 253
9．2 角色 255
9．3 用户 256
9．3．1 用户概述 256
9．3．2 启用/禁用用户 257
9．3．3 重置密码 257
9．4 版本管理 258
9．4．1 备份当前版本 258
9．4．2 自动备份 258
9．4．3 手动备份 259
9．4．4 查看历史版本 259
9．4．5 清除历史版本 260
9．4．6 还原删除对象 261
高 级 篇
第10章 增量数据抽取 264
10．1 增量数据抽取原理 264
10．1．1 增量数据抽取方式 264
10．1．2 DMETL增量数据表 267
10．2 增量数据同步设计 269
10．2．1 添加增量数据集 269
10．2．2 配置增量表数据抽取 270
10．2．3 配置增量表数据装载 271
10．2．4 配置“首次同步时同步基表数据”与“设为首次同步” 271
10．3 增量数据同步和增量方式配置示例 274
10．3．1 触发器方式同步示例 274
10．3．2 其他增量方式配置示例 278
第11章 达梦数据交换集群 283
11．1 集群概述 283
11．1．1 体系结构 283
11．1．2 集群特性 284
11．2 集群安装配置与管理 287
11．2．1 集群安装 287
11．2．2 集群主从节点配置 287
11．2．3 集群管理 291
11．3 转换和作业集群配置 293
11．3．1 转换流程消息顺序 293
11．3．2 转换组件集群配置 294
11．3．3 作业组件集群配置 295
11．3．4 组件对集群的支持 296
第12章 数据质量检测 297
12．1 数据质量检测规则管理 297
12．1．1 数据质量规则 297
12．1．2 数据质量视图 298
12．2 数据质量检测配置 299
12．3 数据质量检测统计 304
第13章 Web监控与数据总线 309
13．1 Web监控 309
13．1．1 Web监控安装 309
13．1．2 Web监控配置 309
13．1．3 Web监控功能 311
13．2 数据总线 319
13．2．1 DMETL数据总线概述 319
13．2．2 基于数据总线的数据交换 320
第14章 自定义转换和数据源开发 329
14．1 自定义转换和数据源开发概述 329
14．2 开发环境搭建 330
14．2．1 开发环境要求 330
14．2．2 开发条件准备 331
14．3 自定义转换开发 334
14．3．1 自定义转换开发目标 334
14．3．2 自定义转换开发步骤 335
14．3．3 自定义转换应用 343
14．4 自定义数据源开发 348
14．4．1 自定义数据源开发目标 348
14．4．2 自定义数据源开发步骤 348
14．4．3 使用自定义数据源 352
第15章 ETL接口编程 354
15．1 DMETL API概述 354
15．2 接口编程示例 355
15．2．1 数据迁移编程示例 355
15．2．2 数据操作查询编程示例 359
15．2．3 调度操作编程示例 362
15．2．4 查询语句修改编程示例 363
附录A 系统函数 365
A．1 数学函数 365
A．2 字符串函数 369
A．3 日期时间函数 374
A．4 判断函数 376
A．5 数据转换函数 376
A．6 其他函数 378
附录B 系统变量 381
B．1 系统运行变量 381
B．2 其他系统变量 381
附录C 日期时间格式 382
附录D 数字格式 385