数据湖架构

第1章 数据的湖泊 1
1.1 大数据来了 2
1.2 数据湖来了 2
1.3 “单向”的数据湖 4
1.4 小结 7
第2章 改造数据湖 8
2.1 元数据 9
2.2 整合图谱 9
2.3 语境 11
2.4 元过程 11
2.5 数据科学家 13
2.6 通用性 14
2.7 小结 14
第3章 数据湖内部 16
3.1 模拟信号数据 17
3.2 应用程序数据 20
3.3 文本数据 21
3.4 另一个视角 23
3.5 小结 24
第4章 数据池 26
4.1 数据修整 27
4.2 初始数据池 28
4.3 模拟信号数据池 29
4.4 应用程序数据池 29
4.5 文本数据池 30
4.6 将数据直接传入数据池 30
4.7 归档数据池 31
4.8 小结 32
第5章 数据池的通用结构 33
5.1 数据池描述 34
5.2 数据池目标 35
5.3 数据池数据 36
5.4 数据池元数据 36
5.5 数据池元过程 37
5.6 数据转换标准 38
5.7 小结 39
第6章 模拟信号数据池 41
6.1 模拟信号数据问题 42
6.2 数据描述 42
6.3 捕获初始数据、转换初始数据 43
6.4 转换/调整初始模拟信号数据 44
6.5 数据切除 47
6.6 聚类数据 48
6.7 数据关系 50
6.8 未来使用的可能性 51
6.9 异常值 52
6.10 临时性的特定分析 54
6.11 小结 55
第7章 应用程序数据池 57
7.1 数据的基因 58
7.2 数据描述 59
7.3 标准数据库格式 59
7.4 数据的基本组织 60
7.5 数据的整合 61
7.6 数据模型 61
7.7 整合的必要性 63
7.8 从一个应用指向到下一个应用 65
7.9 交并应用 66
7.10 应用程序数据池内的数据子集 67
7.11 小结 68
第8章 文本数据池 70
8.1 统一化的数据与计算机 70
8.2 宝贵的文本 71
8.3 文本消歧 72
8.4 传入数据池的文本 73
8.5 文本消歧的输出 74
8.6 固有的复杂性 75
8.7 文本消歧的功能 77
8.8 分类与本体 77
8.9 文本与语境的价值 79
8.10 对文本追根溯源 80
8.11 消歧的机制 80
8.12 分析数据库 81
8.13 将结果可视化 82
8.14 小结 84
第9章 数据池间的对比 85
9.1 数据池的相似性 85
9.2 数据池的差异性 86
9.3 数据最终状态的关系型格式 86
9.4 技术间差异 87
9.5 数据池中数据的总预期容量 88
9.6 数据池间的数据移动 88
9.7 在多个数据池进行分析 89
9.8 使用元数据来关联不同数据池内的数据 90
9.9 假如…… 91
9.10 小结 92
第10章 利用基础架构 94
10.1 “单向”数据湖 95
10.2 改造数据湖 96
10.3 转换技术 96
10.4 一些分析问题 97
10.5 查询文本数据 100
10.6 真实的分析 101
10.7 小结 102
第11章 搜索与分析 103
11.1 供应商所散布的困惑 110
11.2 小结 110
第12章 数据池中的业务价值 111
12.1 模拟信号数据池中的业务价值 111
12.2 应用程序数据池中的业务价值 114
12.3 文本数据池中的业务价值 115
12.4 记录中的业务价值比例 116
12.5 小结 117
第13章 一些额外话题 118
13.1 高层系统级别文档 118
13.2 详细的数据池级别文档 119
13.3 什么样的数据会流入数据湖/数据池 120
13.4 分析在何处发生 121
13.5 数据的年龄 125
13.6 数据的安全 125
13.7 小结 126
第14章 分析与整合工具 127
14.1 可视化 127
14.2 搜索与修正 128
14.3 文本消歧 129
14.4 统计分析 130
14.5 经典的ETL处理 131
14.6 小结 131
第15章 归档数据池 133
15.1 数据的移除标准 134
15.2 结构性改动 134
15.3 为归档数据池建立单独的索引 135
15.4 小结 136
术语表 137
参考资料 142