Flink原理、实战与性能优化

前言

第1章　Apache Flink介绍  1

1.1　Apache Flink是什么  1

1.2　数据架构的演变  2

1.2.1　传统数据基础架构  3

1.2.2　大数据数据架构  4

1.2.3　有状态流计算架构  5

1.2.4　为什么会是Flink  6

1.3　Flink应用场景  8

1.4　Flink基本架构  10

1.4.1　基本组件栈  10

1.4.2　基本架构图  11

1.5　本章小结  13

第2章　环境准备  14

2.1　运行环境介绍  14

2.2　Flink项目模板  15

2.2.1　基于Java实现的项目模板  15

2.2.2　基于Scala实现的项目模板  18

2.3　Flink开发环境配置  20

2.3.1　下载IntelliJ IDEA IDE  21

2.3.2　安装Scala Plugins  21

2.3.3　导入Flink应用代码  22

2.3.4　项目配置  22

2.4　运行Scala REPL  24

2.4.1　环境支持  24

2.4.2　运行程序  24

2.5　Flink源码编译  25

2.6　本章小结  26

第3章　Flink编程模型  27

3.1　数据集类型  27

3.2　Flink编程接口  29

3.3　Flink程序结构  30

3.4　Flink数据类型  37

3.4.1　数据类型支持  37

3.4.2　TypeInformation信息获取  40

3.5　本章小结  43

第4章　DataStream API 介绍与使用  44

4.1　DataStream编程模型  44

4.1.1　DataSources数据输入  45

4.1.2　DataSteam转换操作  49

4.1.3　DataSinks数据输出  59

4.2　时间概念与Watermark  61

4.2.1　时间概念类型  61

4.2.2　EventTime和Watermark  63

4.3　Windows窗口计算  69

4.3.1　Windows Assigner  70

4.3.2　Windows Function  77

4.3.3　Trigger窗口触发器  83

4.3.4　Evictors数据剔除器  87

4.3.5　延迟数据处理  88

4.3.6　连续窗口计算  89

4.3.7　Windows多流合并  90

4.4　作业链和资源组  95

4.4.1　作业链  95

4.4.2　Slots资源组  96

4.5　Asynchronous I/O异步操作  97

4.6　本章小结  98

第5章　Flink状态管理和容错  100

5.1　有状态计算  100

5.2　Checkpoints和Savepoints  109

5.2.1　Checkpoints检查点机制  109

5.2.2　Savepoints机制  111

5.3　状态管理器  114

5.3.1　StateBackend类别  114

5.3.2　状态管理器配置  116

5.4　Querable State  118

5.5　本章小结  123

第6章　DataSet API介绍与使用  124

6.1　DataSet API  124

6.1.1　应用实例  125

6.1.2　DataSources数据接入  126

6.1.3　DataSet转换操作  128

6.1.4　DataSinks数据输出  134

6.2　迭代计算  136

6.2.1　全量迭代  136

6.2.2　增量迭代  137

6.3　广播变量与分布式缓存  139

6.3.1　广播变量  139

6.3.2　分布式缓存  140

6.4　语义注解  141

6.4.1　Forwarded Fileds注解  141

6.4.2　Non-Forwarded Fileds注解  143

6.4.3　Read Fields注解  144

6.5　本章小结  145

第7章　Table API & SQL介绍与使用  146

7.1　TableEnviroment概念  146

7.1.1　开发环境构建  147

7.1.2　TableEnvironment基本操作  147

7.1.3　外部连接器  155

7.1.4　时间概念  162

7.1.5　Temporal Tables临时表  166

7.2　Flink Table API  167

7.2.1　Table API应用实例  167

7.2.2　数据查询和过滤  168

7.2.3　窗口操作  168

7.2.4　聚合操作  173

7.2.5　多表关联  175

7.2.6　集合操作  177

7.2.7　排序操作  178

7.2.8　数据写入  179

7.3　Flink SQL使用  179

7.3.1　Flink SQL实例  179

7.3.2　执行SQL  180

7.3.3　数据查询与过滤  181

7.3.4　Group Windows窗口操作  182

7.3.5　数据聚合  184

7.3.6　多表关联  186

7.3.7　集合操作  187

7.3.8　数据输出  189

7.4　自定义函数  189

7.4.1　Scalar Function  189

7.4.2　Table Function  191

7.4.3　Aggregation Function  192

7.5　自定义数据源  193

7.5.1　TableSource定义  193

7.5.2　TableSink定义  196

7.5.3　TableFactory定义  199

7.6　本章小结  201

第8章　Flink组件栈介绍与使用  202

8.1　Flink复杂事件处理  202

8.1.1　基础概念  203

8.1.2　Pattern API  204

8.1.3　事件获取  210

8.1.4　应用实例  212

8.2　Flink Gelly图计算应用  213

8.2.1　基本概念  213

8.2.2　Graph API  214

8.2.3　迭代图处理  220

8.2.4　图生成器  226

8.3　FlinkML机器学习应用  227

8.3.1　基本概念  227

8.3.2　有监督学习算子  229

8.3.3　数据预处理  231

8.3.4　推荐算法  234

8.3.5　Pipelines In FlinkML  235

8.4　本章小结  236

第9章　Flink部署与应用  237

9.1　Flink集群部署  237

9.1.1　Standalone Cluster部署  238

9.1.2　Yarn Cluster部署  240

9.1.3　Kubernetes Cluster部署  244

9.2　Flink高可用配置  247

9.2.1　Standalone集群高可用配置  248

9.2.2　Yarn Session集群高可用配置  250

9.3　Flink安全管理  251

9.3.1　认证目标  251

9.3.2　认证配置  252

9.3.3　SSL配置  253

9.4　Flink集群升级  255

9.4.1　任务重启  256

9.4.2　状态维护  256

9.4.3　版本升级  257

9.5　本章小结  258

第10章　Flink监控与性能优化  259

10.1　监控指标  259

10.1.1　系统监控指标  259

10.1.2　监控指标注册  261

10.1.3　监控指标报表  264

10.2　Backpressure监控与优化  266

10.2.1　Backpressure进程抽样  266

10.2.2　Backpressure页面监控  267

10.2.3　Backpressure配置  268

10.3　Checkpointing监控与优化  268

10.3.1　Checkpointing页面监控  268

10.3.2　Checkpointing优化  271

10.4　Flink内存优化  273

10.4.1　Flink内存配置  274

10.4.2　Network Buffers配置  275

10.5　本章小结  277