大数据搜索与挖掘及可视化管理方案（第4版）

目录

第1章概述1
1.1Elasticsearch概述3
1.1.1Elasticsearch的安装与简单配置4
1.1.2Elasticsearch API的使用方式7
1.2Logstash7
1.3Kibana8
1.4Beats8
1.5XPack9
1.6其他9
1.7扩展知识与阅读9
1.8本章小结10
第2章文档索引及管理11
2.1文档索引概述11
2.2head： Elasticsearch用于数据管理的工具之一13
2.3建立索引15
2.4通过映像配置索引20
2.4.1在索引中使用映像20
2.4.2管理/配置映像21
2.4.3获取映像信息22
2.4.4删除映像23
2.5管理索引文件24
2.5.1打开、关闭、检测、删除索引文件24
2.5.2清空索引缓存25
2.5.3刷新索引文件25
2.5.4优化索引文件26[1][2][1][3]2.5.5flush操作26
2.6设置中文分析器26
2.7对文档的其他操作29
2.7.1获取指定文档的信息29
2.7.2删除指定文档的信息31
2.7.3更新指定文档的信息31
2.7.4基于POST方式批量获取文档信息34
2.8实例36
2.9扩展知识与阅读40
2.10本章小结41
第3章信息检索与聚合42
3.1实验数据集描述43
3.2基本检索44
3.2.1检索方式44
3.2.2query查询45
3.2.3from/size查询46
3.2.4检索结果排序46
3.2.5高亮搜索词49
3.2.6查询模板50
3.3检索进阶51
3.3.1全文检索51
3.3.2词项检索55
3.3.3复合查询58
3.3.4跨度查询61
3.3.5特殊查询64
3.3.6脚本65
3.4聚合68
3.4.1metric聚合69
3.4.2bucket聚合74
3.4.3pipeline聚合83
3.4.4matrix聚合87
3.5实例88
3.6扩展知识与阅读94
3.7本章小结95
第4章Elasticsearch API及其应用96
4.1Elasticsearch节点实例化96
4.1.1在Java中初始化Elasticsearch96
4.1.2在Python中初始化Elasticsearch100
4.2索引数据101
4.2.1准备JSON数据101
4.2.2为JSON数据生成索引103
4.3对索引文件的操作106
4.3.1获取索引中的文档数据106
4.3.2删除索引文件中的文档数据108
4.3.3更新索引文件中的文档数据109
4.3.4对索引文件中的文档进行批量操作110
4.4信息检索112
4.4.1概述113
4.4.2multiSearch114
4.4.3查询模板115
4.4.4Query DSL概述117
4.4.5matchAllQuery117
4.4.6全文检索118
4.4.7词项检索121
4.4.8复合查询125
4.4.9跨度查询127
4.4.10特殊查询130
4.5聚合132
4.5.1Metric聚合132
4.5.2bucket聚合136
4.6对检索结果的进一步处理140
4.6.1控制每页的显示数量及排序依据140
4.6.2基于scroll分页显示检索结果140
4.7Java High Level RESTful Client和Elasticsearch DSL142
4.7.1Java High Level RESTful Client142
4.7.2Elasticsearch DSL146
4.8实例148
4.8.1在Elasticsearch中建立索引148
4.8.2连接Elasticsearch149
4.8.3信息采集与索引构建150
4.8.4搜索模块152
4.8.5推荐模块153
4.8.6聚合模块154
4.9扩展知识与阅读155
4.10本章小结156
第5章Elasticsearch配置与集群管理157
5.1Elasticsearch的部分基本配置157
5.2索引文件和查询优化160
5.3监控集群状态161
5.4控制索引文件分片与副本分配163
5.5集群管理165
5.6扩展知识与阅读166
5.7本章小结167
第6章基于Logstash的日志处理168
6.1概述169
6.2input： 处理输入的日志数据171
6.2.1处理基于file方式输入的日志信息172
6.2.2处理基于generator产生的日志信息173
6.2.3基于Filebeat处理log4j的日志信息174
6.2.4处理基于redis的日志信息176
6.2.5处理基于TCP传输的日志数据179
6.2.6处理基于UDP传输的日志数据183
6.3codec： 格式化日志数据185
6.3.1json格式185
6.3.2rubydebug格式187
6.3.3plain格式187
6.4基于filter的日志处理与转换188
6.4.1json filter189
6.4.2grok filter190
6.4.3kv filter192
6.5output： 输出日志数据195
6.5.1将处理后的日志输出到Elasticsearch中195
6.5.2将处理后的日志输出到文件中197
6.5.3将处理后的日志输出到csv文件中198
6.5.4将处理后的日志输出到redis中199
6.5.5将处理后的日志通过UDP输出201
6.5.6将处理后的日志通过TCP输出202
6.5.7将日志信息发送至Email206
6.6扩展知识与阅读208
6.7本章小结209
第7章基于Kibana的数据分析及可视化210
7.1Kibana概述211
7.2安装Kibana211
7.3使用Management组件管理配置212
7.3.1创建索引模式213
7.3.2高级设置214
7.3.3管理已保存的检索、可视化和仪表板218
7.4使用Discover组件执行查询219
7.4.1设置时间选择器219
7.4.2在索引模式中执行搜索220
7.4.3字段过滤221
7.4.4查看文档数据222
7.5使用Visualize组件创建统计图表224
7.6使用Dashboard组件创建动态仪表板226
7.6.1创建新的动态仪表板227
7.6.2打开已保存的动态仪表板228
7.6.3分享动态仪表板228
7.7使用Timelion组件创建时间线229
7.8使用Dev Tools执行命令行231
7.8.1在Console中执行命令231
7.8.2Console快捷键233
7.8.3Console设置234
7.9网站性能监控可视化应用实例234
7.9.1概述234
7.9.2使用Visualize实现可视化234
7.9.3使用Dashboard整合可视化结果238
7.10扩展知识与阅读239
7.11本章小结240
第8章基于XPack的系统运行监控241
8.1XPack概述241
8.2安装XPack242
8.3Security插件与安全性243
8.3.1身份验证机制与用户管理243
8.3.2匿名访问246
8.3.3基于域的用户认证247
8.3.4基于角色的访问权限配置248
8.3.5IP地址过滤251
8.3.6带有身份认证的TransportClient253
8.3.7带有身份认证的RESTful命令256
8.4使用Monitoring监控系统运行状态256
8.4.1系统运行状态监控256
8.4.2配置Monitoring260
8.4.3搭建独立的Monitoring集群262
8.5Alerting插件与异常事件警报263
8.5.1通过RESTful方式设置监视器264
8.5.2通过Java程序设置监视器267
8.5.3使用Watcher UI管理监视器269
8.6Reporting与报告生成270
8.6.1在程序中生成报告270
8.6.2通过监视器自动生成报告271
8.7使用Graph探索数据关联273
8.8使用Machine Learning发现数据趋势异常275
8.9使用Search Profiler分析搜索查询277
8.10使用Grok Debugger调试grok表达式279
8.11扩展知识与阅读280
8.12本章小结280
第9章基于Beats的数据解析传输281
9.1基于packetbeat的网络数据包传输282
9.1.1概述282
9.1.2安装282
9.1.3配置283
9.1.4加载索引模板285
9.1.5启动和关闭286
9.1.6使用Kibana进行可视化展示287
9.2基于Filebeat的日志传输288
9.2.1概述288
9.2.2安装和配置288
9.2.3启动和关闭291
9.2.4使用Kibana进行展示291
9.3基于metricbeat的系统指标数据传输292
9.3.1概述292
9.3.2安装和配置293
9.3.3启动和关闭294
9.3.4使用Kibana进行展示295
9.4基于winlogbeat的Windows事件日志数据传输296
9.4.1概述296
9.4.2安装297
9.4.3配置298
9.4.4启动和关闭301
9.4.5使用Kibana进行展示302
9.5基于auditbeat的用户和进程活动审计304
9.5.1概述304
9.5.2安装和配置304
9.5.3启动和关闭305
9.5.4使用Kibana进行展示306
9.6基于heartbeat的服务状态检测308
9.6.1概述308
9.6.2安装和配置308
9.6.3启动和关闭311
9.6.4使用Kibana进行展示311
9.7扩展知识与阅读313
9.8本章小结313
第10章信息检索与分析实例（一）314
10.1基于Elasticsearch的行业信息存储314
10.1.1环境准备314
10.1.2数据准备315
10.2基于Spring Boot的信息检索及Web端设计317
10.2.1创建和配置工程317
10.2.2Web页面设计319
10.3基于Logstash的日志处理327
10.3.1配置Spring Boot输出日志327
10.3.2在Logstash中进行相关配置329
10.4基于Kibana的日志分析结果可视化330
10.4.1访问量走势分析331
10.4.2查询参数比率分析333
10.4.3故障案例可视化334
10.4.4将图表集成到仪表板中335
10.5扩展知识与阅读336
10.6本章小结337
第11章信息检索与分析实例（二）338
11.1面向动态网站的信息采集339
11.1.1软件准备339
11.1.2浏览器驱动程序339
11.1.3创建索引和映像340
11.1.4导入依赖341
11.1.5数据采集342
11.2基于Spring MVC的信息检索及Web程序设计348
11.2.1创建和配置Spring MVC项目348
11.2.2前端页面设计351
11.2.3后端控制器类356
11.3基于Logstash的日志处理360
11.4基于Beats的数据传输361
11.5基于Kibana的数据可视化362
11.5.1可视化索引文件中的信息363
11.5.2对Logstash、Beats的可视化展示364
11.6基于XPack的系统监控366
11.7扩展知识与阅读369
11.8本章小结369
参考文献370