精通Elastic Stack

目录
第1章Elastic Stack概述1
1.1ELK Stack简介1
1.1.1Logstash2
1.1.2Elasticsearch3
1.1.3Kibana3
1.2Elastic Stack的诞生3
1.3谁在使用Elastic Stack?4
1.3.1Salesforce5
1.3.2CERN5
1.3.3Green Man Gaming5
1.4竞争者6
1.5设置Elastic Stack的使用环境6
1.5.1安装Java6
1.5.2安装Elasticsearch9
1.5.3安装Kibana12
1.5.4安装Logstash15
1.5.5安装Filebeat16
1.6XPack简介18
1.7本章小结19
第2章走进Elasticsearch20
2.1Elasticsearch的起源20
2.2了解Elasticsearch的体系结构22
2.2.1推荐的集群配置23
2.2.2了解文档处理24
2.3Elasticsearch API25
2.3.1有关文档的API25
2.3.2有关搜索的API38
2.3.3有关索引的API43
2.3.4Cat API51
2.3.5Cluster API52
2.4Query DSL52
2.5聚合52
2.5.1Buckets聚合52
2.5.2Metrics聚合59
2.6Painless脚本说明64
2.7本章小结66
〖1〗〖2〗〖1〗〖3〗第3章探索Logstash及其组件67
3.1Logstash简介68
3.2为什么需要用Logstash68
3.3Logstash的特点69
3.4Logstash插件的体系架构70
3.5Logstash配置文件的结构71
3.5.1值类型71
3.5.2条件判断的用法73
3.6插件种类74
3.6.1数据输入插件Input74
3.6.2数据过滤插件Filter74
3.6.3数据输出插件Output75
3.6.4编解码插件Codec75
3.7学习数据输入插件Input76
3.7.1stdin77
3.7.2file78
3.7.3path79
3.7.4udp82
3.8学习数据过滤插件Filter83
3.8.1grok84
3.8.2mutate86
3.8.3csv89
3.9学习数据输出插件Output90
3.9.1stdout90
3.9.2file91
3.9.3elasticsearch93
3.10学习编解码插件Codec95
3.10.1rubydebug95
3.10.2json96
3.10.3avro96
3.10.4multiline97
3.11插件的命令行操作99
3.11.1列出插件列表100
3.11.2安装插件100
3.11.3移除插件101
3.11.4更新插件101
3.11.5压缩插件102
3.11.6解压插件102
3.12Logstash的命令行操作103
3.13使用Logstash的小技巧105
3.13.1引用字段及其值106
3.13.2添加自定义的grok模式106
3.13.3Logstash不显示任何输出信息107
3.14用于解析日志的Logstash配置108
3.14.1Catalina日志示例108
3.14.2Tomcat日志示例108
3.14.3基于grok模式的Catalina日志109
3.14.4基于grok模式的Tomcat日志示例109
3.14.5Logstash配置文件110
3.15监控系统相应状态信息的API112
3.15.1节点信息API113
3.15.2插件信息API115
3.15.3节点状态API116
3.15.4Hot threads API116
3.16本章小结117
第4章Kibana界面118
4.1Kibana及其功能118
4.2探索Discover界面120
4.3时间过滤器121
4.3.1快捷时间过滤器122
4.3.2相对时间过滤器122
4.3.3绝对时间过滤器122
4.3.4自动刷新122
4.4查询和搜索数据123
4.4.1全文检索123
4.4.2范围搜索123
4.4.3布尔搜索124
4.4.4邻近搜索124
4.4.5通配符搜索124
4.4.6正则表达式搜索125
4.4.7分组125
4.5字段和过滤器125
4.5.1过滤字段125
4.5.2过滤器的功能126
4.6查询页面选项127
4.7探索Visualize界面127
4.7.1了解聚合129
4.7.2可视化画布133
4.7.3面积图133
4.7.4数据表133
4.7.5折线图133
4.7.6气泡图133
4.7.7Markdown部件134
4.7.8Metric134
4.7.9饼图134
4.7.10标签云134
4.7.11瓦片地图134
4.7.12时间序列134
4.7.13直方图134
4.8探索Dashboard界面135
4.9了解Timelion137
4.10探索开发者工具139
4.11探索设置界面140
4.11.1索引模式141
4.11.2已保存的对象141
4.11.3高级设置141
4.11.4状态143
4.12综合应用143
4.12.1输入数据143
4.12.2创建Logstash配置文件144
4.12.3使用Kibana147
4.12.4在Kibana中创建面板155
4.13本章小结157
第5章使用Beats158
5.1Beats简介158
5.2Beats与Logstash的不同之处159
5.3Beats如何融入Elastic Stack160
5.4不同类型的Beats组件概述162
5.4.1Elastic团队开发的Beats组件162
5.4.2社区开发者开发的Beats组件164
5.5Elastic团队开发的Beats组件164
5.5.1了解Filebeat165
5.5.2理解Metricbeat172
5.5.3理解Packetbeat177
5.6社区开发者开发的Beats组件179
5.7Beats在Elastic Stack中的实战182
5.7.1用Logstash和Kibana探索Metricbeat182
5.7.2用Elasticsearch和Kibana探索Elasticbeat191
5.8本章小结195
第6章Elastic Stack实战196
6.1理解问题场景196
6.2准备Elastic Stack管道199
6.2.1要获取什么数据?200
6.2.2更新体系结构200
6.3配置Elastic Stack组件201
6.3.1搭建Elasticsearch202
6.3.2搭建agents/Beats202
6.3.3搭建Logstash207
6.3.4设置Kibana213
6.4设置Kibana面板213
6.4.1Packetbeat214
6.4.2Metricbeat214
6.4.3查看数据库(MySQL)性能215
6.4.4分析CPU的使用216
6.4.5内存使用情况217
6.4.6检查日志217
6.4.7寻找访问最多的网页219
6.4.8访客地图219
6.4.9一定时间范围内的访客数量220
6.4.10请求类型221
6.4.11错误类型——日志的级别221
6.4.12首选的referrer223
6.4.13首选的代理agent223
6.5使用Logstash电子邮件功能发警报224
6.6使用消息代理225
6.7本章小结226
第7章个性化定制Elastic Stack227
7.1扩展Elasticsearch227
7.1.1Elasticsearch开发环境228
7.1.2剖析一个Elasticsearch Java 插件229
7.1.3构建插件230
7.2扩展Logstash231
7.3扩展Beats239
7.3.1Libbeat框架239
7.3.2创建一个Beat240
7.4扩展Kibana251
7.4.1设置Kibana开发环境252
7.4.2生成一个插件253
7.4.3剖析一个插件254
7.5本章小结257
第8章Elasticsearch API258
8.1集群API258
8.1.1集群健康状况258
8.1.2集群状态260
8.1.3集群统计信息261
8.1.4待处理任务261
8.1.5集群重路由261
8.1.6集群更新设置262
8.1.7节点统计信息262
8.1.8节点信息API263
8.1.9任务管理API264
8.2Cat API265
8.3Elasticsearch模块268
8.3.1集群模块269
8.3.2Discovery模块269
8.3.3Gateway模块269
8.3.4HTTP模块269
8.3.5索引模块269
8.3.6网络模块269
8.3.7节点客户端270
8.3.8插件模块270
8.3.9脚本270
8.3.10快照/恢复模块271
8.3.11线程池271
8.3.12Transport模块271
8.3.13Tribe节点模块272
8.4Ingest节点272
8.5Elasticsearch客户端276
8.5.1支持的客户端276
8.5.2社区提供的客户端276
8.6Java API277
8.6.1连接到集群277
8.6.2管理任务278
8.6.3索引级任务281
8.7Elasticsearch插件286
8.7.1Discovery插件287
8.7.2Ingest插件287
8.7.3Elasticsearch SQL288
8.8本章小结289
第9章XPack插件中的Security与Monitoring组件290
9.1XPack介绍290
9.2XPack的安装291
9.2.1在Elasticsearch中安装XPack291
9.2.2在Kibana中安装XPack292
9.2.3在离线系统中安装XPack292
9.2.4卸载XPack293
9.3Security组件294
9.3.1列出所有Security中的用户295
9.3.2列出Security中的角色296
9.3.3了解Security中的角色297
9.3.4理解默认用户角色299
9.3.5在Security中添加新角色299
9.3.6在Security中更新角色300
9.3.7了解字段级的Security301
9.3.8在Security中添加新用户302
9.3.9在Security中更新用户详细信息303
9.3.10在Security中修改用户密码304
9.3.11在Security中删除角色304
9.3.12在Security中删除用户304
9.4查看XPack信息305
9.5Monitoring组件307
9.5.1探索Elasticsearch的监控统计308
9.5.2探索Kibana的监控统计314
9.6了解Profiler315
9.7本章小结317
第10章XPack插件中的Alerting、Graph和Reporting组件318
10.1Alerting与Notification组件318
10.2Graph组件336
10.3Reporting组件341
10.4本章小结344
第11章最佳实践范例345
11.1为什么需要最佳实践范例345
11.2了解你的用例346
11.3管理配置文件347
11.3.1Elasticsearch——elasticsearch.yml347
11.3.2Kibana——kibana.yml348
11.4选择正确的硬件348
11.4.1内存349
11.4.2磁盘351
11.4.3输入输出353
11.4.4CPU354
11.4.5网络354
11.5搜索和索引性能354
11.5.1过滤缓存354
11.5.2Fielddata的容量355
11.5.3索引缓冲区356
11.6调整Elasticsearch集群357
11.6.1选择正确的节点357
11.6.2确定节点数359
11.6.3确定分片数360
11.6.4缩减磁盘空间361
11.7Logstash配置文件361
11.7.1对多个数据源分类362
11.7.2使用conditional条件362
11.7.3使用自定义grok模式363
11.7.4简化grokparsefailure363
11.7.5字段的映像363
11.7.6动态模板363
11.7.7测试配置364
11.8重新索引数据364
11.9本章小结365
第12章案例分析——Meetup366
12.1了解Meetup使用场景366
12.2环境搭建367
12.2.1理解Meetup API368
12.2.2搭建Elasticsearch370
12.2.3准备Logstash370
12.2.4搭建Kibana374
12.3使用Kibana分析数据374
12.3.1内容过滤375
12.3.2按国家统计Meetup使用量377
12.3.3世界前10座使用Meetup的城市379
12.3.4按持续时间分析Meetup发展趋势380
12.3.5按RSVP计数统计Meetup使用量383
12.3.6国家分组统计384
12.3.7加入群组的模式统计384
12.3.8热门类别385
12.3.9热门话题387
12.3.10Meetup活动场所地图388
12.3.11Meetup活动地图389
12.3.12仅数量方面的统计389
12.4获取通知390
12.5本章小结393