Linux高效运维实战

目　　录
第1篇　Web、数据库运维篇
第1章　高效Web服务器Nginx 2
1．1　为什么选择Nginx 2
1．2　安装和配置Nginx 3
1．2．1　安装Nginx 3
1．2．2　Nginx配置文件解读 5
1．3　Nginx的管理与维护 9
1．3．1　Nginx基本信息检查 9
1．3．2　Nginx的启动、关闭与重启 10
1．4　Nginx常见应用实例 11
1．4．1　Nginx中location应用实例 11
1．4．2　Nginx反向代理应用实例 12
1．4．3　Nginx中URL的重写功能以及内置变量 15
1．4．4　Nginx中虚拟主机配置实例 19
1．4．5　Nginx中负载均衡的配置实例 20
1．4．6　Nginx中HTTPS配置的实例 21
1．5　LNMP应用架构以及部署 25
1．5．1　LNMP简介 25
1．5．2　Nginx的安装 26
1．5．3　MySQL的安装 26
1．5．4　PHP的安装 30
1．5．5　Nginx下PHP-FPM的配置 32
1．5．6　测试LNMP安装是否正常 35
1．6　Nginx +Tomcat架构与应用案例 36
1．6．1　Nginx +Tomcat整合的必要性 36
1．6．2　Nginx +Tomcat动静分离配置实例 37
1．6．3　Nginx +Tomcat多Tomcat负载均衡配置实例 38
第2章　高效Web服务器Apache 39
2．1　LAMP服务套件 39
2．1．1　LAMP概述 39
2．1．2　LAMP服务环境的搭建 39
2．1．3　测试LAMP环境安装的正确性 45
2．1．4　在LAMP环境下部署phpMyAdmin工具 45
2．1．5　在LAMP环境下部署WordPress应用 46
2．2　Apache的基础配置 48
2．2．1　Apache的目录结构 48
2．2．2　Apache配置文件 49
2．3　Apache常见功能应用实例 57
2．3．1　Apache下HTTPS配置实例 57
2．3．2　反向代理功能实例 58
2．4　Apache MPM模式与基础调优 62
2．4．1　MPM模式概述 62
2．4．2　prefork MPM模式 62
2．4．3　worker MPM模式 63
2．4．4　event MPM模式 64
2．5　Apache集成Tomcat构建高效JAVA Web应用 65
2．5．1　Apache与Tomcat整合的必要性 66
2．5．2　Apache和Tomcat连接器 66
2．5．3　Apache、Tomcat和JK模块的安装 67
2．5．4　Apache与Tomcat整合配置 68
第3章　企业常见MySQL架构应用实战 74
3．1　选择Percona Server、MariaDB还是MYSQL 74
3．1．1　MySQL官方发行版 74
3．1．2　MySQL与存储引擎 74
3．1．3　Percona Server for MySQL分支 75
3．1．4　MariaDB Server 75
3．1．5　如何选择 75
3．2　MySQL命令操作 76
3．2．1　连接MySQL 76
3．2．2　修改密码 76
3．2．3　增加新用户/授权用户 76
3．2．4　数据库基础操作 77
3．2．5　MySQL表操作 78
3．2．6　备份数据库 79
3．3　MySQL备份恢复工具XtraBackup 80
3．3．1　安装XtraBackup工具包 80
3．3．2　XtraBackup工具介绍 81
3．3．3　xtrabackup备份恢复实现原理 81
3．3．4　innobackupex工具的使用 81
3．3．5　利用innobackupex进行MySQL全备份 82
3．3．6　利用innobackupex完全恢复数据库 83
3．3．7　XtraBackup针对海量数据的备份优化 84
3．3．8　完整的MySQL备份恢复例子 85
3．4　常见的高可用MySQL解决方案 86
3．4．1　主从复制解决方案 86
3．4．2　MMM高可用解决方案 86
3．4．3　Heartbeat/SAN高可用解决方案 87
3．4．4　Heartbeat/DRBD高可用解决方案 87
3．4．5　MySQL Cluster高可用解决方案 87
3．5　通过Keepalived搭建MySQL双主模式的高可用集群系统 87
3．5．1　MySQL Replication介绍 88
3．5．2　MySQL Replication实现原理 89
3．5．3　MySQL Replication常用架构 89
3．5．4　MySQL主主互备模式架构图 90
3．5．5　MySQL主主互备模式配置 91
3．5．6　配置Keepalived实现MySQL双主高可用 95
3．5．7　测试MySQL主从同步功能 97
3．5．8　测试Keepalived实现MySQL故障转移 99
3．6　MySQL集群架构MHA应用实战 100
3．6．1　MHA的概念和原理 101
3．6．2　MHA套件的组成和恢复过程 102
3．6．3　安装MHA套件 102
3．6．4　配置MHA集群 106
3．6．5　测试MHA环境以及常见问题总结 111
3．6．6　启动与管理MHA 113
3．6．7　MHA集群切换测试 114
3．7　MySQL中间件ProxySQL 117
3．7．1　ProxySQL简介 117
3．7．2　ProxySQL的下载与安装 117
3．7．3　ProxySQL的目录结构 118
3．7．4　ProxySQL库表功能介绍 118
3．7．5　ProxySQL的运行机制 120
3．7．6　在ProxySQL下添加与修改配置 121
3．8　ProxySQL+MHA构建高可用MySQL读写分离架构 123
3．8．1　ProxySQL+MHA应用架构 123
3．8．2　部署环境说明 123
3．8．3　配置后端MySQL 124
3．8．4　配置后端MySQL用户 124
3．8．5　在ProxySQL中添加程序账号 125
3．8．6　加载配置和变量 125
3．8．7　连接数据库并写入数据 126
3．8．8　定义路由规则 126
3．8．9　ProxySQL整合MHA实现高可用 128
第2篇　运维监控篇
第4章　运维监控利器Zabbix 130
4．1　Zabbix运行架构 130
4．1．1　Zabbix应用组件 131
4．1．2　Zabbix服务进程 131
4．1．3　Zabbix监控术语 132
4．2　安装、部署Zabbix监控平台 133
4．2．1　LNMP环境部署 134
4．2．2　编译安装Zabbix Server 137
4．2．3　创建数据库和初始化表 138
4．2．4　配置Zabbix Server端 138
4．2．5　安装与配置Zabbix Agent 140
4．2．6　安装Zabbix GUI 141
4．2．7　测试Zabbix Server监控 144
4．3　Zabbix Web配置详解 144
4．3．1　模板的管理与使用 144
4．3．2　创建应用集 145
4．3．3　创建监控项 146
4．3．4　创建触发器 149
4．3．5　创建主机组和主机 152
4．3．6　触发器动作配置 154
4．3．7　报警媒介类型配置 157
4．3．8　监控状态查看 158
4．4　Zabbix自定义监控项 160
4．4．1　Zabbix Agent端开启自定义监控项功能 160
4．4．2　让监控项接收参数 160
4．5　Zabbix的主动模式与被动模式 161
4．6　自动发现与自动注册 162
4．7　Zabbix运维监控实战案例 168
4．7．1　Zabbix监控MySQL应用实战 168
4．7．2　Zabbix监控Apache应用实战 174
4．7．3　Zabbix监控Nginx应用实战 178
4．7．4　Zabbix监控PHP-FPM应用实战 182
4．7．5　Zabbix监控Tomcat应用实战 188
4．7．6　Zabbix监控Redis实例应用实战 193
第5章　分布式监控系统Ganglia 201
5．1　Ganglia简介 201
5．2　Ganglia的组成 201
5．3　Ganglia的工作原理 203
5．3．1　Ganglia数据流向分析 203
5．3．2　Ganglia工作模式 204
5．4　Ganglia的安装 204
5．4．1　yum源安装方式 204
5．4．2　源码方式 205
5．5　配置一个Ganglia分布式监控系统 207
5．5．1　Ganglia配置文件介绍 207
5．5．2　Ganglia监控系统架构图 207
5．5．3　Ganglia监控管理端配置 207
5．5．4　Ganglia的客户端配置 208
5．5．5　Ganglia的Web端配置 209
5．6　Ganglia监控系统的管理和维护 210
5．7　Ganglia监控扩展实现机制 211
5．7．1　扩展Ganglia监控功能的方法 211
5．7．2　通过gmetric接口扩展Ganglia监控 212
5．7．3　通过Python插件扩展Ganglia监控 213
5．7．4　实战：利用Python接口监控Nginx运行状态 214
5．8　Ganglia在实际应用中要考虑的问题 217
5．8．1　网络IO可能存在瓶颈 217
5．8．2　CPU可能存在瓶颈 217
5．8．3　gmetad rrd数据写入可能存在瓶颈 217
第3篇　集群架构篇
第6章　高性能集群软件Keepalived 220
6．1　集群的定义 220
6．2　集群的特点与功能 221
6．2．1　高可用性与可扩展性 221
6．2．2　负载均衡与错误恢复 221
6．2．3　心跳检测与漂移IP 221
6．3　集群的分类 222
6．3．1　高可用集群 222
6．3．2　负载均衡集群 223
6．3．3　分布式计算集群 224
6．4　HA集群中的相关术语 225
6．5　Keepalived简介 225
6．5．1　Keepalived的用途 226
6．5．2　VRRP协议与工作原理 226
6．5．3　Keepalived工作原理 227
6．5．4　Keepalived的体系结构 227
6．6　Keepalived安装与配置 229
6．6．1　Keepalived的安装过程 229
6．6．2　Keepalived的全局配置 230
6．6．3　Keepalived的VRRPD配置 231
6．6．4　Keepalived的LVS配置 234
6．7　Keepalived基础功能应用实例 237
6．7．1　Keepalived基础HA功能演示 237
6．7．2　通过VRRP_script实现对集群资源的监控 243
第7章　高性能负载均衡集群LVS 247
7．1　LVS简介 247
7．2　LVS体系结构 247
7．3　IP负载均衡与负载调度算法 248
7．3．1　IP负载均衡技术 249
7．3．2　负载均衡机制 249
7．3．3　LVS负载调度算法 255
7．3．4　适用环境 256
7．4　LVS的安装与使用 256
7．4．1　安装IPVS管理软件 257
7．4．2　ipvsadm的用法 257
7．5　通过Keepalived搭建LVS高可用性集群系统 258
7．5．1　实例环境 258
7．5．2　配置Keepalived 259
7．5．3　配置Real Server节点 261
7．5．4　启动Keepalived+LVS集群系统 263
7．6　测试高可用LVS负载均衡集群系统 263
7．6．1　高可用性功能测试 263
7．6．2　负载均衡测试 264
7．6．3　故障切换测试 264
7．7　LVS经常使用的集群网络架构 265
7．7．1　内网集群，外网映射VIP 265
7．7．2　全外网LVS集群环境 266
第8章　高性能负载均衡软件HAProxy 268
8．1　高性能负载均衡软件HAProxy 268
8．1．1　HAProxy简介 268
8．1．2　四层和七层负载均衡的区别 269
8．1．3　HAProxy与LVS的异同 270
8．2　HAProxy基础配置与应用实例 270
8．2．1　快速安装HAProxy集群软件 271
8．2．2　HAProxy基础配置文件详解 271
8．2．3　通过HAProxy的ACL规则实现智能负载均衡 277
8．2．4　管理与维护HAProxy 279
8．2．5　使用HAProxy的Web监控平台 282
8．3　搭建HAProxy+Keepalived高可用负载均衡系统 283
8．3．1　搭建环境描述 283
8．3．2　配置HAProxy负载均衡服务器 284
8．3．3　配置主、备Keepalived服务器 286
8．4　测试HAProxy+Keepalived高可用负载均衡集群 289
8．4．1　测试Keepalived的高可用功能 289
8．4．2　测试负载均衡功能 290
第4篇　线上服务器安全、调优、自动化运维篇
第9章　线上服务器安全运维 292
9．1　账户和登录安全 292
9．1．1　删除特殊的账户和账户组 292
9．1．2　关闭系统不需要的服务 293
9．1．3　密码安全策略 294
9．1．4　合理使用su、sudo命令 299
9．1．5　删减系统登录欢迎信息 300
9．1．6　禁止Control-Alt-Delete键盘关闭命令 301
9．2　远程访问和认证安全 301
9．2．1　采用SSH方式而非telnet方式远程登录系统 301
9．2．2　合理使用shell历史命令记录功能 303
9．2．3　启用Tcp_Wrappers防火墙 305
9．3　文件系统安全 307
9．3．1　锁定系统重要文件 307
9．3．2　文件权限检查和修改 309
9．3．3　/tmp、/var/tmp、/dev/shm安全设定 309
9．4　系统软件安全管理 311
9．4．1　软件自动升级工具yum 311
9．4．2　yum的安装与配置 311
9．4．3　yum的特点与基本用法 313
9．4．4　几个不错的yum源 315
9．5　Linux后门入侵检测与安全防护工具 316
9．5．1　rootkit后门检测工具RKHunter 317
9．5．2　Linux安全防护工具ClamAV的使用 320
9．5．3　Linux．BackDoor．Gates．5（文件级别rootkit）网络带宽攻击案例 322
9．6　服务器遭受攻击后的处理过程 326
9．6．1　处理服务器遭受攻击的一般思路 326
9．6．2　检查并锁定可疑用户 327
9．6．3　查看系统日志 328
9．6．4　检查并关闭系统可疑进程 329
9．6．5　检查文件系统的完好性 329
9．7　云服务器被植入挖矿病毒案例实录以及Redis安全防范 330
9．7．1　问题现象 330
9．7．2　分析问题 331
9．7．3　问题解决 336
9．7．4　深入探究Redis是如何被植入 338
第10章　线上服务器性能调优案例 346
10．1　线上Linux服务器基础优化策略 346
10．1．1　系统基础配置与调优 346
10．1．2　系统安全与防护策略 351
10．1．3　系统内核参数调优 355
10．2　系统性能调优规范以及对某电商平台优化分析案例 358
10．2．1　CPU性能评估以及相关工具 358
10．2．2　内存性能评估以及相关工具 360
10．2．3　磁盘I/O性能评估以及相关工具 361
10．2．4　网络性能评估以及相关工具 363
10．2．5　系统性能分析标准 366
10．2．6　动态、静态内容结合的电商网站优化案例 366
10．3　一次Java进程占用CPU过高问题的排查方法与案例分析 376
10．3．1　案例故障描述 376
10．3．2　Java中进程与线程的概念 377
10．3．3　排查Java进程占用CPU过高的思路 378
10．3．4　Tomcat配置调优 383
10．3．5　Tomcat Connector 3种运行模式（BIO、NIO、APR）的比较与优化 385
第11章　自动化运维工具Ansible 391
11．1　Ansible的安装 391
11．2　Ansible的架构与运行原理 392
11．3　Ansible主机和组的配置 394
11．4　ansible．cfg与默认配置 396
11．5　Ad-Hoc与command模块 396
11．5．1　Ad-Hoc是什么 396
11．5．2　command模块 397
11．5．3　shell模块 398
11．5．4　raw模块 398
11．5．5　script模块 399
11．6　Ansible其他常用功能模块 399
11．6．1　ping模块 399
11．6．2　file模块 400
11．6．3　copy模块 401
11．6．4　service模块 402
11．6．5　cron模块 402
11．6．6　yum模块 403
11．6．7　user模块与group模块 404
11．6．8　synchronize模块 405
11．6．9　setup模块 405
11．6．10　get_url模块 406
11．7　ansible-playbook简单使用 406
11．7．1　剧本简介 406
11．7．2　剧本文件的格式 406
11．7．3　剧本的构成 407
11．7．4　剧本执行结果解析 408
11．7．5　ansible-playbook收集facts信息案例 409
11．7．6　两个完整的ansible-playbook案例 410
第5篇　虚拟化、大数据运维篇
第12章　KVM虚拟化技术与应用 414
12．1　KVM虚拟化架构 414
12．1．1　KVM与QEMU 414
12．1．2　KVM虚拟机管理工具 414
12．1．3　宿主机与虚拟机 415
12．2　VNC的安装与使用 415
12．2．1　启动VNC Server 415
12．2．2　重启VNC Server 415
12．2．3　客户端连接 416
12．3　查看硬件是否支持虚拟化 416
12．4　安装KVM内核模块和管理工具 416
12．4．1　安装KVM内核 417
12．4．2　安装virt管理工具 417
12．4．3　加载KVM内核 417
12．4．4　查看内核是否开启 417
12．4．5　KVM管理工具服务相关 417
12．5　宿主机网络配置 418
12．5．1　建立桥接器 418
12．5．2　配置桥接设备 418
12．5．3　重启网络服务 419
12．6　使用KVM技术安装虚拟机 419
12．7　虚拟机复制 421
12．7．1　本机复制 421
12．7．2　控制台管理虚拟机 422
12．7．3　虚拟机的迁移 422
12．8　KVM虚拟化常用管理命令 423
12．8．1　查看KVM虚拟机配置文件及运行状态 423
12．8．2　KVM虚拟机开机 423
12．8．3　KVM虚拟机关机或断电 423
第13章　ELK大规模日志实时处理系统应用实战 426
13．1　ELK架构介绍 426
13．1．1　核心组成 426
13．1．2　Elasticsearch介绍 426
13．1．3　Logstash介绍 427
13．1．4　Kibana介绍 428
13．1．5　ELK工作流程 428
13．2　ZooKeeper基础与入门 429
13．2．1　ZooKeeper概念介绍 429
13．2．2　ZooKeeper应用举例 430
13．2．3　ZooKeeper工作原理 430
13．2．4　ZooKeeper集群架构 431
13．3　Kafka基础与入门 432
13．3．1　Kafka基本概念 432
13．3．2　Kafka术语 432
13．3．3　Kafka拓扑架构 433
13．3．4　主题与分区 434
13．3．5　生产者生产机制 434
13．3．6　消费者消费机制 434
13．4　Filebeat基础与入门 435
13．4．1　什么是Filebeat 435
13．4．2　Filebeat架构与运行原理 435
13．5　ELK常见应用架构 436
13．5．1　最简单的ELK架构 436
13．5．2　典型ELK架构 437
13．5．3　ELK集群架构 438
13．6　用ELK+Filebeat+Kafka+ZooKeeper构建大数据日志分析平台 438
13．6．1　典型ELK应用架构 439
13．6．2　环境与角色说明 439
13．6．3　安装JDK并设置环境变量 440
13．6．4　安装并配置Elasticsearch集群 441
13．6．5　安装并配置ZooKeeper集群 450
13．6．6　安装并配置Kafka Broker集群 452
13．6．7　安装并配置Filebeat 457
13．6．8　安装并配置Logstash服务 460
13．6．9　安装并配置Kibana展示日志数据 466
13．6．10　调试并验证日志数据流向 470
13．7　Logstash配置语法详解 472
13．7．1　Logstash基本语法组成 472
13．7．2　Logstash输入插件 472
13．7．3　Logstash编码插件
（codec） 476
13．7．4　Logstash过滤插件 477
13．7．5　Logstash输出插件 488
13．8　ELK收集Apache访问日志实战案例 489
13．8．1　ELK收集日志的几种方式 490
13．8．2　ELK收集Apache访问日志的应用架构 490
13．8．3　Apache的日志格式与日志变量 491
13．8．4　自定义Apache日志格式 492
13．8．5　验证日志输出 492
13．8．6　配置Filebeat 493
13．8．7　配置Logstash 494
13．8．8　配置Kibana 496
13．9　ELK收集Nginx访问日志实战案例 498
13．9．1　ELK收集Nginx访问日志应用架构 498
13．9．2　Nginx的日志格式与日志变量 499
13．9．3　自定义Nginx日志格式 500
13．9．4　验证日志输出 501
13．9．5　配置Filebeat 501
13．9．6　配置Logstash 502
13．9．7　配置Kibana 504
13．10　通过ELK收集MySQL慢查询日志数据 505
13．10．1　开启慢查询日志 505
13．10．2　慢查询日志分析 509
13．10．3　配置Filebeat收集MySQL慢查询日志 510
13．10．4　通过Logstash的grok插件过滤、分析MySQL配置日志 511
13．10．5　通过Kibana创建MySQL慢查询日志索引 513
13．11　通过ELK收集Tomcat访问日志和状态日志 515
13．11．1　Tomcat日志解析 515
13．11．2　配置Tomcat的访问日志和运行状态日志 516
13．11．3　配置Filebeat 518
13．11．4　通过Logstash的grok插件过滤、分析Tomcat配置日志 519
13．11．5　配置Zabbix输出并告警 521
13．11．6　通过Kibana平台创建Tomcat访问日志索引 522
第14章　高可用分布式集群Hadoop部署全攻略 524
14．1　Hadoop生态圈知识 524
14．1．1　Hadoop生态概况 524
14．1．2　HDFS 525
14．1．3　MapReduce（分布式计算框架）离线计算 525
14．1．4　HBase（分布式列存数据库） 525
14．1．5　ZooKeeper（分布式协作服务） 526
14．1．6　Hive（数据仓库） 526
14．1．7　Pig（ad-hoc脚本） 527
14．1．8　Sqoop（数据ETL/同步工具） 527
14．1．9　Flume（日志收集工具） 527
14．1．10　Oozie（工作流调度器） 527
14．1．11　YARN（分布式资源管理器） 527
14．1．12　Spark（内存DAG计算模型） 529
14．1．13　Kafka（分布式消息队列） 529
14．2　Hadoop的伪分布式部署 529
14．2．1　Hadoop发行版介绍 529
14．2．2　CDH发行版本 530
14．2．3　CDH与操作系统的依赖 530
14．2．4　伪分布式安装Hadoop 530
14．2．5　使用Hadoop HDFS命令进行分布式存储 534
14．2．6　在Hadoop中运行MapReduce程序 534
14．3　高可用Hadoop2．x体系结构 535
14．3．1　两个NameNode的地位关系 535
14．3．2　通过JournalNode保持NameNode元数据的一致性 535
14．3．3　NameNode的自动切换功能 536
14．3．4　高可用Hadoop集群架构 536
14．3．5　JournalNode集群 537
14．3．6　ZooKeeper集群 538
14．4　部署高可用的Hadoop大数据平台 538
14．4．1　安装配置环境介绍 539
14．4．2　ZooKeeper安装过程 539
14．4．3　Hadoop的安装 540
14．4．4　分布式Hadoop的配置 542
14．5　Hadoop集群启动过程 548
14．5．1　检查各个节点的配置文件的正确性 549
14．5．2　启动ZooKeeper集群 549
14．5．3　格式化ZooKeeper集群 549
14．5．4　启动JournalNode 549
14．5．5　格式化集群NameNode 550
14．5．6　启动主节点的NameNode服务 550
14．5．7　NameNode主、备节点同步元数据 550
14．5．8　启动备机上的NameNode服务 551
14．5．9　启动ZKFC 551
14．5．10　启动DataNode服务 552
14．5．11　启动ResourceManager和
NodeManager服务 552
14．5．12　启动HistoryServer服务 552
14．6　Hadoop日常运维问题总结 553
14．6．1　下线DataNode 553
14．6．2　DataNode磁盘出现故障 554
14．6．3　安全模式导致的错误 555
14．6．4　NodeManager出现Java heap space 555
14．6．5　Too many fetch-failures错误 555
14．6．6　Exceeded MAX_FAILED_
UNIQUE_FETCHES; bailing-out错误 555
14．6．7　java．net．NoRouteToHostException： No route to host错误 556
14．6．8　新增DataNode 556
第15章　分布式文件系统HDFS与分布式计算YARN 558
15．1　分布式文件系统HDFS 558
15．1．1　HDFS结构与架构 558
15．1．2　名字节点工作机制 559
15．1．3　二级名字节点工作机制 560
15．1．4　HDFS运行机制以及数据存储单元（block） 561
15．1．5　HDFS写入数据流程解析 562
15．1．6　HDFS读取数据流程解析 563
15．2　MapReduce与YARN的工作机制 564
15．2．1　第一代Hadoop组成与结构 564
15．2．2　第二代Hadoop组成与结构 566