注册 | 登录读书好,好读书,读好书!
读书网-DuShu.com
当前位置: 首页出版图书科学技术工业技术自动化技术、计算技术Mesos实战

Mesos实战

Mesos实战

定 价:¥69.00

作 者: [美] Roger,Ignazio(罗杰.英格纳齐奥) 著;余何 译
出版社: 电子工业出版社
丛编项:
标 签: 工业技术 自动化技术

购买这本书可以去


ISBN: 9787121311642 出版时间: 2017-05-01 包装: 平装
开本: 16开 页数: 260 字数:  

内容简介

  本书汇集了以Mesos为核心的新一代数据中心操作系统的*佳实践,全面展示了Mesos集群对数据中心资源管理的集成高效性,和对应用部署和计划任务创建扩容操作的便捷性的优点。 基于Apache Mesos开源项目和Mesosphere公司的开创性工作,作者由浅到深地介绍了Mesos数据中心操作系统下各个相关组件和主流的计算框架,主要内容包括:1.构建你的**个Mesos集群:Mesos+Docker+Zookeeper2.管理Mesos集群:任务调度,资源管理以及日志3.使用主流计算框架部署容器化应用:Mesosphere公司的Marathon+Chronos以及Apache Aurora4.以python为例,自开发计算框架在每个部分,Roger Ignazio都给出了:关键原理及组件组成、安装部署过程、注意事项、日志和诊断方法等*佳实践,并结合相关实例、研究成果和附加资源进行阐述。每个部分的内容组织都着力于条理清晰的、系统的展现Mesos集群的优点。作者对书中建议和使用指南进行了补充说明,以便读者深入了解其合理性,还有实用指南明确每个动作是否成功执行。《Mesos实战》可以作为新一代数据中心架构设计以及管理的**性参考和教程,也可作为自建PaaS、CaaS平台的辅助参考,又或是分布式计算框架开发的参考书籍。

作者简介

  Roger Ingnazio是一名经验丰富的系统工程师,专注研究分布式、具备容错性和伸缩性的基础架构。他对于通过更好的自动化、工具化和报告来提高生产效率极富热情。目前他是Mesosphere工程团队的一个技术指导,与他的妻子Sarah及他们的两只猫居住在俄勒冈州波特兰市。余何:众神的大师兄,湖南长沙人也;高效运维公众号专栏作者;著有《PaaS实现与运维管理》,具有十余年数据中心运维管理经验。国家软件设计师、PMP项目管理认证、Juniper互联网专员(JNCIS)、NetApp解决方案架构师(NCSA),热衷于开源技术,广结天下英豪,以运维心灵捕手著称。陈秋浩:基础架构资深工程师,拥有6年大型IT数据中心运维和开发经验,早期活跃于基础架构服务交付和异常事件处理一线。爱好开发,拥抱开源技术,2014年末借Docker和Mesos技术兴起之势,辅以业界日益成熟的自动化运维理念,负责开发搭建企业内部基于Mesos+Marathon的高容错性、弹性伸缩的Docker平台。杨永帮:2011年毕业于中山大学软件工程专业,多年的大型金融集团的IT基础架构运维的丰富经验,解决过IT基础架构的各种疑难问题杂症。深深感受到了云计算的发展带来的运维方式的变革,目前致力于Mesos与Docker的研究工作。

图书目录

第 1 部分 你好,Mesos ................................................... 1
1 初识 Mesos .............................................................................. 3
1.1 遇见 Mesos ......................................................................................................... 4
1.1.1 理解它如何工作 .................................................................................... 5
1.1.2 虚拟机和容器的比较 ............................................................................ 7
1.1.3 知道何时及为何使用 Mesos................................................................. 9
1.2 为什么我们要重新思考数据中心 .................................................................. 10
1.2.1 资源划分 .............................................................................................. 11
1.2.2 应用部署 .............................................................................................. 12
1.3 Mesos 分布式架构 ........................................................................................... 13
1.3.1 masters .................................................................................................. 13
1.3.2 slaves .................................................................................................... 14
1.3.3 frameworks ........................................................................................... 15
1.4 小结 .................................................................................................................. 15
2 使用 Mesos 管理数据中心资源 .................................................17
2.1 Spark 简要介绍 ................................................................................................ 18
2.1.1 独立集群上的 Spark............................................................................ 18
2.1.2 Mesos 上的 Spark ................................................................................ 19
2.2 在 Mesos 上运行 Spark job ............................................................................. 21
2.2.1 在集合中寻找素数 .............................................................................. 22
2.2.2 获取与打包代码 .................................................................................. 23
2.2.3 提交作业 .............................................................................................. 24
2.2.4 观察输出 .............................................................................................. 24
2.3 进一步探索 ...................................................................................................... 26
2.3.1 Mesos UI .............................................................................................. 26
2.3.2 Spark UI................................................................................................ 26
2.4 小结 .................................................................................................................. 28
第 2 部分 Mesos 核心.................................................... 31
3 安装 Mesos ............................................................................33
3.1 部署 Mesos ....................................................................................................... 34
3.1.1 Mesos 集群组件................................................................................... 34
3.1.2 开发环境的注意事项 .......................................................................... 35
3.1.3 生产环境的注意事项 .......................................................................... 36
3.2 安装 Mesos 和 ZooKeeper ............................................................................... 38
3.2.1 使用安装包部署 .................................................................................. 38
3.2.2 从源文件编译并安装 .......................................................................... 40
3.3 配置 Mesos 和 ZooKeeper ............................................................................... 43
3.3.1 ZooKeeper 配置 ................................................................................... 43
3.3.2 Mesos 配置........................................................................................... 45
3.4 安装并配置 Docker.......................................................................................... 50
3.4.1 安装 Docker ......................................................................................... 51
3.4.2 配置 Docker ......................................................................................... 53
3.4.3 配置 Docker 专用的 Mesos slaves ...................................................... 54
3.5 升级 Mesos ....................................................................................................... 54
3.5.1 升级 Mesos masters ............................................................................. 55
3.5.2 升级 Mesos slaves ................................................................................ 55
3.6 小结 .................................................................................................................. 56
4 Mesos 原理 ............................................................................57
4.1 调度和分配数据中心资源 .............................................................................. 57
4.1.1 理解资源调度 ...................................................................................... 58
4.1.2 理解资源分配 ...................................................................................... 59
4.1.3 定制 Mesos slave 资源和属性 ............................................................ 61
4.2 使用容器隔离资源 .......................................................................................... 62
4.2.1 隔离并监控 CPU、内存和磁盘 ......................................................... 63
4.2.2 网络监控和限速 .................................................................................. 65
4.3 了解容错和高可用 .......................................................................................... 68
4.3.1 容错 ...................................................................................................... 70
4.3.2 高可用 .................................................................................................. 70
4.3.3 处理出错和升级 .................................................................................. 70
4.4 小结 .................................................................................................................. 76
5 日志记录和调试 .....................................................................77
5.1 理解和配置 Mesos 日志记录 .......................................................................... 78
5.1.1 日志文件的路径和解释 ...................................................................... 78
5.1.2 配置日志记录 ...................................................................................... 80
5.2 调试 Mesos 集群及其任务 .............................................................................. 81
5.2.1 使用 Mesos Web 接口 ......................................................................... 82
5.2.2 使用内置命令行工具 .......................................................................... 89
5.2.3 使用 Mesosphere 的 mesos-cli 工具 ................................................... 90
5.3 小结 .................................................................................................................. 92
6 生产环境中的 Mesos ...............................................................93
6.1 监控 Mesos 和 Zookeeper 集群....................................................................... 94
6.1.1 监控 Mesos master ............................................................................... 94
6.1.2 监控 Mesos slave ................................................................................. 96
6.1.3 监控 ZooKeeper ................................................................................... 97
6.2 修改 Mesos master 的法定数目 ...................................................................... 99
6.2.1 添加 master 节点 ............................................................................... 100
6.2.2 移除 master 节点 ............................................................................... 100
6.2.3 替换 master 节点 ............................................................................... 101
6.3 安全和权限控制的实施 ................................................................................ 101
6.3.1 Slave 和 framework 的身份认证....................................................... 102
6.3.2 用户授权和访问控制列表 ................................................................ 104
6.3.3 framework 速率限制.......................................................................... 107
6.4 小结 ................................................................................................................ 110
第 3 部分 运行 Mesos................................................... 113
7 使用 Marathon 部署应用 ....................................................... 115
7.1 了解 Marathon................................................................................................ 115
7.1.1 探索 Marathon 的 Web 接口和 API .................................................. 117
7.1.2 服务发现和路由 ................................................................................ 118
7.2 部署 Marathon 和 HAProxy .......................................................................... 121
7.2.1 安装并配置 Marathon........................................................................ 121
7.2.2 安装并配置 HAProxy........................................................................ 124
7.3 创建并伸缩应用 ............................................................................................ 127
7.3.1 部署简单的应用 ................................................................................ 127
7.3.2 部署 Docker 容器 .............................................................................. 130
7.3.3 执行健康检查和滚动应用更新 ........................................................ 131
7.4 创建应用组 .................................................................................................... 134
7.4.1 理解应用组的构成 ............................................................................ 134
7.4.2 部署应用组 ........................................................................................ 135
7.5 日志和调试 .................................................................................................... 137
7.5.1 配置 Marathon 日志........................................................................... 137
7.5.2 调试 Marathon 应用和任务............................................................... 138
7.6 小结 ................................................................................................................ 140
8 使用 Chronos 管理计划任务 .................................................. 143
8.1 了解 Chronos.................................................................................................. 144
8.1.1 探索 Chronos 的 Web 接口和 API .................................................... 145
8.2 安装并配置 Chronos...................................................................................... 147
8.2.1 先决条件的检验 ................................................................................ 147
8.2.2 安装 Chronos...................................................................................... 148
8.2.3 配置 Chronos...................................................................................... 149
8.3 使用简单的作业来工作 ................................................................................ 150
8.3.1 创建基于计划的作业 ........................................................................ 150
8.3.2 使用 Docker 创建基于计划的作业 .................................................. 153
8.4 使用复杂的作业来工作 ................................................................................ 155
8.4.1 组合基于计划和基于依赖的作业 .................................................... 155
8.4.2 形象化作业的依赖关系 .................................................................... 158
8.5 监控 Chronos 作业的输出和状态................................................................. 159
8.5.1 作业失败事件的通知和监控 ............................................................ 159
8.5.2 通过 Mesos 观察作业的标准输出和标准错误................................ 161
8.6 小结 ................................................................................................................ 162
9 使用 Aurora 部署应用和管理计划任务 .................................... 165
9.1 Aurora 简介 .................................................................................................... 166
9.1.1 Aurora 调度器 .................................................................................... 167
9.1.2 Thermos 执行器和观察者 ................................................................. 167
9.1.3 Aurora 的用户和管理员客户端 ........................................................ 168
9.1.4 Aurora DSL(Domain-Speci?c Language,特定领域语言)........... 169
9.2 部署 Aurora .................................................................................................... 169
9.2.1 在开发环境尝试 Aurora.................................................................... 170
9.2.2 构建和安装 Aurora............................................................................ 171
9.2.3 配置 Aurora........................................................................................ 174
9.3 部署应用 ........................................................................................................ 178
9.3.1 部署一个简单的应用 ........................................................................ 179
9.3.2 部署基于 Docker 的应用 .................................................................. 182
9.4 管理计划任务 ................................................................................................ 184
9.4.1 创建 Cron 作业 .................................................................................. 184
9.4.2 创建基于 Docker 的 Cron 作业 ........................................................ 185
9.5 管理 Aurora .................................................................................................... 187
9.5.1 管理用户和配额 ................................................................................ 187
9.5.2 执行维护 ............................................................................................ 189
9.6 小结 ................................................................................................................ 190
10 framework 开发 ................................................................ 191
10.1 framework 基础............................................................................................ 192
10.1.1 编写 framework 的时机和缘由....................................................... 194
10.1.2 调度器的实现 .................................................................................. 194
10.1.3 执行器的实现 .................................................................................. 197
10.2 调度器开发 .................................................................................................. 201
10.2.1 使用调度器 API............................................................................... 202
10.2.2 使用 SchedulerDriver....................................................................... 204
10.3 执行器开发 .................................................................................................. 205
10.3.1 使用执行器 API............................................................................... 205
10.3.2 使用执行器驱动程序 ...................................................................... 207
10.4 运行 framework............................................................................................ 208
10.4.1 在开发环境中部署 .......................................................................... 208
10.4.2 生产环境部署的注意事项 .............................................................. 210
10.5 小结 .............................................................................................................. 211
附录 A 案例研究 :Mesosphere DCOS,企业版 Mesos 分布式集群.. 213
附录 B Mesos 框架与工具的列表 ................................................. 225

本目录推荐