大数据：规划、实施、运维

第1篇 大数据导论\t1
第1章 初识大数据\t5
1．1 大数据概念谈\t7
1．1．1 大数据的定义\t7
1．1．2 大数据发展现状\t10
1．1．3 大数据建设需求分析\t10
1．1．4 大数据建设目标\t11
1．1．5 机器学习与人工智能\t11
1．2 大数据的科学性\t12
1．3 客户关系管理\t18
1．4 大数据的理解误区\t21
1．5 小结\t29
第2章 大数据产业链初探\t30
2．1 现金流与产业模式\t31
2．2 国外IT企业\t33
2．3 国内IT企业\t35
2．4 开源软件\t36
2．5 小微企业\t39
2．6 政策制定者\t41
2．7 小结\t43
第2篇 规划篇\t44
第3章 大数据体系规划\t47
3．1 大数据技术体系\t48
3．1．1 大数据采集与预处理\t49
3．1．2 大数据存储\t52
3．1．3 大数据计算\t56
3．1．4 大数据分析\t58
3．1．5 大数据治理\t64
3．1．6 大数据安全保障\t68
3．1．7 大数据应用支撑\t73
3．2 大数据共性技术重点课题\t76
3．2．1 开放域数据采集与共享\t76
3．2．2 多源异构数据分析技术\t78
3．2．3 异构计算模式集成技术\t82
3．2．4 数据安全与隐私保护\t86
3．3 大数据风险管控\t90
3．3．1 企业大数据建设风险分析\t90
3．3．2 大数据安全标准体系框架\t90
3．3．3 大数据安全标准规划\t91
3．4 小结\t94
第4章 大数据技术要求\t95
4．1 大数据总体架构\t98
4．1．1 背景概述\t98
4．1．2 现状分析\t98
4．1．3 总体目标\t99
4．1．4 技术架构\t100
4．1．5 实施指引\t102
4．2 采集要求\t104
4．2．1 功能架构\t104
4．2．2 技术架构\t105
4．2．3 处理技术\t106
4．2．4 场景应用\t111
4．2．5 接口协议\t113
4．2．6 接口约定\t113
4．2．7 性能指标\t116
4．3 基础能力要求\t117
4．3．1 总体概述\t117
4．3．2 基础框架\t119
4．3．3 能力开放\t135
4．3．4 性能指标\t141
4．4 核心处理能力要求\t142
4．4．1 总体概述\t142
4．4．2 数据模型\t149
4．4．3 数据处理\t152
4．4．4 数据质量\t155
4．4．5 系统性能\t158
4．5 需求与项目管理\t160
4．6 小结\t161
第3篇 实施篇\t163
第5章 大数据并行计算框架\t166
5．1 并行计算技术\t167
5．1．1 基本命题\t167
5．1．2 设计模式分类\t170
5．1．3 关键技术点\t173
5．2 MapReduce计算技术\t177
5．2．1 处理模型设计原则\t177
5．2．2 主要功能与技术设计\t178
5．3 Hadoop MapReduce设计与工作模式\t181
5．3．1 程序执行模式\t181
5．3．2 作业调度模式\t183
5．3．3 执行框架及流程设计\t186
5．4 Hadoop MapReduce组件接口\t187
5．4．1 InputFormat\t187
5．4．2 InputSplit\t188
5．4．3 RecordReader\t189
5．4．4 Mapper\t190
5．4．5 Combiner\t192
5．4．6 Partitioner\t193
5．5 小结\t193
第6章 大数据分布式处理系统\t194
6．1 Hadoop系统平台\t195
6．1．1 分布式结构设计\t195
6．1．2 Hadoop生态系统\t196
6．2 HDFS分布式文件系统\t200
6．2．1 系统架构\t200
6．2．2 可靠性设计\t203
6．2．3 文件存储组织\t205
6．2．4 数据读写过程\t207
6．2．5 文件系统操作\t209
6．3 HBase分布式数据库\t211
6．3．1 技术特点\t211
6．3．2 系统结构设计\t212
6．3．3 数据存储模型\t213
6．3．4 查询模式\t215
6．3．5 数据表设计\t217
6．3．6 RegionServer配置\t218
6．4 小结\t222
第7章 大数据存储\t223
7．1 磁盘阵列技术\t224
7．2 数据存储接口\t225
7．2．1 对象存储\t225
7．2．2 裸设备存储\t226
7．2．3 块存储\t227
7．3 存储集群架构\t228
7．3．1 共享与非共享型\t228
7．3．2 对称与非对称式\t229
7．3．3 自助式与服务式\t230
7．3．4 SPI与SFI\t231
7．3．5 串行方式与并行方式\t232
7．4 数据存储技术本质\t233
7．4．1 三网统一理论\t234
7．4．2 并行概念理解\t236
7．4．3 集群分层架构\t238
7．5 数据分级存储探讨\t238
7．5．1 超融合\t238
7．5．2 冷数据\t239
7．5．3 平台架构\t241
7．5．4 应用场景\t248
7．6 小结\t249
第8章 机器学习与人工智能\t250
8．1 数据挖掘\t251
8．1．1 数据分类采集\t253
8．1．2 模式类型设计\t258
8．1．3 模式价值分析\t261
8．1．4 系统关键技术\t262
8．2 机器学习\t264
8．2．1 算法分类\t265
8．2．2 合适算法选择\t265
8．2．3 程序开发设计\t266
8．3 人工智能\t267
8．3．1 模式定义\t268
8．3．2 人工智能举例\t269
8．4 小结\t276
第4篇 运维篇\t277
第9章 大数据集群网络架构\t280
9．1 现有数据中心网络架构\t281
9．1．1 架构分析\t281
9．1．2 存在弊端\t281
9．2 大数据网络设计要点\t283
9．2．1 大数据业务分析\t283
9．2．2 大数据网络流量模型\t284
9．2．3 大数据网络新需求\t286
9．3 新兴网络技术\t287
9．3．1 SDN\t287
9．3．2 NFV\t291
9．3．3 VXLAN\t292
9．3．4 InfiniBand\t295
9．4 小结\t297
第10章 大数据安全\t298
10．1 大数据安全挑战\t299
10．2 基础设施安全\t300
10．2．1 存在威胁\t300
10．2．2 虚拟化安全\t301
10．3 数据安全\t302
10．3．1 数据采集安全技术\t302
10．3．2 数据存储安全技术\t303
10．3．3 数据挖掘安全技术\t307
10．3．4 数据发布安全技术\t309
10．4 大数据平台Hadoop安全\t311
10．4．1 Hadoop安全问题概述\t311
10．4．2 Kerberos概述\t313
10．4．3 Kerberos认证过程\t313
10．4．4 Hadoop安全机制\t314
10．4．5 Kerberos的优缺点\t316
10．5 小结\t317
第11章 大数据备份与恢复\t318
11．1 数据备份与恢复\t319
11．1．1 数据备份\t319
11．1．2 数据恢复\t323
11．2 分布式存储系统备份与恢复\t324
11．2．1 概述\t324
11．2．2 HDFS数据备份策略\t328
11．3 小结\t330
第12章 大数据环境的监管\t331
12．1 概述\t332
12．2 大数据集群配置管理\t333
12．3 大数据集群监控\t337
12．3．1 大数据监控特点\t337
12．3．2 监控系统\t338
12．3．3 监控系统建立途径\t341
12．3．4 商业监控软件\t342
12．3．5 开源监控软件\t343
12．3．6 传统网络管理软件：NetEagle\t352
12．3．7 统一管理平台：UMP\t354
12．4 大数据日志分析\t356
12．5 小结\t359
第13章 大数据的运维方法\t361
13．1 运维服务\t362
13．2 运维流程模型\t363
13．2．1 故障排查\t363
13．2．2 紧急事故管理\t366
13．2．3 处理连锁故障\t368
13．3 运维人员\t371
13．3．1 需要具备的能力\t371
13．3．2 任务内容\t372
13．4 自动化运维\t374
13．4．1 自动化运维价值\t374
13．4．2 自动化运维工具\t376
13．5 小结\t379
第5篇 实例篇\t380
第14章 Oracle MoviePlex 大数据规划\t383
14．1 案例概述\t384
14．1．1 案例背景\t386
14．1．2 架构规划\t387
14．2 大数据组件介绍\t395
14．2．1 Cloudera的CDH\t396
14．2．2 Cloudera管理器\t397
14．2．3 Oracle大数据连接器\t398
14．2．4 Oracle大数据加载器\t398
14．2．5 Oracle大数据整合器\t400
14．2．6 Oracle R语言连接器\t400
14．2．7 Oracle NoSQL数据库\t401
14．3 小结\t402
第15章 Oracle MoviePlex大数据实施\t404
15．1 环境准备\t405
15．1．1 MoviePlex环境部署\t405
15．1．2 MoviePlex环境初始化\t409
15．2 案例演示\t413
15．2．1 配置Oracle Big Data SQL\t413
15．2．2 建立存放在HDFS日志表\t414
15．2．3 HIVE访问HDFS和NoSQL\t416
15．2．4 Oracle Big Data SQL新功能\t418
15．2．5 Oracle Big Data安全策略\t420
15．2．6 Oracle分析SQL\t422
15．2．7 Oracle SQL模式匹配\t423
15．2．8 创建汇总数据集\t425
15．2．9 Oracle 12c SQL解析特点\t426
15．3 推荐系统\t428
15．3．1 百万美元大奖赛\t428
15．3．2 技术细节\t429
15．4 小结\t433
第16章 Oracle MoviePlex大数据运维\t434
16．1 集群\t436
16．1．1 Hadoop\t436
16．1．2 ZooKeeper\t439
16．2 文件系统和非关系数据库\t442
16．2．1 HDFS\t443
16．2．2 HBase\t444
16．2．3 NoSQL\t446
16．2．4 Kafka\t449
16．3 中间件\t451
16．3．1 WebLogic\t451
16．3．2 HUE\t454
16．3．3 Solr\t456
16．4 数据转换\t458
16．4．1 Hive\t458
16．4．2 Impala\t460
16．4．3 Sqoop2\t462
16．5 资源整合调度\t463
16．5．1 Oozie\t463
16．5．2 YARN\t464
16．6 小结\t467
第6篇 明天的大数据\t468
第17章 大数据面临的挑战\t470
17．1 可靠性挑战\t472
17．2 可扩展性挑战\t473
17．3 系统安全挑战\t473
17．4 节能降耗\t475
17．5 算法挑战\t477
17．6 测不准原理\t477
17．7 小结\t478
第18章 大数据应用\t479
18．1 客户关系与供求管理\t480
18．2 科学研究\t483
18．3 教育大数据应用\t485
18．4 区块链与加密货币\t490
18．5 小结\t493
结束语\t494
附录A 安装Cloudera Apache Hadoop\t502
A．1 环境准备\t504
A．1．1 Cloudera Manager架构\t504
A．1．2 服务器环境准备\t504
A．1．3 安装介质下载\t505
A．1．4 本地yum源搭建\t505
A．2 安装Cloudera Manager Server\t506
A．3 部署Hadoop集群\t507
A．4 安装结果\t508
附录B 在Matlab中应用 MapReduce\t509
B．1 datastore简介\t510
B．2 搜寻需要的项\t511
B．3 MapReduce简介\t512
B．4 如何运用MapReduce进行运算\t512
B．5 MapReduce中对于键的使用\t514
B．6 使用mapreduce计算分组指标\t514
B．7 输出结果可视化\t516
附录C 从AlphaGo到 AlphaZero\t518
参考文献\t526