大数据技术

第1章 绪论 1
1.1 大数据的技术挑战 1
1.1.1 大数据的"大"1 
1.1.2 数据"大"的技术挑战 3 
1.1.3 大数据决策的技术挑战 5 
1.1.4 数据安全的技术问题 7 
1.2 大数据计算  8
1.2.1 大数据文件 9 
1.2.2 大数据计算框架  10 
1.2.3 大数据管理  11 
1.3 数据开发 12
1.3.1 数据获取  12 
1.3.2 数据分析  13 
1.3.3 数据可视化  14 
1.4 数据产业支持 15
1.4.1 数据产业需要的技术支持  15 
1.4.2 数据资产化 16 
1.4.3 数据产品及其质量  17 
1.4.4 数据流通与安全  18 
1.5 小结  19 
参考文献  19
第 2章 大数据计算  21
2.1 数据访问21
2.1.1 安全模型  21
2.1.2 访问控制策略  23 
2.1.3 访问控制与授权  24 
2.1.4 访问控制与审计  24 
2.2 分布式文件系统 24
2.2.1 GoogleFS  25 
2.2.2 HDFS  27 
2.2.3 GlusterFS  28 
2.2.4 CephFS  29 
2.3 大数据计算框架 30
2.3.1  批处理 30 
2.3.2 流数据计算  38 
2.3.3 增量计算模型  41 
2.3.4 新兴计算框架  44 
2.3.5 大数据计算框架的发展  46 
2.4 多地计算异地计算模式 48
2.4.1 概念48 
2.4.2 计算模型  49 
2.4.3 特点  49 2.5 小结 49 
参考文献  49
第 3章 大数据管理  51
3.1 概述 51 
3.2 分布式文件系统 HDFS  52
3.2.1  前提和设计目标 53 
3.2.2 数据块  53 
3.2.3  HDFS架构  54 
3.2.4 HDFS容错机制  54 
3.3 列式存储格式 Parquet  55
3.3.1 行存储与列存储文件格式  55 
3.3.2 Parquet 概述 56 
3.3.3 数据模型 56 
3.3.4 Parquet 文件的存储格式 57 
3.4 NOSOL  58
3.4.1 键值对数据库  58 
3.4.2 基于列族的数据库  59 
3.4.3 基于文档的数据库  59 
3.4.4 基于图的数据库  60
3.5 键值数据库 Redis 60
3.5.1 Redis简介 60 
3.5.2 Redis数据类型 61 3.5.3 Redis事务 63 
3.5.4 Redis 持久化机制 63 
3.6 HBase  63
3.6.1  HBase简介  63 
3.6.2 HBase访问接口 64 
3.6.3 HBase数据模型  64 
3.6.4 HBase系统架构  65 
3.6.5 HBase存储格式  66 
3.7 Dynamo67
3.7.1 Dynamo系统设计假设和前提  67 
3.7.2 Dynamo数据分布策略  68 
3.7.3 CAP原理  68 
3.7.4 Dynamo 的一致性实现技术  69 
3.7.5 Dynamo系统访问接口 69 
3.8 Cassandra  69 
3.9 MongoDB 70
3.9.1 MongoDB简介 70 
3.9.2 MongoDB数据模型70 
3.9.3 MongoDB基础操作71 
3.9.4 MongoDB聚集操作 73 
3.9.5 MongoDB复制机制75
3.9.6 MongoDB分片机制 76 
3.10 Neo4j  76
3.10.1 Neo4j简介 76 
3.10.2 Neo4j基础概念  77 
3.10.3 NeO4j的Cypher查询语言和模式 78 
......