深入云计算：Hadoop应用开发实战详解（修订版）

第1篇& ;& ;Hadoop技术篇<br>第& ;1章& ;& ;初识Hadoop<br>1.1& ;& ;Hadoop简介& ;2<br>1.1.1& ;& ;Hadoop的起源& ;2<br>1.1.2& ;& ;什么是Hadoop& ;3<br>1.1.3& ;& ;Hadoop的核心技术是Google核心技术的开源实现& ;4<br>1.1.4& ;& ;Hadoop的功能与优点& ;5<br>1.1.5& ;& ;Hadoop的应用现状和发展趋势& ;6<br>1.2& ;& ;Hadoop的体系结构& ;11<br>1.2.1& ;& ;HDFS的体系结构& ;12<br>1.2.2& ;& ;MapReduce的体系结构& ;19<br>1.3& ;& ;Hadoop与分布式开发& ;21<br>1.4& ;& ;Hadoop的数据管理& ;23<br>1.4.1& ;& ;HDFS的数据管理& ;23<br>1.4.2& ;& ;HBase的数据管理& ;23<br>1.4.3& ;& ;Hive的数据管理& ;24<br>1.5& ;& ;思考与总结& ;25<br>第& ;2章& ;& ;Hadoop的安装和配置<br>2.1& ;& ;在Windows下安装与配置Hadoop& ;27<br>2.1.1& ;& ;JDK的安装& ;27<br>2.1.2& ;& ;Cygwin的安装& ;30<br>2.1.3& ;& ;Hadoop的安装& ;36<br>2.2& ;& ;在Linux下安装与配置Hadoop& ;38<br>2.2.1& ;& ;Ubuntu的安装& ;38<br>2.2.2& ;& ;JDK的安装& ;41<br>2.2.3& ;& ;Hadoop的安装& ;41<br>2.3& ;& ;Hadoop的执行实例& ;43<br>2.3.1& ;& ;运行Hadoop& ;44<br>2.3.2& ;& ;运行wordcount.java程序& ;44<br>2.4& ;& ;Hadoop& ;Eclipse简介和使用& ;45<br>2.4.1& ;& ;Eclipse插件介绍& ;45<br>2.4.2& ;& ;Eclipse插件开发配置& ;45<br>2.4.3& ;& ;在Eclipse下运行WordCount程序& ;49<br>2.5& ;& ;Hadoop的集群和优化& ;56<br>2.5.1& ;& ;Hadoop的性能优化& ;57<br>2.5.2& ;& ;Hadoop配置机架感知信息& ;58<br>2.6& ;& ;思考与总结& ;59<br>第& ;3章& ;& ;HDFS海量存储<br>3.1& ;& ;开源的GFS——HDFS& ;60<br>3.1.1& ;& ;HDFS简介& ;60<br>3.1.2& ;& ;HDFS的体系结构& ;63<br>3.1.3& ;& ;HDFS的保障可靠性措施& ;64<br>3.2& ;& ;HDFS的常用操作& ;67<br>3.2.1& ;& ;HDFS下的文件操作& ;67<br>3.2.2& ;& ;管理与更新& ;74<br>3.2.3& ;& ;HDFS& ;API详解& ;76<br>3.2.4& ;& ;HDFS的读/写数据流& ;88<br>3.3& ;& ;用HDFS存储海量的视频数据& ;91<br>3.3.1& ;& ;场景分析& ;91<br>3.3.2& ;& ;设计实现& ;91<br>3.4& ;& ;思考与总结& ;93<br>第& ;4章& ;& ;初识MapReduce<br>4.1& ;& ;MapReduce简介& ;94<br>4.1.1& ;& ;MapReduce要解决什么问题& ;94<br>4.1.2& ;& ;MapReduce的理论基础& ;95<br>4.1.3& ;& ;MapReduce的编程模式& ;97<br>4.2& ;& ;MapReduce的集群行为& ;98<br>4.3& ;& ;Map/Reduce框架& ;100<br>4.4& ;& ;样例分析：单词计数& ;100<br>4.4.1& ;& ;WordCount实例的运行过程& ;100<br>4.4.2& ;& ;WordCount的源码分析和程序处理过程& ;103<br>4.4.3& ;& ;MapReduce常用类及其接口& ;106<br>4.5& ;& ;实例：倒排索引& ;109<br>4.5.1& ;& ;倒排索引的分析和设计& ;109<br>4.5.2& ;& ;倒排索引完整源码& ;112<br>4.5.3& ;& ;运行代码结果& ;116<br>4.6& ;& ;MapReduce& ;在日志分析中数据去重案例& ;117<br>4.6.1& ;& ;什么是数据去重& ;117<br>4.6.2& ;& ;设计思路& ;118<br>4.6.3& ;& ;程序代码& ;118<br>4.6.4& ;& ;代码运行结果& ;120<br>4.7& ;& ;数据排序实例& ;122<br>4.7.1& ;& ;实例描述& ;122<br>4.7.2& ;& ;设计思路& ;123<br>4.7.3& ;& ;程序代码& ;123<br>4.8& ;& ;思考与总结& ;126<br>第& ;5章& ;& ;分布式开源数据库HBase<br>5.1& ;& ;HBase简介& ;127<br>5.1.1& ;& ;HBase逻辑视图& ;127<br>5.1.2& ;& ;HBase物理存储& ;129<br>5.1.3& ;& ;子表Region服务器& ;130<br>5.1.4& ;& ;Hmaster主服务器& ;132<br>5.1.5& ;& ;元数据表& ;132<br>5.2& ;& ;HBase的安装配置& ;133<br>5.2.1& ;& ;HBase单机模式& ;133<br>5.2.2& ;& ;HBase伪分布模式& ;135<br>5.2.3& ;& ;HBase完全分布模式& ;136<br>5.3& ;& ;学生成绩表实例& ;140<br>5.3.1& ;& ;Shell的基本操作& ;141<br>5.3.2& ;& ;代码实现& ;143<br>5.3.3& ;& ;关于中文的处理& ;145<br>5.3.4& ;& ;常用HBase的& ;Shell操作& ;149<br>5.4& ;& ;思考与总结& ;153<br>第& ;6章& ;& ;MapReduce进阶<br>6.1& ;& ;API的配置& ;154<br>6.1.1& ;& ;一个简单的配置文件& ;155<br>6.1.2& ;& ;合并多个源文件& ;156<br>6.1.3& ;& ;可变的扩展& ;157<br>6.2& ;& ;配置开发环境& ;157<br>6.2.1& ;& ;配置文件设置& ;157<br>6.2.2& ;& ;设置用户标识& ;159<br>6.3& ;& ;复合键值对的使用& ;159<br>6.3.1& ;& ;小的键值对如何合并成大的键值对& ;159<br>6.3.2& ;& ;巧用复合键让系统完成排序& ;160<br>6.4& ;& ;用户定制数据类型& ;164<br>6.4.1& ;& ;内置数据类型& ;164<br>6.4.2& ;& ;用户自定义数据类型& ;164<br>6.5& ;& ;用户定制输入/输出格式& ;166<br>6.5.1& ;& ;内置数据的输入格式& ;167<br>6.5.2& ;& ;用户定制数据输入格式与RecordReader& ;168<br>6.5.3& ;& ;Hadoop内置的数据输出格式& ;172<br>6.5.4& ;& ;& ;Hadoop内置的数据输出格式与RecordWriter& ;172<br>6.6& ;& ;用户定制Partitioner和Combiner& ;173<br>6.7& ;& ;组合式的MapReduce作业& ;176<br>6.7.1& ;& ;MapReduce作业运行机制& ;176<br>6.7.2& ;& ;组合式MapReduce计算作业& ;178<br>6.8& ;& ;DataJoin连接多数据源& ;183<br>6.9& ;& ;思考与总结& ;187<br>第& ;7章& ;& ;Hive数据仓库<br>7.1& ;& ;Hive简介& ;188<br>7.2& ;& ;Hive安装与配置& ;189<br>7.3& ;& ;Hive的服务& ;191<br>7.3.1& ;& ;Hive& ;shell& ;191<br>7.3.2& ;& ;JDBC/ODBC& ;192<br>7.3.3& ;& ;Thrift服务& ;192<br>7.3.4& ;& ;Web接口& ;193<br>7.3.5& ;& ;元数据服务& ;193<br>7.4& ;& ;HiveQL查询语言& ;193<br>7.5& ;& ;Hive实例& ;202<br>7.5.1& ;& ;UDF& ;编程实例& ;202<br>7.5.2& ;& ;UDAF& ;编程实例& ;204<br>7.5.3& ;& ;Hive的日志数据统计实战& ;206<br>7.6& ;& ;思考与总结& ;211<br>第& ;8章& ;& ;Pig开发应用<br>8.1& ;& ;Pig简介& ;212<br>8.2& ;& ;Pig的安装与配置& ;213<br>8.3& ;& ;Pig的使用& ;215<br>8.3.1& ;& ;Pig的MapReduce模式& ;215<br>8.3.2& ;& ;Pig的运行方式& ;216<br>8.4& ;& ;通过Grunt学习Pig& ;Latin& ;219<br>8.4.1& ;& ;Pig的数据模型& ;220<br>8.4.2& ;& ;运算符& ;221<br>8.4.3& ;& ;常用操作& ;222<br>8.4.4& ;& ;各种SQL在Pig中的实现& ;229<br>8.4.5& ;& ;Pig& ;Latin实现& ;233<br>8.5& ;& ;Pig使用的案例& ;235<br>8.6& ;& ;思考与总结& ;235<br>第& ;9章& ;& ;Chukwa数据收集系统<br>9.1& ;& ;Chukwa简介& ;236<br>9.1.1& ;& ;Chukwa是什么& ;236<br>9.1.2& ;& ;Chukwa主要解决什么问题& ;240<br>9.2& ;& ;Chukwa的安装配置& ;240<br>9.2.1& ;& ;Chukwa的安装& ;240<br>9.2.2& ;& ;Chukwa的配置& ;242<br>9.2.3& ;& ;Chukwa的启动& ;245<br>9.3& ;& ;Chukwa的基本命令& ;248<br>9.3.1& ;& ;Chukwa端的命令& ;248<br>9.3.2& ;& ;Agent& ;端的命令& ;249<br>9.4& ;& ;Chukwa在数据收集处理方面的运用& ;251<br>9.4.1& ;& ;数据生成& ;251<br>9.4.2& ;& ;数据收集& ;251<br>9.4.3& ;& ;数据处理& ;252<br>9.4.4& ;& ;数据析取& ;252<br>9.4.5& ;& ;数据稀释& ;253<br>9.4.6& ;& ;数据显示& ;253<br>9.5& ;& ;思考与总结& ;253<br>第& ;10章& ;& ;ZooKeeper开发应用<br>10.1& ;& ;ZooKeeper简介& ;254<br>10.1.1& ;& ;ZooKeeper的设计目标& ;254<br>10.1.2& ;& ;ZooKeeper主要解决什么问题& ;256<br>10.1.3& ;& ;ZooKeeper的基本概念和工作原理& ;257<br>10.2& ;& ;ZooKeeper的安装配置& ;260<br>10.2.1& ;& ;单机模式& ;261<br>10.2.2& ;& ;启动并测试ZooKeeper& ;262<br>10.2.3& ;& ;集群模式& ;264<br>10.3& ;& ;ZooKeeper提供的接口& ;267<br>10.4& ;& ;ZooKeeper事件& ;270<br>10.5& ;& ;ZooKeeper实例& ;271<br>10.5.1& ;& ;实例1：一个简单的应用——分布式互斥锁& ;271<br>10.5.2& ;& ;实例2：进程调度系统& ;276<br>10.6& ;& ;思考与总结& ;283<br>第2篇& ;& ;Hadoop管理和容错篇<br>第& ;11章& ;& ;Hadoop管理<br>11.1& ;& ;Hadoop权限管理& ;286<br>11.2& ;& ;HDFS文件系统管理& ;292<br>11.3& ;& ;Hadoop维护与管理& ;298<br>11.4& ;& ;Hadoop常见问题及解决办法& ;300<br>11.5& ;& ;思考与总结& ;310<br>第& ;12章& ;& ;Hadoop容错<br>12.1& ;& ;Hadoop的可靠性& ;311<br>12.1.1& ;& ;HDFS中的NameNode单点失效解决方案& ;311<br>12.1.2& ;& ;HDFS数据块副本机制& ;313<br>12.1.3& ;& ;HDFS心跳机制& ;319<br>12.1.4& ;& ;HDFS负载均衡& ;320<br>12.1.5& ;& ;MapReduce容错& ;321<br>12.2& ;& ;Hadoop的SecondayNameNode机制& ;322<br>12.2.1& ;& ;磁盘镜像与日志文件& ;322<br>12.2.2& ;& ;SecondaryNameNode更新镜像的流程& ;323<br>12.3& ;& ;Avatar机制& ;325<br>12.3.1& ;& ;Avatar机制简介& ;325<br>12.3.2& ;& ;Avatars部署实战& ;326<br>12.4& ;& ;Hadoop_HBase容错& ;331<br>12.5& ;& ;思考与总结& ;333<br>第3篇& ;& ;Hadoop实战篇<br>第& ;13章& ;& ;综合实战1：Hadoop中的数据库访问<br>13.1& ;& ;DBInputFormat类访问数据库& ;336<br>13.1.1& ;& ;在DBInputFormat类中包含的内置类& ;336<br>13.1.2& ;& ;使用DBInputFormat读取数据库表中的记录& ;337<br>13.1.3& ;& ;使用示例& ;337<br>13.2& ;& ;使用DBOutputFormat向数据库中写记录& ;340<br>13.3& ;& ;思考与总结& ;343<br>第& ;14章& ;& ;综合实战2：一个简单的分布式的Grep<br>14.1& ;& ;分析与设计& ;344<br>14.2& ;& ;实现代码& ;345<br>14.3& ;& ;运行程序& ;346<br>14.4& ;& ;思考与总结& ;346<br>第& ;15章& ;& ;综合实战3：打造一个搜索引擎<br>15.1& ;& ;搜索引擎工作原理& ;348<br>15.2& ;& ;网页搜集与信息提取& ;350<br>15.2.1& ;& ;设计的主要思想& ;350<br>15.2.2& ;& ;系统设计目标& ;351<br>15.3& ;& ;网页信息的提取与存储& ;352<br>15.4& ;& ;MapReduce的预处理& ;353<br>15.4.1& ;& ;第一步：源数据过滤& ;353<br>15.4.2& ;& ;第二步：生成倒排文件& ;355<br>15.4.3& ;& ;第三步：建立二级索引& ;362<br>15.5& ;& ;建立Web信息查询服务& ;365<br>15.6& ;& ;思考与总结& ;366<br>第& ;16章& ;& ;综合实战4：移动通信信令监测与查询<br>16.1& ;& ;分析与设计& ;367<br>16.1.1& ;& ;CDR数据文件的检测与索引创建任务调度& ;369<br>16.1.2& ;& ;从HDFS读取数据并创建索引& ;370<br>16.1.3& ;& ;查询CDR信息& ;371<br>16.2& ;& ;代码实现& ;371<br>16.2.1& ;& ;CDR文件检测和索引创建任务程序& ;371<br>16.2.2& ;& ;读取CDR数据和索引创建处理& ;375<br>16.2.3& ;& ;CDR查询& ;383<br>16.3& ;& ;思考与总结& ;384<br>附录A& ;& ;Hadoop命令大全& ;385<br>附录B& ;& ;HDFS命令大全& ;392<br>