大数据技术及应用教程

第1章大数据技术基本概念31.1数据3 1.1.1数据的单位4 1.1.2数据与信息的关系 4 1.1.3数据的分类 4 1.2信息6 1.2.1信息的定义6 1.2.2信息资源7 1.2.3信息的应用意义8 1.3大数据9 1.3.1大数据发展历史9 1.3.2大数据的定义和特点10 1.4大数据技术的基本概念15 1.4.1传统数据处理15 1.4.2大数据分析的方法理论16 1.4.3大数据技术17 1.5大数据的社会价值21 1.5.1大数据的社会价值体现21 1.5.2大数据在政府管理方面的应用22 1.5.3大数据在公共服务领域的应用23 1.6大数据的商业应用24 1.6.1商业大数据的类型和价值挖掘方法24 1.6.2全球大数据市场结构26 1.6.3中国大数据市场26 1.6.4大数据给中国带来的十大商业应用场景27 1.7大数据与商业模式创新32 1.7.1商业模式的创新特点32 1.7.2商业模式创新可以为企业带来什么32 1.7.3基于大数据分析的商业模式创新33 1.8如何成为“大数据企业”35 1.8.1驾驭企业外部大数据35 1.8.2成为“大数据企业”36 1.8.3如何挖掘企业大数据的价值37 1.8.4大数据实质上是一种管理思维38 1.9大数据应用案例之: 男女嘉宾《非诚勿扰》牵手数据分析39 习题与思考题42 大数据技术及应用教程目录第二部分大数据技术 第2章基础架构——云计算平台472.1大数据处理的基础架构47 2.2云计算网络47 2.2.1云计算简介48 2.2.2云计算系统的体系结构50 2.2.3云计算服务层次55 2.2.4云计算技术层次57 2.2.5云计算的核心技术58 2.2.6典型云计算平台59 2.2.7典型的云计算系统及应用64 2.2.8大数据平台的应用67 2.3大数据应用案例之: 在“北上广”打拼是怎样一种体验69 习题与思考题72第3章大数据采集与预处理74 3.1大数据采集概念74 3.2数据采集来源75 3.3大数据采集方法76 3.3.1大数据数据采集方面新方法76 3.3.2网页数据采集方法76 3.3.3Web信息数据自动采集79 3.4导入/预处理82 3.4.1大数据导入/预处理的过程 82 3.4.2数据清洗84 3.4.3数据采集(ETL)技术86 3.4.4基于大数据的数据预处理88 3.4.5数据处理的基本流程与关键技术90 3.5数据集成91 3.5.1数据集成的概念91 3.5.2数据集成面临问题92 3.6数据变换92 3.6.1异构数据交换综述93 3.6.2异构数据分析94 3.6.3异构数据交换方式97 3.6.4异构数据交换技术99 3.6.5异构数据交换与集成的研究方向103 3.7大数据应用案例之: 互联网行业哪个职位比较有前途103 习题与思考题107第4章大数据存储110 4.1传统数据存储110 4.1.1传统数据存储介质110 4.1.2存储的模式112 4.2海量数据存储的需求113 4.3分布式存储系统117 4.3.1分布式存储系统117 4.3.2典型系统118 4.4云存储120 4.5数据库123 4.5.1数据库分类123 4.5.2常规SQL结构化关系数据库124 4.5.3NoSQL非结构化数据库124 4.5.4NoSQL技术126 4.5.5大规模并行分析数据库129 4.6数据仓库131 4.6.1数据仓库的概念131 4.6.2数据仓库技术发展133 4.6.3数据仓库原理及构成133 4.6.4数据仓库的基本架构136 4.6.5数据仓库的数据存储136 4.6.6数据仓库的数据应用137 4.6.7元数据管理138 4.7大数据应用案例之: 一场雾霾将损失多少GDP 138 习题与思考题141 第5章大数据计算模式与处理系统143 5.1数据计算143 5.1.1离线批处理143 5.1.2实时交互计算145 5.1.3海量数据实时计算145 5.1.4流计算146 5.2聚类算法147 5.2.1聚类算法的分类147 5.2.2数据分类与聚类147 5.3数据集成148 5.3.1数据集成概述149 5.3.2数据集成方案155 5.3.3企业数据集成应用形式157 5.3.4企业整体解决方案160 5.4机器学习161 5.4.1机器学习的定义和例子162 5.4.2机器学习的范围164 5.4.3机器学习的方法165 5.4.4机器学习的应用——大数据170 5.4.5机器学习的子类——深度学习172 5.4.6机器学习的父类——人工智能174 5.5数据处理语言175 5.5.1数据分析语言R175 5.5.2大数据开发语言Python177 5.6大数据应用案例之: 北京的人流在哪儿？用大数据看城市179 习题与思考题183第6章大数据查询、显现与交互185 6.1数据的查询185 6.1.1常规数据库查询结构化数据185 6.1.2大数据时代的数据搜索186 6.1.3数据库与信息检索技术的比较188 6.1.4数据库技术面临的Web数据管理问题 189 6.2网络数据索引与查询技术192 6.2.1搜索引擎技术概述192 6.2.2Web搜索引擎工作原理192 6.3大数据索引与查询技术200 6.3.1大数据索引和查询200 6.3.2大数据处理案例: 登机牌、阅卷与MapReduce201 6.4相似性搜索工具206 6.5数据展现与交互209 6.6数据可视化210 6.6.1数据可视化概念210 6.6.2数据可视化定义与方法211 6.6.3数据可视化分析216 6.6.4个性化精准推荐217 6.6.5预测和预警217 6.6.6决策分析219 6.7知识图谱220 6.7.1知识图谱的概念221 6.7.2知识图谱的表示221 6.7.3知识图谱的存储222 6.7.4知识图谱的应用223 6.8大数据应用案例之: 数据告诉你，上海的房子都被 谁买走了229 习题与思考题233第7章大数据分析与数据挖掘235 7.1大数据的分析及应用235 7.1.1数据处理和分析的发展235 7.1.2大数据分析面对的数据类型236 7.1.3大数据分析与处理方法237 7.1.4数据分析的步骤237 7.1.5大数据分析应用240 7.2数据挖掘技术242 7.2.1数据挖掘的定义242 7.2.2数据挖掘的常用方法244 7.2.3数据挖掘的功能 245 7.2.4数据挖掘技术 246 7.2.5数据挖掘的流程248 7.2.6数据挖掘的应用250 7.2.7“大数据自动挖掘”才是大数据的真正意义251 7.3商业智能与数据分析252 7.3.1商业智能技术辅助决策的发展252 7.3.2商业智能系统架构253 7.3.3商业智能的技术体系253 7.3.4商务智能=数据+分析+决策+利益254 7.4电商大数据分析技术257 7.4.1移动互联网应用数据分析基础257 7.4.2用户规模和质量258 7.4.3参与度分析259 7.4.4渠道分析260 7.4.5功能分析261 7.4.6用户属性分析262 7.5大数据营销业务模型263 7.5.1大数据对业务模式的影响263 7.5.2大数据时代的网络化精确营销264 7.5.3移动互联和大数据时代的电子商务265 7.5.4大数据营销的定义与特点266 7.5.5网络营销大数据实际操作268 7.5.6数据营销方法论270 7.6基于社会媒体的分析预测技术273 7.6.1基于空间大数据的社会感知273 7.6.2基于社会媒体的预测技术278 7.6.3基于消费意图挖掘的预测279 7.6.4基于事件抽取的预测282 7.6.5基于因果分析的预测282 7.7大数据应用案例之: 如何用大数据看风水？以星巴克和海底捞的 选址为例286 习题与思考题287第8章大数据隐私与安全290 8.1大数据面临的问题290 8.1.1大数据面临的安全问题290 8.1.2使用大数据分析安全与隐私的问题295 8.2大数据安全与隐私保护关键技术296 8.2.1基于大数据的威胁发现技术296 8.2.2基于大数据的认证技术297 8.2.3基于大数据的数据真实性分析298 8.2.4大数据与“安全即服务”298 8.3大数据安全的防护策略298 8.4大数据应用案例之: 电影《爸爸去哪儿》大卖有前兆么？300 习题与思考题305 第三部分大数据分析案例 第9章行业案例研究——银行、保险、证券、金融行业309 9.1银行业应用309 9.1.1大数据时代: 银行如何玩转数据挖掘309 9.1.2工商银行客户关系管理案例311 9.1.3银行风险管理314 9.2保险业应用318 9.2.1保险产业拥抱“大数据时代” 或带来颠覆性变革318 9.2.2保险欺诈识别320 9.3证券期货应用322 9.3.1安徽使用大数据监管证券期货322 9.3.2“大数据”分析挖出基金“老鼠仓”的启示323 9.4金融行业应用324 9.4.1汽车金融公司怎么实现大数据管理324 9.4.2大数据决定互联网金融未来326 9.4.3移动大数据在互联网金融反欺诈领域的应用329 9.5大数据应用案例之: 大吃一惊！大数据下的中国原来是这样的331 第四部分大数据技术现状及发展展望 第10章大数据技术发展前景339 10.1大数据引发新一代信息技术变革浪潮339 10.2大数据采集与预处理技术发展前景341 10.3大数据存储与管理技术发展前景342 10.4大数据计算模式与系统技术发展前景347 10.5大数据分析与挖掘技术发展前景351 10.6大数据可视化分析技术发展前景353 10.7大数据隐私与安全技术发展前景357 10.8大数据应用案例之: 数据解读城市: 北京本地人VS外地人360参考文献366