大数据 数据管理与数据工程

第一部分大数据管理理论框架与生态系统 第1章大数据概述 1.1大数据时代 1.2什么是大数据 1.2.1大数据定义 1.2.2大数据特征 1.2.3大数据结构类型 1.2.4数据、信息、知识与智能的关系 1.3大数据发展史 1.3.1数据管理发展历程 1.3.2大数据的演变及回顾 1.4大数据的度量和价值 1.4.1大数据的度量 1.4.2大数据的价值 1.5大数据生态系统 1.5.1大数据生态系统全貌 1.5.2大数据生态系统框架 1.6大数据应用研究方向 1.6.1大数据管理与技术 1.6.2大数据科学与工程 1.7大数据的挑战 1.7.1大数据管理方面带来的挑战 1.7.2大数据技术方面带来的挑战 1.7.3大数据工程方面带来的挑战 第2章大数据战略与商业模式变革 2.1大数据战略 2.1.1国外大数据战略视角 2.1.2国内大数据战略视角 2.2大数据商业模式和商业机会 2.2.1基于大数据的商业模式创新 2.2.2大数据对企业管理决策的影响 2.2.3基于大数据驱动的商业机会 2.3大数据市场的行业应用需求 2.3.1移动互联网和社交网络 2.3.2政府公共管理 2.3.3教育科研行业 2.3.4金融行业 2.3.5医疗健康业 2.3.6中国制造2025 2.3.7智能交通领域 第3章大数据平台的架构体系 3.1大数据基础设施 3.1.1虚拟化 3.1.2云计算 3.1.3数据中心 3.2数据采集 3.2.1系统日志采集方法 3.2.2网络数据采集方法： 对非结构化数据的采集 3.2.3其他数据采集方法 3.3数据存储 3.3.1结构化数据存储 3.3.2非结构化数据存储 3.4数据处理 3.4.1离线批处理 3.4.2实时交互计算 3.4.3流计算 3.5数据交互展示 3.5.1数据可视化基础 3.5.2数据可视化模式 3.5.3数据可视化工具 3.6大数据应用 3.7运营管理 3.8安全管理 第4章大数据的数据整合、交换与交易 4.1大数据平台整合 4.1.1HDFS分布式文件系统 4.1.2MapReduce分布式计算框架 4.1.3HBase分布式数据库 4.1.4交互式数据查询分析 4.1.5数据收集、转换工具 4.1.6其他大数据平台 4.2大数据与存储架构的整合 4.2.1传统存储架构 4.2.2集群存储的发展 4.2.3基于HDFS的集群存储 4.2.4固态硬盘对内存计算的支持 4.3大数据与网络架构的发展 4.4大数据与虚拟化技术的整合 4.5Hadoop环境下的数据整合 4.5.1Hadoop计算环境下的数据整合问题 4.5.2数据库整合工具Sqoop 4.5.3Hadoop平台内部数据整合工具HCatalog 4.6大数据数据交换 4.6.1数据集成技术 4.6.2数据交换体系应用框架 4.6.3数据交换关键技术 4.7大数据交易 4.7.1大数据交易产业链 4.7.2大数据交易业务模式分析 4.7.3大数据交易发展趋势 第5章大数据管理和治理 5.1建立数据驱动的管理体系和架构 5.1.1建立数据管理组织和团队 5.1.2建立数据管理规章和制度 5.2大数据治理体系 5.2.1数据标准管理 5.2.2数据质量管理 5.2.3元数据管理 5.2.4主数据管理 5.2.5数据资产的全生命周期管理 5.3大数据技术管理体系 5.3.1数据类型和结构 5.3.2数据存储管理 5.3.3数据仓库和商业智能 5.3.4数据计算和处理 5.3.5数据展示与交互 5.4大数据事务管理 5.4.1事务的基本属性 5.4.2大数据事务管理机制 5.5大数据流程管理 5.6大数据易用性管理 5.7数据的安全管理 第6章大数据创新方法论 6.1大数据的爆发 6.2大数据创新理论 6.2.1大数据的宏观性和微观性 6.2.2大数据的生产要素性 6.2.3大数据的基因特性 6.2.4大数据的催化剂特性 6.2.5大数据的活性和流动性 6.2.6大数据的黑洞效应和核聚变效应 6.3大数据创新方法论 6.4信息演变趋势 6.5大数据创新实践闭环 6.6中国创新创业大数据版图 6.6.1大数据时代的数据管理 6.6.2大众创业万众创新的浪潮 6.6.3中国创新创业大数据版图的推出 6.6.4双创版图中的大数据管理挑战 6.6.5双创版图中大数据技术的集中运用 6.6.6双创大数据版图的意义 第二部分数据科学和数据工程 第7章数据科学理论与工具 7.1数据科学理论基础 7.1.1数据科学概念 7.1.2数据科学预测预警分析 7.1.3商业智能与数据科学 7.2数据科学研究的重要角色 7.2.1数据科学家 7.2.2数据科学与工程相关角色 7.3大数据生命周期管理方法论 7.3.1数据分析模型概述 7.3.2数据分析模型流程框架 7.3.3数据分析模型创新案例 7.3.4数据分析工具 7.4数据仓库理论 7.4.1数据仓库的主要特征 7.4.2数据仓库建模 7.4.3数据仓库设计 7.4.4数据仓库建设方法论 7.4.5数据仓库相关技术 7.4.6DW、OLAP与DM的关系 7.5数据挖掘高级理论 7.5.1聚类分析 7.5.2关联分析 7.5.3回归和分类分析 7.5.4时序模型 7.5.5结构优化 7.5.6深度机器学习 7.6大数据语义分析知识发现 7.6.1大数据知识发现过程 7.6.2大数据知识发现技术框架 7.6.3大数据知识发现专家系统 7.6.4企业大数据知识管理框架 7.7大数据分析处理平台 7.7.1结构化大数据处理架构 7.7.2非结构化大数据处理架构 7.7.3主流大数据分析平台 第8章医疗健康大数据解决方案 8.1医疗信息化 8.1.1美国医疗信息化发展情况 8.1.2我国医疗信息化发展趋势 8.1.3医疗健康大数据挑战和机遇 8.2医疗健康大数据综述 8.2.1医疗健康大数据类型 8.2.2临床服务数据 8.2.3公共卫生调查和监测数据 8.2.4医学研究性数据 8.2.5个人健康数据 8.3医疗健康大数据总体架构 8.3.1建设原则 8.3.2建设目标 8.3.3医疗健康大数据业务架构 8.3.4医疗健康大数据技术架构 8.3.5医疗健康大数据网络架构 8.4医疗健康数据中心解决方案 8.4.1医疗数据中心架构设计方案 8.4.2集中存储解决方案 8.4.3PACS数据存储方案 8.4.4容灾备份解决方案 8.5医疗健康大数据分析 8.5.1医疗实体对象建模分析 8.5.2医疗个人健康档案建模分析 8.5.3相关数据特征对比分析 8.5.4临床信息学大数据分析 8.5.5医学文献研究知识发现 8.6医疗健康大数据展望 第9章环保行业大数据解决方案 9.1环保物联网 9.1.1物联网概念 9.1.2物联网基本架构 9.1.3环保物联网数据 9.2环保电力脱硫 9.2.1火电脱硫的重要性 9.2.2火电脱硫系统工作原理 9.2.3火电脱硫相关数据 9.2.4脱硫性能优化目标 9.3火电行业脱硫大数据分析 9.3.1主要理论和方法 9.3.2最优化脱硫可调参数 9.3.3最小化脱硫系统成本 9.4空气质量大数据分析评价体系 9.4.1基于熵权的模糊综合评价方法的原理 9.4.2综合评价指标选择与数据来源 9.4.3环境质量综合评价结果及分析 第10章移动社交大数据解决方案 10.1移动社交网络发展情况 10.1.1移动社交网络发展现状 10.1.2移动社交网络发展方向 10.2社交网络基础理论和商业模式 10.2.1社交网络相关理论 10.2.2社交化商业模式 10.3移动社交网络数据处理架构 10.3.1移动社交网络服务架构模型 10.3.2Facebook应用案例 10.4移动社交网络大数据分析 10.4.1社交网络平台行为影响分析模型 10.4.2社交网络单平台内影响力分析 10.4.3社交网络多平台影响力分析 第11章金融大数据解决方案 11.1金融信息化 11.1.1全球金融信息化发展历程 11.1.2我国金融信息化发展趋势 11.2金融大数据综述 11.2.1金融大数据的特征 11.2.2金融大数据的机遇和挑战 11.3金融大数据平台总体架构 11.3.1建设原则和目标 11.3.2金融大数据业务架构 11.3.3金融大数据技术架构 11.3.4金融大数据网络架构 11.4金融大数据分析 11.4.1银行风险管理状况分析 11.4.2金融大数据风险管理云平台 11.4.3大数据征信 11.4.4大数据反欺诈 11.4.5大数据精准营销 11.5金融大数据带来的产业变革 第12章中国制造大数据解决方案 12.1全球工业信息化发展历程和现状 12.1.1美国工业信息化发展历程和现状 12.1.2日本工业信息化发展历程和现状 12.1.3德国工业信息化发展历程和现状 12.1.4我国工业信息化发展历程和现状 12.1.5我国《中国制造2025》的发展战略 12.2工业信息化技术集成和协同发展方向 12.2.1集成和协同的空间跨度 12.2.2集成和协同的时间跨度 12.2.3集成和协同的重点和对象 12.2.4主要的集成和协同技术 12.3中国制造信息化应用系统 12.3.1工业设计自动化系统 12.3.2制造控制自动化系统 12.3.3制造执行系统 12.3.4柔性制造系统 12.3.5工业互联网与CPS系统 12.3.6ERP信息系统 12.4工业大数据架构体系 12.4.1互联网催生工业大数据 12.4.2工业大数据内涵特征 12.4.3工业大数据业务架构 12.4.4工业大数据技术架构 12.4.5工业大数据安全架构 12.5智能化协同制造体系架构 12.5.1智能化协同制造发展需求 12.5.2智能化协同制造总体架构 12.5.3智能化协同制造设计思想 12.5.4智能化协同制造应用场景 12.6智能化协同制造服务生命周期过程 12.6.1制造资源服务集成与发现 12.6.2制造服务资源访问策略 12.6.3制造服务资源的优化与智能调度 12.6.4智能化协同制造研究与自学习机制 12.7工业大数据展望 第13章大数据工程保障体系建设 13.1法律体系建设 13.2标准体系建设 13.3建立标准化大数据治理体系 13.4加强大数据行业应用研究 13.5加强元数据的研究和应用 13.6加强大数据核心技术研究 13.7促进大数据交易市场的规范化发展 13.8推动大数据标准化进程 参考文献