大数据和大分析

第1章　背景　//1
1.1　大数据的引出和影响　//3
1.1.1　“大数据，大商机”　//3
1.1.2　“数据资产”的引出　//6
1.1.3　数据量庞大　//9
1.1.4　数据结构复杂　//10
1.1.5　数据价值有待挖掘　//11
1.1.6　“数据驱动”的变革　//12
1.1.7　互联网发展中的“数联网”　//15
1.2　为何需要大分析　//16
1.2.1　数据价值评估　//16
1.2.2　“数据资产”变现问题　//18
1.2.3　大分析的技术基础　//20
1.2.4　大分析面临的问题　//26
1.3　大分析的应用案例　//29
1.3.1　新的“啤酒和尿布”　//29
1.3.2　KPI信息地图　//30
1.3.3　“大数据、超细分、微营销”　//32
1.4 　小结　//34
第2章　大数据基础　//35
2.1　大数据的基本理念　//36
2.1.1　概念和定义探索　//36
2.1.2　大数据的技术基础　//37
2.1.3　没有大分析，大数据就是大垃圾　//38
2.1.4　大数据如何借鉴“数据仓库”的经验　//38
2.1.5　企业级数据中心　//41
2.2　大数据与数据仓库的关系　//42
2.2.1　大数据扩展数据仓库理论架构　//42
2.2.2　大数据继承数据仓库数据管理的经验　//43
2.2.3　大数据开启了非结构化数据的处理　//43
2.2.4　大数据要借鉴数据仓库的生态圈　//43
2.2.5　大数据应继承数据分析技术　//44
2.2.6 　与数据库的关系　//44
2.2.7　数据仓库借鉴大数据的营销模式　//44
2.3　大数据的基本特点　//45
2.3.1　“4V”特点　//45
2.3.2　大分析角度的大数据特征　//45
2.4　大数据的价值和意义　//46
2.4.1　围绕客户信息，提供全方位服务　//46
2.4.2　构筑“虚拟团队”，提升团队管理水平　//46
2.4.3　让“智慧城市”“智能交通”等变为可能　//47
2.4.4　构筑“理性社会”终于成为可能　//47
2.4.5　中国前所未有的一次“弯道超车”机遇　//47
2.5　大数据的问题和挑战　//48
2.5.1　数据质量问题越发突出　//48
2.5.2　数据分析技术尚缺实质突破　//48
2.5.3　大数据应用水平需要逐步演进、逐步深化　//48
2.5.4　大数据技术架构面临突破　//49
2.5.5　数据理念与国外仍然相距甚远　//49
2.5.6　大数据是一项系统工程　//49
2.6　小结　//50
第3章　大数据的管理　//51
3.1　数据如何收集　//52
3.1.1　能获取哪些数据　//52
3.1.2　基于数据价值，决定数据的收集、存放策略　//53
3.1.3　没有应用时，是否收集数据　//53
3.2　数据的标准　//53
3.2.1　数据接口　//53
3.2.2　数据模型　//55
3.3　大数据的ETL过程　//57
3.4　大数据如何存储　//58
3.4.1　数据库/数据仓库　//58
3.4.2　分布式文件系统（HDFS）　//59
3.4.3　混搭模式　//63
3.4.4　Hive /Hbase等　//63
3.4.5　MPP　//65
3.5　数据如何估值和计费　//65
3.5.1　什么数据最好卖　//66
3.5.2　市场价格　//66
3.5.3　数据的开放　//67
3.6　大数据的“数据资产”管理　//67
3.7　数据如何保障安全　//68
3.8 　小结　//71
第4章　大数据的技术架构　//73
4.1　大数据处理架构　//74
4.1.1　大数据处理层级和域　//75
4.1.2　哪些计算适合并行　//78
4.2　为何是混搭架构　//78
4.2.1　大数据混搭架构的利弊分析　//79
4.2.2　架构是否去IOE　//80
4.2.3　大数据混搭架构实例　//80
4.3　数据集市的模式　//83
4.3.1　数据沙盒模式　//85
4.3.2　贴近角色的平台及应用　//85
4.3.3　文件集市　//89
4.4　数据管控模块　//89
4.4.1　元数据　//89
4.4.2　数据质量　//91
4.5　大数据的“爬虫”技术　//93
4.5.1　定制爬虫Nutch　//94
4.5.2　分词技术—庖丁分词　//94
4.5.3　索引及全文检索—Splunk　//95
4.5.4　上网数据解析流程　//97
4.6　大数据安全管理框架　//99
4.6.1　安全管控技术架构　//99
4.6.2　管理制度建设　//101
4.6.3　去隐私化技术举例　//103
4.7　小结　//108
第5章　大数据的数据质量管控　//111
5.1　数据质量概念　//113
5.1.1　基本概念　//113
5.1.2　大数据就不考虑质量了吗　//117
5.2　元数据　//118
5.2.1　数据的数据　//118
5.2.2　元数据的CWM标准　//120
5.2.3　元数据分类　//122
5.3　数据质量管控　//123
5.3.1　数据质量管控目标　//123
5.3.2　数据质量子系统架构　//124
5.4　如何建立数据质量管理制度　//129
5.4.1　数据质量分工管理流程　//129
5.4.2　及时监控和告警　//136
5.5 　数据质量管控产品的客户体验　//139
5.5.1　降低技术门槛　//139
5.5.2　产品的手机App化　//140
5.6　小结　//141
第6章　大数据如何带来大分析　//143
6.1　没有应用的数据是垃圾数据　//145
6.1.1　应用的广度　//145
6.1.2　应用的深度　//145
6.1.3　应用的实时性/融合性　//146
6.2　大分析（BA）的概念　//147
6.2.1　“大分析”的发展变化　//147
6.2.2　大分析的“群众路线”　//150
6.3　大分析（BA）的产品开发　//151
6.3.1　基于数据分析，解决实际问题　//152
6.3.2　BA产品和分析工具产品的区隔　//154
6.3.3　自助分析　//158
6.3.4　导航式分析　//161
6.4　应用推广问题　//170
6.4.1　市场的“冬天”就是大分析的“春天”　//170
6.4.2　为何需要应用推广　//170
6.4.3　如何证明分析的独特价值　//171
6.4.4　如何解决员工实际的问题　//172
6.4.5　电信和互联网行业应用推广对比　//172
6.4.6　不同的企业用不同的推广方法　//172
6.5　大分析的“闭环”问题　//173
6.5.1　分析和执行的闭环执行　//173
6.5.2　营销流程的设计—营销管理平台　//173
6.6　小结　//176
第7章　大分析应用案例　//179
7.1　大分析的应用阶段　//180
7.2　非结构化数据的分析　//181
7.2.1　客户投诉内容分析　//181
7.2.2　互联网舆情监控分析　//183
7.3　客户分析　//184
7.3.1　客户生命周期　//184
7.3.2　客户内容属性　//197
7.3.3　客户行为属性　//203
7.3.4　客户新业务分析　//218
7.3.5　客户满意度分析　//220
7.3.6　客户流失分析　//223
7.4　产品分析　//234
7.4.1　建设背景和目的　//235
7.4.2　整体流程　//235
7.4.3　建设中涉及的模型　//235
7.5　内容营销分析　//240
7.5.1　手机视频产品营销触发　//240
7.5.2　手机视频内容分析　//240
7.5.3　目标客户筛选和细分　//240
7.5.4　方案设计　//241
7.5.5　营销脚本设计　//242
7.5.6　营销方式选择　//243
7.5.7　营销方式使用效果　//243
7.5.8　效益评估　//244
7.6　网格化管理分析　//245
7.7　社会渠道欺诈分析　//247
7.7.1　概述　//247
7.7.2　模型方法　//248
7.7.3　模型定义　//250
7.7.4　业务应用　//255
7.7.5　优化方法　//256
第8章　大数据中的互联网思维　//257
8.1　互联网思维介绍　//258
8.1.1　九大特征　//258
8.1.2　大数据为何需要互联网思维　//260
8.1.3　大数据如何借助互联网思维　//260
8.2　BA产品定义　//260
8.3　BA产品的客户体验　//263
8.3.1　客户是谁　//263
8.3.2　客户的体验是什么　//264
8.3.3　提升客户体验的展示形式　//266
8.3.4　提升客户体验的解决问题能力　//270
8.4　BA产品迭代开发 　//280
8.4.1　如何构建共享方式　//280
8.4.2　提供API接口　//282
8.4.3　提供类似App Store开发环境　//284
8.5　BA产品的“客户入口”把控　//286
8.5.1　抓住客户的入口　//286
8.5.2　让客户参与BA产品开发　//287
8.5.3　BA产品的内部客户营销　//287
第9章　大数据的管理架构及探索　//289
9.1　BA产品生态圈的建设　//290
9.1.1　生态圈组成　//290
9.1.2　生态圈盈利模式　//292
9.1.3　生态圈的“共赢”　//293
9.2　管理架构举例　//294
9.2.1　互联网企业架构　//294
9.2.2　运营公司的架构　//295
9.2.3　架构的特点分析　//295
9.3　人才的培养　//296
9.3.1　知识结构要求　//296
9.3.2　交际（团队）能力要求　//297
9.3.3　耐压能力要求　//297
9.4 　团队的构建及激励　//298
9.4.1　技术人员转型业务人员　//298
9.4.2　业务经验的培养和积累　//298
9.4.3　待遇激励　//298
第10章　后记　//299