大数据分析：理论、方法及应用

译者序
前言
第1章　什么是数据科学1
1.1　计算机科学、数据科学和真正的科学1
1.2　从数据中提出有趣的问题3
1.2.1　棒球百科全书3
1.2.2　互联网电影数据库6
1.2.3　Google Ngrams7
1.2.4　纽约出租车记录9
1.3　数据的属性11
1.3.1　结构化与非结构化数据11
1.3.2　定量数据与类别数据11
1.3.3　大数据与小数据12
1.4　分类与回归12
1.5　关于数据科学的电视节目：The Quant Shop13
1.6　关于实战故事15
1.7　实战故事：回答正确的问题16
1.8　章节注释17
1.9　练习17
第2章　数学基础20
2.1　概率20
2.1.1　概率与统计21
2.1.2　复合事件与独立事件22
2.1.3　条件概率23
2.1.4　概率分布23
2.2　描述性统计25
2.2.1　中心性度量25
2.2.2　变异性度量26
2.2.3　解释方差27
2.2.4　描述分布29
2.3　相关性分析29
2.3.1　相关系数：皮尔逊和斯皮尔曼秩30
2.3.2　相关的强弱与显著性31
2.3.3　相关性并不意味着因果关系33
2.3.4　用自相关检测周期性34
2.4　对数35
2.4.1　对数与乘法概率35
2.4.2　对数和比率35
2.4.3　对数与正规化偏态分布36
2.5　实战故事：契合设计师基因37
2.6　章节注释39
2.7　练习39
第3章　数据整理42
3.1　数据科学语言42
3.1.1　notebook环境的重要性44
3.1.2　标准数据格式45
3.2　数据收集47
3.2.1　搜索47
3.2.2　爬取49
3.2.3　网络日志50
3.3　数据清洗50
3.3.1　错误与伪影51
3.3.2　数据兼容性52
3.3.3　处理缺失值56
3.3.4　离群值检测57
3.4　实战故事：打败市场58
3.5　众包59
3.5.1　一便士的实验59
3.5.2　什么时候有群体智慧60
3.5.3　聚合机制61
3.5.4　众包服务62
3.5.5　游戏化65
3.6　章节注释66
3.7　练习66
第4章　得分和排名69
4.1　体重指数70
4.2　开发评分系统72
4.2.1　黄金标准和代理72
4.2.2　排名与得分72
4.2.3　识别良好的评分函数74
4.3　Z得分和归一化75
4.4　高级排名技术76
4.4.1　Elo排名76
4.4.2　合并排名78
4.4.3　基于有向图的排名80
4.4.4　PageRank80
4.5　实战故事：Clyde的复仇81
4.6　阿罗不可能性定理83
4.7　实战故事：谁更大84
4.8　章节注释87
4.9　练习87
第5章　统计分析89
5.1　统计分布90
5.1.1　二项分布90
5.1.2　正态分布91
5.1.3　正态分布的含义93
5.1.4　泊松分布93
5.1.5　幂律分布95
5.2　从分布中采样97
5.3　统计显著性99
5.3.1　显著性的意义100
5.3.2　t检验：比较总体均值101
5.3.3　Kolmogorov-Smirnov检验102
5.3.4　Bonferroni校正104
5.3.5　错误发现率104
5.4　实战故事：发现青春之泉105
5.5　置换检验与p值106
5.5.1　产生随机排列108
5.5.2　迪马吉奥的连胜纪录109
5.6　贝叶斯定理110
5.7　章节注释111
5.8　练习111
第6章　数据可视化114
6.1　探索性数据分析115
6.1.1　面对新的数据集115
6.1.2　汇总统计量和Anscombe四重线117
6.1.3　可视化工具119
6.2　发展可视化美学119
6.2.1　最大化数据墨水比率120
6.2.2　最小化谎言因子121
6.2.3　最大限度地减少图表垃圾122
6.2.4　恰当的缩放和标注123
6.2.5　有效使用颜色和阴影124
6.2.6　重复的力量125
6.3　图表类型125
6.3.1　表格数据127
6.3.2　点状图和折线图128
6.3.3　散点图131
6.3.4　条形图和饼图133
6.3.5　直方图135
6.3.6　数据地图137
6.4　出色的可视化139
6.4.1　Marey的火车时刻表139
6.4.2　斯诺的霍乱地图140
6.4.3　纽约气象年141
6.5　读图141
6.5.1　模糊分布141
6.5.2　过度解释方差142
6.6　交互式可视化143
6.7　实战故事：TextMap144
6.8　章节注释146
6.9　练习146
第7章　数学模型149
7.1　建模哲学149
7.1.1　奥卡姆剃刀原理149
7.1.2　权衡偏差与方差150
7.1.3　Nate Silver会怎么做150
7.2　模型分类152
7.2.1　线性模型与非线性模型152
7.2.2　黑盒与描述性模型152
7.2.3　第一原理与数据驱动模型153
7.2.4　随机模型与确定性模型154
7.2.5　平面模型与分层模型155
7.3　基准模型155
7.3.1　分类的基准模型155
7.3.2　价值预测的基准模型156
7.4　评估模型157
7.4.1　评估分类器158
7.4.2　受试者工作特征曲线161
7.4.3　评估多类系统162
7.4.4　评估价值预测模型164
7.5　评估环境165
7.5.1　数据卫生评估167
7.5.2　放大小型评估集167
7.6　实战故事：100%准确169
7.7　模拟模型170
7.8　实战故事：经过计算的赌注170
7.9　章节注释1