统计分析：从小数据到大数据

目录
第1 部分　数据分析准备
第1 章　从业务到统计
1.1　业务需求从哪来 / 002
1.1.1　学习业务的最快途径：阅读运营报告 / 002
1.1.2　当务之急：研究痛点 / 004
1.1.3　数据分析之锚：未来战略方向 / 005
1.1.4　对数据分析“小白”的有益建议 / 005
1.2　从小数据到大数据：数据体量与信息分布 / 008
1.2.1　实验室：理论验证 / 009
1.2.2　问卷：理论验证+ 探索 / 011
1.2.3　数据库：业务验证+ 探索 / 012
1.2.4　数据信息与统计模型 / 013
1.2.5　算法应用：是否跨界 / 015
1.2.6　算法特征：角色 / 016
1.3　数据分析流程的启示 / 019
1.3.1　假设：验证与归因 / 021
1.3.2　小概率：黑天鹅的不确定 / 025
1.3.3　抽样技术：经济是根本 / 026
1.3.4　选择模型：方法论 / 028
1.3.5　显著性判断：可证伪 / 029

第2 章　变量角色与描述
2.1　如何描述变量 / 032
2.1.1　分类变量与连续变量的分界线 / 032
2.1.2　分类变量及可视化 / 033
2.1.3　连续变量及可视化 / 037
2.2　因变量的测量 / 040
2.2.1　测量级别问题 / 040
2.2.2　是否存在测量误差 / 045
2.2.3　谁会成为“主角” / 047
2.2.4　y 的量化场景 / 050
2.3　自变量的选择 / 053
2.3.1　验证性：x 的选择 / 054
2.3.2　探索性：x 的选择 / 054

第3 章　数据预分析
3.1　填补缺失 / 056
3.1.1　描述缺失数据：行、列、单元格 / 056
3.1.2　缺失类型：随机性 / 060
3.1.3　小数据填补方案：精确性探讨 / 061
3.1.4　大数据填补方案：速度问题探讨 / 068
3.2　处理异常值 / 069
3.2.1　单变量与双变量异常 / 069
3.2.2　无监督异常：聚类分析 / 070
3.2.3　监督异常：回归残差分析 / 073
3.2.4　小数据与大数据如何看待异常值 / 076
3.3　消除共线性 / 080
3.3.1　共线性及其危害 / 081
3.3.2　小数据的方案：岭回归 / 082
3.3.3　大数据方案：项目合并与逐步回归 / 084
3.4　内生性问题 / 088
3.4.1　内生性及其危害 / 088
3.4.2　问题核心：特征选择 / 089
3.4.3　三驾马车之一：数据库的应对策略 / 094
3.5　变量变换技术 / 102
3.5.1　正态分布变换：对数变换 / 102
3.5.2　从0 到1：老板最喜欢的符号% / 104
3.5.3　强异常值：秩的应用 / 105
3.5.4　量纲：标准化变换 / 106
3.6　编码技术 / 107
3.6.1　为什么需要分箱化 / 107
3.6.2　分箱技术要义：数据拐点 / 111
3.7　避免过拟合 / 113
3.7.1　导致过拟合：行列问题 / 113
3.7.2　小数据为什么不谈过拟合 / 114
3.7.3　避免过拟合：方法学 / 115

第２部分　构建模型与修正技术
第4 章　线性回归与统计家族
4.1　差异性问题：方差分析 / 121
4.1.1　差异的来源：主效应 / 121
4.1.2　差异的来源：交互效应 / 128
4.1.3　交互性解释：交互效应图制作 / 129
4.2　结构性问题：回归分析 / 131
4.2.1　回归分析流程 / 131
4.2.2　相关的风向标作用：文氏图 / 135
4.2.3　偏相关的归因：中介和调节 / 137
4.2.4　回归系数解释：偏回归图 / 142
4.2.5　如何相信R2 / 149
4.2.6　以残差看假设 / 152
4.2.7　残差信息的有和无 / 158
4.2.8　小数据需求归纳：重结构轻预测 / 158
4.3　算法进化REG：小数据专家的努力 / 159
4.3.1　算法1.0：精确度+ 结构 / 160
4.3.2　算法2.0：精确度+ 结构与预测 / 163
4.3.3　算法3.0：速度+ 预测 / 164
4.3.4　算法4.0：加速度 / 167

第5 章　Logistic 回归与统计家族
5.1　预测性问题：Logistic 回归 / 168
5.1.1　卡方的风向标作用 / 169
5.1.2　不一样的R2：预测分类表 / 170
5.1.3　回归系数解释：or 值与rr 值 / 171
5.1.4　修正技术：是x 而不是y / 174
5.1.5　大数据需求归纳：轻结构重预测 / 177
5.2　算法进化Logistic：大数据与智能 / 178
5.2.1　算法1.0：稳定性+ 结构 / 178
5.2.2　算法2.0：稳定性+ 结构与预测 / 179
5.2.3　算法3.0：速度+ 预测 / 179
5.2.4　算法4.0：加速度 / 179
5.3　算法3.0 的榜样：神经网络 / 180
5.3.1　神经网络算法 / 180
5.3.2　DM 算法预分析 / 183
5.3.3　基于神经网络的常规应用 / 185

第6 章　降维技术
6.1　主成分回归与压缩技术 / 192
6.1.1　四驾马车：实验室、问卷、数据库、云 / 192
6.1.2　主成分算法：降维 / 192
6.1.3　主成分与因子：谁应该有名字？ / 194
6.1.4　主成分回归：“回归+ 回归”模式 / 196
6.2　对应分析：一个市场调查案例 / 197
6.2.1　案例背景介绍 / 197
6.2.2　模型预分析 / 199
6.2.3　构建模型：“广义”双标图 / 203
6.2.4　结论及营销 / 214

第３部分　模型应用与评估
第7 章　回归类模型应用
7.1　结构性问题：偏回归系数 / 216
7.1.1　单结构：偏的意义 / 216
7.1.2　整体结构：条件规则 / 217
7.2　预测性问题：估计值 / 217
7.2.1　老样本预测：内衍与市场细分 / 218
7.2.2　新样本预测：外推与潜在行为 / 219
7.3　模型优劣与模型评价 / 219
7.3.1　R2 变形记 / 219
7.3.2　图示R2：R2 图与ROC 曲线 / 221
7.4　模型优劣与业务评价 / 221
7.4.1　小数据的标准：R2 / 221
7.4.2　大数据的标准：老板 / 222

第8 章　数据分析报告
8.1　可视化图形制作 / 223
8.1.1　条形图与折线图 / 223
8.1.2　频数与分布 / 223
8.1.3　多变箱体图 / 224
8.1.4　散点图与气泡图 / 225
8.2　图形制作与格式 / 227
8.2.1　图形制作：绘图、颜色 / 227
8.2.2　图形模板制作与调用 / 229
8.3　表格制作与格式 / 230
8.3.1　表格制作：制表、格式 / 230
8.3.2　表格模板制作与调用 / 232
8.3.3　OMS 控制面板 / 234
附录A　数据集__