Python数据分析与挖掘实战（第2版）

前言

基础篇

第1章　数据挖掘基础  2

1.1　某知名连锁餐饮企业的困惑  2

1.2　从餐饮服务到数据挖掘  4

1.3　数据挖掘的基本任务  5

1.4　数据挖掘建模过程  5

1.4.1　定义挖掘目标  6

1.4.2　数据取样  6

1.4.3　数据探索  7

1.4.4　数据预处理  8

1.4.5　挖掘建模  8

1.4.6　模型评价  8

1.5　常用数据挖掘建模工具  9

1.6　小结  11

第2章　Python数据分析简介  12

2.1　搭建Python开发平台  14

2.1.1　所要考虑的问题  14

2.1.2　基础平台的搭建  14

2.2　Python使用入门  16

2.2.1　运行方式  16

2.2.2　基本命令  17

2.2.3　数据结构  19

2.2.4　库的导入与添加  24

2.3　Python数据分析工具  26

2.3.1　NumPy  27

2.3.2　SciPy  28

2.3.3　Matplotlib  29

2.3.4　pandas  31

2.3.5　StatsModels  33

2.3.6　scikit-learn  33

2.3.7　Keras  34

2.3.8　Gensim  36

2.4　配套附件使用设置  37

2.5　小结  38

第3章　数据探索  39

3.1　数据质量分析  39

3.1.1　缺失值分析  40

3.1.2　异常值分析  40

3.1.3　一致性分析  44

3.2　数据特征分析  44

3.2.1　分布分析  44

3.2.2　对比分析  48

3.2.3　统计量分析  51

3.2.4　周期性分析  54

3.2.5　贡献度分析  55

3.2.6　相关性分析  58

3.3　Python主要数据探索函数  62

3.3.1　基本统计特征函数  62

3.3.2　拓展统计特征函数  66

3.3.3　统计绘图函数  67

3.4　小结  74

第4章　数据预处理  75

4.1　数据清洗  75

4.1.1　缺失值处理  75

4.1.2　异常值处理  80

4.2　数据集成  80

4.2.1　实体识别  81

4.2.2　冗余属性识别  81

4.2.3　数据变换  81

4.2.4　简单函数变换  81

4.2.5　规范化  82

4.2.6　连续属性离散化  84

4.2.7　属性构造  87

4.2.8　小波变换  88

4.3　数据归约  91

4.3.1　属性归约  91

4.3.2　数值归约  95

4.4　Python主要数据预处理函数  98

4.5　小结  101

第5章　挖掘建模  102

5.1　分类与预测  102

5.1.1　实现过程  103

5.1.2　常用的分类与预测算法  103

5.1.3　回归分析  104

5.1.4　决策树  108

5.1.5　人工神经网络  115

5.1.6　分类与预测算法评价  120

5.1.7　Python分类预测模型特点  125

5.2　聚类分析  125

5.2.1　常用聚类分析算法  126

5.2.2　K-Means聚类算法  127

5.2.3　聚类分析算法评价  132

5.2.4　Python主要聚类分析算法  133

5.3　关联规则  135

5.3.1　常用关联规则算法  136

5.3.2　Apriori算法  136

5.4　时序模式  142

5.4.1　时间序列算法  142

5.4.2　时间序列的预处理  143

5.4.3　平稳时间序列分析  145

5.4.4　非平稳时间序列分析  148

5.4.5　Python主要时序模式算法  156

5.5　离群点检测  159

5.5.1　离群点的成因及类型  160

5.5.2　离群点检测方法  160

5.5.3　基于模型的离群点检测方法  161

5.5.4　基于聚类的离群点检测方法  164

5.6　小结  167

实战篇

第6章　财政收入影响因素分析及预测  170

6.1　背景与挖掘目标  170

6.2　分析方法与过程  171

6.2.1　分析步骤与流程  172

6.2.2　数据探索分析  172

6.2.3　数据预处理  176

6.2.4　模型构建  178

6.3　上机实验  184

6.4　拓展思考  185

6.5　小结  186

第7章　航空公司客户价值分析  187

7.1　背景与挖掘目标  187

7.2　分析方法与过程  188

7.2.1　分析步骤与流程  189

7.2.2　数据探索分析  189

7.2.3　数据预处理  200

7.2.4　模型构建  207

7.2.5　模型应用  212

7.3　上机实验  214

7.4　拓展思考  215

7.5　小结  216

第8章　商品零售购物篮分析  217

8.1　背景与挖掘目标  217

8.2　分析方法与过程  218

8.2.1　数据探索分析  219

8.2.2　数据预处理  224

8.2.3　模型构建  226

8.3　上机实验  232

8.4　拓展思考  233

8.5　小结  233

第9章　基于水色图像的水质评价  234

9.1　背景与挖掘目标  234

9.2　分析方法与过程  235

9.2.1　分析步骤与流程  236

9.2.2　数据预处理  236

9.2.3　模型构建  240

9.2.4　水质评价  241

9.3　上机实验  242

9.4　拓展思考  242

9.5　小结  243

第10章　家用热水器用户行为分析与事件识别  244

10.1　背景与挖掘目标  244

10.2　分析方法与过程  245

10.2.1　数据探索分析  246

10.2.2　数据预处理  249

10.2.3　模型构建  260

10.2.4　模型检验  261

10.3　上机实验  262

10.4　拓展思考  264

10.5　小结  265

第11章　电子商务网站用户行为分析及服务推荐  266

11.1　背景与挖掘目标  266

11.2　分析方法与过程  267

11.2.1　分析步骤与流程  267

11.2.2　数据抽取  269

11.2.3　数据探索分析  270

11.2.4　数据预处理  279

11.2.5　构建智能推荐模型  283

11.3　上机实验  291

11.4　拓展思考  293

11.5　小结  293

第12章　电商产品评论数据情感分析  294

12.1　背景与挖掘目标  294

12.2　分析方法与过程  295

12.2.1　评论预处理  296

12.2.2　评论分词  297

12.2.3　构建模型  303

12.3　上机实验  315

12.4　拓展思考  316

12.5　小结  318

提高篇

第13章　基于Python引擎的开源数据挖掘建模平台（TipDM）  320

13.1　平台简介  321

13.1.1　模板  321

13.1.2　数据源  322

13.1.3　工程  323

13.1.4　系统组件  324

13.1.5　TipDM数据挖掘建模平台的本地化部署  326

13.2　快速构建数据挖掘工程  327

13.2.1　导入数据  329

13.2.2　配置输入源组件  331

13.2.3　配置缺失值处理组件  332

13.2.4　配置记录选择组件  334

13.2.5　配置数据标准化组件  334

13.2.6　配置K-Means组件  336

13.3　小结  339