Python数据分析基础与案例实战

第 1章 绪论 1
1.1　了解交通大数据　1
1.1.1　交通大数据的背景　1
1.1.2　交通大数据的应用　4
1.2　认识数据分析　5
1.2.1　掌握数据分析的基本任务　6
1.2.2　熟悉数据分析的基本流程　6
1.3　了解常用的数据分析工具　8
1.4　配置Python开发环境　9
1.4.1　安装Anaconda　9
1.4.2　掌握Jupyter Notebook的使用方法　12
小结　14
课后习题　14
第　2章 Python数据分析简介　16
2.1　入门Python数据分析　16
2.1.1　了解基本命令　16
2.1.2　掌握数据结构　19
2.1.3　函数式编程　21
2.1.4　导入与添加库　23
2.2　了解Python数据分析常用扩展库　24
2.2.1　NumPy　25
2.2.2　SciPy　26
2.2.3　pandas　27
2.2.4　Matplotlib　28
2.2.5　scikit-learn　30
小结　31
课后习题　31
第3章　数据获取　32
3.1　了解常见的数据来源　32
3.2　了解交通信息的采集　33
3.2.1　交通信息的分类与特点　33
3.2.2　常见的交通信息采集技术　34
3.3　了解常见的数据类型　35
3.4　掌握数据的读取方式　37
3.4.1　读取数据库数据　37
3.4.2　读取文件数据　38
小结　40
课后习题　40
第4章　数据探索　41
4.1　分析数据质量　41
4.1.1　分析缺失值　41
4.1.2　分析异常值　42
4.2　分析数据特征　45
4.2.1　分析数据的统计量　45
4.2.2　分析数据的分布情况　48
4.2.3　对比分析数据　53
4.2.4　分析数据的周期性　56
4.2.5　分析数据的相关性　58
小结　61
课后习题　61
第5章　数据预处理　63
5.1　数据清洗　63
5.1.1　处理缺失值　63
5.1.2　处理异常值　66
5.2　数据变换　66
5.2.1　函数变换　66
5.2.2　数据标准化　67
5.2.3　离散化连续型数据　69
5.3　属性构造　72
5.4　属性规约　73
5.5　数据合并　76
5.5.1　多表合并　77
5.5.2　分组聚合数据　84
小结　92
课后习题　92
第6章　构建模型　94
6.1　构建分类与回归模型　94
6.1.1　常用的分类与回归算法　94
6.1.2　了解回归分析　95
6.1.3　了解朴素贝叶斯　99
6.1.4　了解决策树　101
6.1.5　了解人工神经网络　104
6.1.6　评价分类与回归模型　109
6.2　构建聚类模型　113
6.2.1　了解常用的聚类算法　113
6.2.2　了解K-Means聚类　114
6.2.3　了解密度聚类　120
6.2.4　聚类模型评价　124
6.3　构建时间序列模型　126
6.3.1　了解常用的时间序列模型　126
6.3.2　预处理时间序列　127
6.3.3　分析平稳时间序列　128
6.3.4　分析非平稳时间序列　131
小结　140
课后习题　140
第7章　运输车辆驾驶行为分析　142
7.1　分析背景与目标　142
7.1.1　背景　142
7.1.2　数据说明　143
7.1.3　分析目标　144
7.2　数据探索分析　145
7.2.1　分布分析　145
7.2.2　相关性分析　146
7.2.3　异常值检测　147
7.3　驾驶行为聚类分析　149
7.3.1　K-Means聚类　149
7.3.2　层次聚类　152
7.3.3　高斯混合模型聚类　153
7.3.4　谱聚类　154
7.4　构建驾驶行为预测模型　156
7.4.1　构建线性判别分析模型　156
7.4.2　构建朴素贝叶斯模型　157
7.4.3　构建神经网络模型　159
7.5　驾驶行为分析总结与建议　160
小结　160
课后习题　160
第8章　公交车站点设置优化分析　162
8.1　分析背景与目标　162
8.1.1　背景　163
8.1.2　数据说明　163
8.1.3　分析目标　164
8.2　探索公交刷卡数据　165
8.3　预处理公交车载GPS数据与刷卡数据　166
8.3.1　属性规约　166
8.3.2　缺失值处理　166
8.3.3　数据去重　167
8.4　构建DBSCAN模型　168
8.5　公交车站点设置优化分析　170
8.5.1　计算上车人数　170
8.5.2　计算下车人数　172
8.5.3　结果分析　176
小结　177
课后习题　177
第9章　铁路站点客流量预测　179
9.1　分析背景与目标　179
9.1.1　背景　179
9.1.2　数据说明　180
9.1.3　分析目标　180
9.2　预处理客流量数据　181
9.3　探索客流量数据　186
9.3.1　不同站点上下车客流量分布分析　186
9.3.2　不同时段上下车客流量分布分析　187
9.3.3　分析节假日客流量变化　189
9.4　构建模型并预测客流量　192
9.4.1　构建时间序列模型　192
9.4.2　预测非节假日客流量　195
9.4.3　预测节假日客流量　199
小结　206
课后习题　207
第　10章 基于TipDM大数据挖掘建模平台实现运输车辆驾驶行为分析　208
10.1　TipDM大数据挖掘建模平台简介　208
10.1.1　模型库　210
10.1.2　数据连接　210
10.1.3　我的数据　210
10.1.4　我的工程　211
10.1.5　系统算法　211
10.1.6　个人算法　213
10.2　实现运输车辆驾驶行为分析　214
10.2.1　数据源配置　214
10.2.2　数据探索分析　217
10.2.3　驾驶行为聚类分析　222
10.2.4　构建驾驶行为预测模型　230
小结　236






第　1章 绪论　1
1.1　了解交通大数据　1
1.1.1　交通大数据的背景　1
1.1.2　交通大数据的应用　4
1.2　认识数据分析　5
1.2.1　掌握数据分析的基本任务　6
1.2.2　熟悉数据分析的基本流程　6
1.3　了解常用的数据分析工具　8
1.4　配置Python开发环境　9
1.4.1　安装Anaconda　9
1.4.2　掌握Jupyter Notebook的使用方法　12
小结　14
课后习题　14
第　2章 Python数据分析简介　16
2.1　入门Python数据分析　16
2.1.1　了解基本命令　16
2.1.2　掌握数据结构　19
2.1.3　函数式编程　21
2.1.4　导入与添加库　23
2.2　了解Python数据分析常用扩展库　24
2.2.1　NumPy　25
2.2.2　SciPy　26
2.2.3　pandas　27
2.2.4　Matplotlib　28
2.2.5　scikit-learn　30
小结　31
课后习题　31
第3章　数据获取　32
3.1　了解常见的数据来源　32
3.2　了解交通信息的采集　33
3.2.1　交通信息的分类与特点　33
3.2.2　常见的交通信息采集技术　34
3.3　了解常见的数据类型　35
3.4　掌握数据的读取方式　37
3.4.1　读取数据库数据　37
3.4.2　读取文件数据　38
小结　40
课后习题　40
第4章　数据探索　41
4.1　分析数据质量　41
4.1.1　分析缺失值　41
4.1.2　分析异常值　42
4.2　分析数据特征　45
4.2.1　分析数据的统计量　45
4.2.2　分析数据的分布情况　48
4.2.3　对比分析数据　53
4.2.4　分析数据的周期性　56
4.2.5　分析数据的相关性　57
小结　60
课后习题　61
第5章　数据预处理　63
5.1　数据清洗　63
5.1.1　处理缺失值　63
5.1.2　处理异常值　66
5.2　数据变换　66
5.2.1　函数变换　66
5.2.2　数据标准化　67
5.2.3　离散化连续型数据　69
5.3　属性构造　72
5.4　属性规约　73
5.5　数据合并　76
5.5.1　多表合并　77
5.5.2　分组聚合数据　84
小结　92
课后习题　92
第6章　构建模型　94
6.1　构建分类与回归模型　94
6.1.1　常用的分类与回归算法　94
6.1.2　了解回归分析　95
6.1.3　了解朴素贝叶斯　99
6.1.4　了解决策树　101
6.1.5　了解人工神经网络　104
6.1.6　评价分类与回归模型　109
6.2　构建聚类模型　113
6.2.1　了解常用的聚类算法　113
6.2.2　了解K-Means聚类　114
6.2.3　了解密度聚类　120
6.2.4　聚类模型评价　124
6.3　构建时间序列模型　126
6.3.1　了解常用的时间序列模型　126
6.3.2　预处理时间序列　127
6.3.3　分析平稳时间序列　128
6.3.4　分析非平稳时间序列　131
小结　140
课后习题　140
第7章　运输车辆驾驶行为分析　142
7.1　分析背景与目标　142
7.1.1　背景　142
7.1.2　数据说明　143
7.1.3　分析目标　144
7.2　数据探索分析　145
7.2.1　分布分析　145
7.2.2　相关性分析　146
7.2.3　异常值检测　147
7.3　驾驶行为聚类分析　149
7.3.1　K-Means聚类　149
7.3.2　层次聚类　152
7.3.3　高斯混合模型聚类　153
7.3.4　谱聚类　154
7.4　构建驾驶行为预测模型　156
7.4.1　构建线性判别分析模型　156
7.4.2　构建朴素贝叶斯模型　157
7.4.3　构建神经网络模型　159
7.5　驾驶行为分析总结与建议　160
小结　160
课后习题　160
第8章　公交车站点设置优化分析　162
8.1　分析背景与目标　162
8.1.1　背景　163
8.1.2　数据说明　163
8.1.3　分析目标　164
8.2　探索公交刷卡数据　165
8.3　预处理公交车载GPS数据与刷卡数据　166
8.3.1　属性规约　166
8.3.2　缺失值处理　166
8.3.3　数据去重　167
8.4　构建DBSCAN模型　168
8.5　公交车站点设置优化分析　170
8.5.1　计算上车人数　170
8.5.2　计算下车人数　172
8.5.3　结果分析　176
小结　177
课后习题　177
第9章　铁路站点客流量预测　179
9.1　分析背景与目标　179
9.1.1　背景　179
9.1.2　数据说明　180
9.1.3　分析目标　180
9.2　预处理客流量数据　181
9.3　探索客流量数据　186
9.3.1　不同站点上下车客流量分布分析　186
9.3.2　不同时段上下车客流量分布分析　187
9.3.3　分析节假日客流量变化　189
9.4　构建模型并预测客流量　192
9.4.1　构建时间序列模型　192
9.4.2　预测非节假日客流量　195
9.4.3　预测节假日客流量　199
小结　206
课后习题　207
第　10章 基于TipDM大数据挖掘建模平台实现运输车辆驾驶行为分析　208
10.1　Tip DM大数据挖掘建模平台简介　208
10.1.1　模型库　210
10.1.2　数据连接　210
10.1.3　我的数据　210
10.1.4　我的工程　211
10.1.5　系统算法　211
10.1.6　个人算法　213
10.2　实现运输车辆驾驶行为分析　214
10.2.1　数据源配置　214
10.2.2　数据探索分析　217
10.2.3　驾驶行为聚类分析　222
10.2.4　构建驾驶行为预测模型　230
小结　236