Python机器学习：数据建模与分析

目录

前言

第1章 机器学习概述1
1.1 机器学习的发展：人工智能中的
机器学习1
1.1.1 符号主义人工智能1
1.1.2 基于机器学习的人工智能2
1.2 机器学习的核心：数据和数据建模4
1.2.1 机器学习的学习对象：数据集4
1.2.2 机器学习的任务：数据建模6
1.3 机器学习的典型应用11
1.3.1 机器学习的典型行业应用11
1.3.2 机器学习在客户细分中的应用12
1.3.3 机器学习在客户流失分析中的
应用13
1.3.4 机器学习在营销响应分析中的
应用14
1.3.5 机器学习在交叉销售中的应用15
1.3.6 机器学习在欺诈甄别中的应用16
【本章总结】16
【本章习题】17
第2章 Python机器学习基础18
2.1 Python：机器学习的首选工具18
2.2 Python的集成开发环境：
Anaconda19
2.2.1 Anaconda的简介19
2.2.2 Anaconda Prompt的使用20
2.2.3 Spyder的使用22
2.2.4 Jupyter Notebook的使用23
2.3 Python第三方包的引用24
2.4 NumPy使用示例24
2.4.1 NumPy数组的创建和访问25
2.4.2 NumPy的计算功能26
2.5 Pandas使用示例29
2.5.1 Pandas的序列和索引29
2.5.2 Pandas的数据框30
2.5.3 Pandas的数据加工处理31
2.6 NumPy和Pandas的综合应用：空气质量监测数据的预处理和基本分析32
2.6.1 空气质量监测数据的预处理32
2.6.2 空气质量监测数据的基本分析34
2.7 Matplotlib的综合应用：空气质量监测数据的图形化展示36
2.7.1 AQI的时序变化特点37
2.7.2 AQI的分布特征及相关性分析38
2.7.3 优化空气质量状况的统计图形40
【本章总结】41
【本章相关函数】41
【本章习题】47
第3章 数据预测与预测建模49
3.1 数据预测的基本概念49
3.2 预测建模50
3.2.1 什么是预测模型50
3.2.2 预测模型的几何理解53
3.2.3 预测模型参数估计的基本策略56
3.3 预测模型的评价59
3.3.1 模型误差的评价指标60
3.3.2 模型的图形化评价工具62
3.3.3 泛化误差的估计方法64
3.3.4 数据集的划分策略67
3.4 预测模型的选择问题69
3.4.1 模型选择的基本原则69
3.4.2 模型过拟合69
3.4.3 预测模型的偏差和方差71
3.5 Python建模实现73
3.5.1 ROC和P-R曲线图的实现74
3.5.2 模型复杂度与误差的模拟研究75
3.5.3 数据集划分和测试误差估计的实现79
3.5.4 模型过拟合以及偏差与方差的
模拟研究82
3.6 Python实践案例86
3.6.1 实践案例1：PM2.5浓度的
回归预测86
3.6.2 实践案例2：空气污染的分类预测87
【本章总结】91
【本章相关函数】91
【本章习题】91
第4章 数据预测建模：贝叶斯分类器93
4.1 贝叶斯概率和贝叶斯法则93
4.1.1 贝叶斯概率93
4.1.2 贝叶斯法则94
4.2 贝叶斯和朴素贝叶斯分类器94
4.2.1 贝叶斯和朴素贝叶斯分类器的
一般内容94
4.2.2 贝叶斯分类器的先验分布96
4.3 贝叶斯分类器的分类边界99
4.4 Python建模实现100
4.4.1 不同参数下的贝塔分布101
4.4.2 贝叶斯分类器和Logistic回归
分类边界的对比101
4.5 Python实践案例103
4.5.1 实践案例1：空气污染的分类
预测103
4.5.2 实践案例2：法律裁判文书中的
案情要素分类105
【本章总结】110
【本章相关函数】111
【本章习题】111
第5章 数据预测建模：近邻分析112
5.1 近邻分析：K-近邻法112
5.1.1 距离：K-近邻法的近邻度量113
5.1.2 参数K：1-近邻法还是K-近邻法114
5.1.3 与朴素贝叶斯分类器和Logistic
回归模型的对比117
5.2 基于观测相似性的加权K-近邻法117
5.2.1 加权K-近邻法的权重117
5.2.2 加权K-近邻法的预测119
5.2.3 加权K-近邻法的分类边界119
5.3 K-近邻法的适用性120
5.4 Python建模实现122
5.4.1 不同参数K下的分类边界122
5.4.2 不同核函数的特点123
5.4.3 不同加权方式和K下的分类边界124
5.5 Python实践案例125
5.5.1 实践案例1：空气质量等级的
预测125
5.5.2 实践案例2：国产电视剧的大众
评分预测127
【本章总结】129
【本章相关函数】129
【本章习题】130
第6章 数据预测建模：决策树131
6.1 决策树概述131
6.1.1 什么是决策树131
6.1.2 分类树的分类边界133
6.1.3 回归树的回归平面134
6.1.4 决策树的生长和剪枝135
6.2 CART的生长139
6.2.1 CART中分类树的异质性度量139
6.2.2 CART中回归树的异质性度量140
6.3 CART的后剪枝141
6.3.1 代价复杂度和最小代价复杂度141
6.3.2 CART的后剪枝过程142
6.4 Python建模实现143
6.4.1 回归树的非线性回归特点144
6.4.2 树深度对分类边界的影响145
6.4.3 基尼系数和熵的计算146
6.5 Python实践案例147
6.5.1 实践案例1：空气污染的预测
建模147
6.5.2 实践案例2：医疗大数据应用—
药物适用性研究151
【本章总结】154
【本章相关函数】155
【本章习题】155
第7章 数据预测建模：集成学习156
7.1 集成学习概述157
7.1.1 高方差问题的解决途径157
7.1.2 从弱模型到强模型的构建157
7.2 基于重抽样自举法的集成学习158
7.2.1 重抽样自举法158
7.2.2 袋装法158
7.2.3 随机森林161
7.3 从弱模型到强模型的构建163
7.3.1 提升法164
7.3.2 AdaBoost.M1算法165
7.3.3 SAMME算法和SAMME.R
算法170
7.3.4 回归预测中的提升法172
7.4 梯度提升树174
7.4.1 梯度提升算法174
7.4.2 梯度提升回归树178
7.4.3 梯度提升分类树179
7.5 XGBoost算法181
7.5.1 XGBoost的目标函数181
7.5.2 目标函数的近似表达182
7.5.3 决策树的求解183
7.6 Python建模实现185
7.6.1 单棵决策树、弱模型和提升法的
预测对比186
7.6.2 提升法中高权重样本观测的特点187
7.6.3 AdaBoost回归预测中损失函数的
选择问题189
7.6.4 梯度提升算法和AdaBoost的
预测对比189
7.7 Python实践案例191
7.7.1 实践案例1：PM2.5浓度的
回归预测191
7.7.2 实践案例2：空气质量等级的
分类预测195
【本章总结】197
【本章相关函数】197
【本章习题】198
第8章 数据预测建模：人工神经网络200
8.1 人工神经网络的基本概念201
8.1.1 人工神经网络的基本构成201
8.1.2 人工神经网络节点的功能202
8.2 感知机网络203
8.2.1 感知机网络中的节点203
8.2.2 感知机节点中的加法器204
8.2.3 感知机节点中的激活函数205
8.2.4 感知机的权重训练208
8.3 多层感知机及B-P反向传播算法213
8.3.1 多层网络的结构213
8.3.2 多层网络的隐藏节点214
8.3.3 B-P反向传播算法216
8.3.4 多层网络的其他问题218
8.4 Python建模实现220
8.4.1 不同激活函数的特点220
8.4.2 隐藏节点的作用222
8.5 Python实践案例223
8.5.1 实践案例1：手写体邮政编码的
识别223
8.5.2 实践案例2：PM2.5浓度的回归
预测225
【本章总结】227
【本章相关函数】227
【本章习题】227
第9章 数据预测建模：支持向量机229
9.1 支持向量分类概述229
9.1.1 支持向量分类的基本思路229
9.1.2 支持向量分类的几种情况232
9.2 完全线性可分下的支持向量分类233
9.2.1 如何求解超平面233
9.2.2 参数求解的拉格朗日乘子法235
9.2.3 支持向量分类的预测238
9.3 广义线性可分下的支持向量分类238
9.3.1 广义线性可分下的超平面239
9.3.2 广义线性可分下的错误惩罚和
目标函数240
9.3.3 广义线性可分下的超平面参数
求解241
9.4 线性不可分下的支持向量分类242
9.4.1 线性不可分问题的一般解决方式242
9.4.2 支持向量分类克服维灾难的途径244
9.5 支持向量回归247
9.5.1 支持向量回归的基本思路247
9.5.2 支持向量回归的目标函数和
约束条件249
9.6 Python建模实现252
9.6.1 支持向量机分类的意义252
9.6.2 完全线性可分下的最大边界超
平面254
9.6.3 不同惩罚参数C下的最大边界
超平面255
9.6.4 非线性可分下的空间变化255
9.6.5 不同惩罚参数C和核函数下的
分类曲面257
9.6.6 不同惩罚参数C和? 对支持
向量回归的影响257
9.7 Python实践案例258
9.7.1 实践案例1：物联网健康大数据
应用——老年人危险体位预警259
9.7.2 实践案例2：汽车油耗的回归
预测263
【本章总结】266
【本章相关函数】266
【本章习题】266
第10章 特征选择：过滤、包裹和
嵌入策略267
10.1 特征选择概述267
10.2 过滤式策略下的特征选择268
10.2.1 低方差过滤法269
10.2.2 高相关过滤法中的方差分析270
10.2.3 高相关过滤法中的卡方检验274
10.2.4 其他高相关过滤法276
10.3 包裹式策略下的特征选择278
10.3.1 包裹式策略的基本思路278
10.3.2 递归式特征剔除法279
10.3.3 基于交叉验证的递归式特征
剔除法280
10.4 嵌入式策略下的特征选择281
10.4.1 岭回归和Lasso回归281
10.4.2 弹性网回归285
10.5 Python建模实现288
10.5.1 高相关过滤法中的F分布和卡方
分布289
10.5.2 不同L2范数率下弹性网回归的
约束条件特征290
10.6 Python实践案例290
10.6.1 实践案例1：手写体邮政编码数据的
特征选择——基于过滤式策略291
10.6.2 实践案例2：手写体邮政编码数据的
特征选择——基于包裹式策略293
10.6.3 实践案例3：手写体邮政编码数据的
特征选择——基于嵌入式策略294
【本章总结】298
【本章相关函数】298
【本章习题】299
第11章 特征提取：空间变换策略300
11.1 特征提取概述300
11.2 主成分分析301
11.2.1 主成分分析的基本出发点302
11.2.2 主成分分析的基本原理303
11.2.3 确定主成分305
11.3 矩阵的奇异值分解307
11.3.1 奇异值分解的基本思路307
11.3.2 基于奇异值分解的特征提取308
11.4 核主成分分析309
11.4.1 核主成分分析的出发点309
11.4.2 核主成分分析的基本原理311
11.4.3 核主成分分析中的核函数312
11.5 因子分析315
11.5.1 因子分析的基本出发点315
11.5.2 因子分析的基本原理316
11.5.3 因子载荷矩阵的求解318
11.5.4 因子得分的计算319
11.5.5 因子分析的其他问题320
11.6 Python建模实现323
11.6.1 主成分分析的空间变换323
11.6.2 核主成分分析的空间变换324
11.6.3 因子分析的计算过程