Python数据分析从入门到实践（全彩版）

 
第1章  数据分析基础
1.1  什么是数据分析
1.2  数据分析的重要性
1.3  数据分析的基本流程
1.3.1  熟悉工具
1.3.2  明确目的
1.3.3  获取数据
1.3.4  数据处理
1.3.5  数据分析
1.3.6  验证结果
1.3.7  结果呈现
1.3.8  数据应用
1.4  数据分析的常用工具
1.4.1  Excel工具
1.4.2  Python语言
1.5  小结
温故知新
第2章  搭建Python数据分析环境
2.1  Python概述
2.1.1  Python简介
2.1.2  Python版本
2.2  搭建Python开发环境
2.2.1  什么是IDLE
2.2.2  安装Python
2.2.3  使用IDLE编写“hello world”
2.2.4  配置环境变量——解决“python不是
          内部/外部命令”问题
2.3  集成开发环境PyCharm
2.3.1  下载PyCharm
2.3.2  安装PyCharm
2.3.3  运行PyCharm
2.3.4  创建工程目录
2.3.5  个Python程序“hello world”
2.4  数据分析的标准环境Anaconda
2.4.1  为什么需要安装Anaconda
2.4.2  下载Anaconda
2.4.3  安装Anaconda
2.5  文学式开发工具Jupyter Notebook
2.5.1  认识Jupyter Notebook
2.5.2  新建一个Jupyter Notebook文件
2.5.3  在Jupyter Notebook中编写
         “Hellor World”
2.6  科学计算工具IPython
2.6.1  安装IPython
2.6.2  运行IPython
2.6.3  在IPython中编写“Hello World”
2.6.4  Tab键自动搜索
2.6.5  内省（帮助）功能
2.6.6  IPython常用的魔法命令
2.6.7  直接执行Shell命令
2.7  小结
温故知新
第3章  Pandas入门
3.1  初识Pandas
3.1.1  Pandas概述
3.1.2  安装Pandas
3.1.3  牛刀小试——轻松导入Excel数据
快速示例01  导入英超射手榜数据............ 42
3.2  Series对象
3.2.1  图解Series对象
3.2.2  创建一个Series对象
快速示例02  为成绩表添加一列“物理”成绩... 44
3.2.3  手动设置Series索引快速示例03  手动设置索引 45
3.2.4  Series的索引
快速示例04  通过位置索引获取学生的物理成绩. 46
快速示例05  通过标签索引获取学生的物理成绩. 46
快速示例06  通过切片获取数据.............. 46
快速示例07  通过位置切片获取数据.......... 47
3.2.5  获取Series的索引和值快速示例08  获取物理成绩的索引和值   47
3.3  DataFrame对象
3.3.1  图解DataFrame对象
快速示例09  遍历DataFrame数据............ 48
3.3.2  创建一个DataFrame对象
快速示例10  通过二维数组创建成绩表........ 50
快速示例11  通过字典创建成绩表............ 50
3.3.3  DataFrame的重要属性和函数
3.4  导入外部数据
3.4.1  导入.xls或.xlsx文件
快速示例12  导入Excel文件................ 53
快速示例13  导入指定Sheet页的数据......... 54
快速示例14  指定行索引导入Excel数据....... 55
快速示例15  导入列数据................ 56
3.4.2  导入.csv文件快速示例16  导入.csv文件 58
3.4.3  导入.txt文本文件快速示例17  导入.txt文本文件    59
3.4.4  导入HTML网页
快速示例18  导入NBA球员的薪资数据......... 60
3.5  数据抽取
3.5.1  抽取一行数据
快速示例19  抽取一行考试成绩数据.......... 61
3.5.2  抽取多行数据
快速示例20  抽取多行考试成绩数据.......... 62
快速示例21  抽取连续几个学生的考试成绩..... 62
3.5.3  抽取指定列数据
快速示例22  抽取“语文”和“数学”的
                         考试成绩........... 63
快速示例23  抽取指定学科的考试成绩........ 64
3.5.4  抽取指定行列数据
快速示例24  抽取指定学科和指定学生的
                         考试成绩........... 64
3.5.5  按指定条件抽取数据
快速示例25  抽取指定学科和指定分数的数据... 65
3.6  数据的增加、修改和删除
3.6.1  增加数据
快速示例26  增加一列“物理”成绩.......... 66
快速示例27  使用loc属性增加一列“物理”成绩 67
快速示例28  在列的后面插入“物理”成绩. 67
快速示例29  在成绩表中增加一行数据........ 68
快速示例30  在原有数据中增加几名同学的考试
                          成绩.............. 68
3.6.2  修改数据
快速示例31  修改“数学”的列名............ 68
快速示例32  修改多个学科的列名............ 69
快速示例33  将行标题统一修改为数字编号..... 69
快速示例34  修改学生成绩数据.............. 69
3.6.3  删除数据
快速示例35  删除指定的学生成绩数据........ 70
快速示例36  删除符合条件的学生成绩数据..... 71
3.7  数据清洗
3.7.1  查看与处理缺失值
快速示例37  查看数据概况.................. 71
快速示例38  判断数据是否存在缺失值........ 72
快速示例39  将NaN填充为0................. 74
3.7.2  重复值处理
快速示例40  处理淘宝电商销售数据中的
                         重复数据........... 74
3.7.3  异常值的检测与处理
3.8  索引设置
3.8.1  索引的作用
3.8.2  重新设置索引
快速示例41  重新设置物理成绩的索引........ 77
快速示例42  向前和向后填充数据............ 77
快速示例43  创建成绩表并重新设置索引...... 78
3.8.3  设置某列为索引
快速示例44  设置“买家会员名”为行索引..... 78
3.8.4  数据清洗后重新设置连续的行索引快速示例45  删除数据后重新设置索引  80
3.9  数据排序与排名
3.9.1  数据排序
快速示例46  按“销量”进行降序排序........ 81
快速示例47  按照“图书名称”和“销量”降序
                          排序.............. 82
快速示例48  对分组统计数据进行排序........ 82
快速示例49  按行数据进行排序.............. 83
3.9.2  数据排名
快速示例50  对产品销量按顺序进行排名...... 84
快速示例51  对产品销量进行平均排名........ 84
3.10  小结
温故知新
第4章  Pandas进阶
4.1  数据计算
4.1.1  求和（sum函数）
快速示例01  计算“语文”“数学”“英语”的
                          总成绩............ 88
4.1.2  求均值（mean函数）
快速示例02  计算“语文”“数学”“英语”
                         各科的平均分....... 89
4.1.3  求值（max函数）快速示例03  计算“语文”“数学”“英语”
                         各科的分....... 90
4.1.4  求小值（min函数）快速示例04  计算“语文”“数学”“英语”
                         各科的分....... 91
4.1.5  求中位数（median函数）快速示例05  计算学生各科成绩的中位数（1）   92
快速示例06  计算学生各科成绩的中位数（2）.. 92
4.1.6  求众数（mode函数）
快速示例07  计算学生各科成绩的众数........ 93
4.1.7  求方差（var函数）
快速示例08  通过方差判断谁的物理成绩更稳定. 94
4.1.8  标准差（数据标准化std函数）快速示例09  计算各科成绩的标准差  95
4.1.9  求分位数（quantile函数）
快速示例10  通过分位数确定被淘汰的35%的学生 96
快速示例11  计算日期、时间和时间增量数据的
                          分位数............ 97
4.2  数据格式化
4.2.1  设置小数位数
快速示例12  四舍五入保留指定的小数位数..... 98
4.2.2  设置百分比
快速示例13  将指定数据格式化为百分比数据... 99
4.2.3  设置千位分隔符快速示例14  将金额格式化为带千位分隔符的
                          数据............. 100
4.3  数据分组统计
4.3.1  分组统计groupby函数
快速示例15  根据“一级分类”统计订单数据.. 101
快速示例16  根据“两级分类”统计订单数据.. 102
快速示例17  统计各编程语言的7天点击量.... 102
4.3.2  对分组数据进行迭代快速示例18  迭代“一级分类”的订单数据 103
快速示例19  迭代“两级分类”的订单数据.... 103
4.3.3  对分组的某列或多列使用聚合函数
        （agg函数）
快速示例20  对分组统计结果使用聚合函数.... 104
快速示例21  针对不同的列使用不同的聚合函数 104
快速示例22  通过自定义函数实现分组统计.... 104
4.3.4  通过字典和Series对象进行分组统计
快速示例23  通过字典分组统计“北上广”的
                          销量............. 105
快速示例24  通过Series对象分组统计“北上广”
                          销量............. 106
4.4  数据移位
快速示例25  统计学生英语周测成绩的升降情况 107
4.5  数据转换
4.5.1  一列数据转换为多列数据
快速示例26  分割“收货地址”数据中的
                        “省、市、区”..... 109
快速示例27  以逗号“，”分割多种商品数据.. 110
快速示例28  对元组数据进行分割........... 110
4.5.2  行列转换
快速示例29  对英语成绩表进行行列转换..... 111
快速示例30  使用unstack方法转换学生成绩表 112
快速示例31  使用pivot方法转换学生成绩表.. 113
4.5.3  DataFrame转换为字典
快速示例32  将Excel表的销售数据转换为字典 113
4.5.4  DataFrame转换为列表快速示例33  将电商数据转换为列表  114
4.5.5  DataFrame转换为元组
快速示例34  将Excel数据转换为元组........ 114
4.5.6  Excel转换为HTML网页格式快速示例35  将Excel订单数据转换为HTML格式  115
4.6  数据合并
4.6.1  数据合并（使用Merge方法）
快速示例36  合并学生的成绩表............. 117
快速示例37  通过索引列合并数据........... 117
快速示例38  对合并数据去重............... 118
快速示例39  根据共有列进行合并数据....... 118
快速示例40  合并数据并相互补全........... 119
4.6.2  数据合并（使用Concat方法）
4.7  数据导出
4.7.1  导出为.xlsx文件
快速示例41  将处理后的数据导出为Excel文件 123
4.7.2  导出为.csv文件
快速示例42  将处理后的数据导出为CSV文件.. 124
4.7.3  导出到多个Sheet页中快速示例43  导出Excel表中的多个Sheet页的
                          数据............. 125
4.8  日期数据处理
4.8.1  DataFrame的日期数据转换
快速示例44  将各种日期字符串转换为指定的
                         日期格式.......... 126
快速示例45  将一组数据组合为日期数据..... 127
4.8.2  dt对象的使用快速示例46  获取日期中的年、月、日、
                          星期数等......... 128
4.8.3  获取日期区间的数据
快速示例47  获取指定日期区间的订单数据.... 129
4.8.4  按不同时期统计并显示数据
快速示例48  从日期中获取不同的时期....... 131
4.9  时间序列
4.9.1  重采样（Resample方法）
快速示例49  将一分钟的时间序列转换为3分钟. 133
4.9.2  降采样处理快速示例50  按周统计销售数据 135
4.9.3  升采样处理
快速示例51  每6小时进行一次数据统计...... 135
4.9.4  时间序列数据汇总（ohlc函数）快速示例52  统计数据的open、high、low和
                         close值.......... 137
4.9.5  移动窗口数据计算（rolling函数）
快速示例53  创建淘宝的每日销量数据....... 138
快速示例54  使用rolling函数计算三天的均值 139
快速示例55  用当天的数据代表窗口数据..... 139
4.10  综合应用
案例1：Excel多表合并
案例2：分析股票行情数据
4.11  小结
温故知新
第5章  可视化数据分析图表
5.1  数据分析图表的作用
5.2  如何选择适合的图表类型
5.3  图表的基本组成
5.4  Matplotlib概述
5.4.1  Matplotlib简介
5.4.2  安装Matplotlib
5.4.3  Matplotlib图表之初体验
快速示例01  绘制张图表............... 149
快速示例02  绘制散点图................... 150
5.5  图表的常用设置
5.5.1  基本绘图plot函数
快速示例03  绘制简单的折线图............. 151
快速示例04  绘制体温折线图............... 151
5.5.2  设置画布
快速示例05  自定义一个黄色画布........... 154
5.5.3  设置坐标轴
快速示例06  为体温折线图设置坐标轴标题.... 155
快速示例07  为折线图设置刻度（1）........ 156
快速示例08  为折线图设置刻度（2）........ 157
快速示例09  为折线图设置坐标轴范围....... 157
5.5.4  添加文本标签
快速示例10  为折线图添加“基础体温”
                         文本标签.......... 159
5.5.5  设置标题和图例
5.5.6  添加注释
快速示例11  为图表添加注释............... 162
5.5.7  调整图表与画布边缘间距
5.5.8  其他设置
5.6  常用图表的绘制
5.6.1  绘制折线图
快速示例12  绘制学生的语、数、外的各科成绩
                         分析图............ 165
5.6.2  绘制柱形图
快速示例13  使用5行代码绘制简单的柱形图... 166
快速示例14  绘制2013~2019年线上图书销售额
                         分析图............ 167
快速示例15  绘制各平台的图书销售额分析图.. 168
5.6.3  绘制直方图
快速示例16  绘制简单的直方图............. 170
快速示例17  使用直方图分析学生数学成绩的
                         分布情况.......... 170
5.6.4  绘制饼形图
快速示例18  绘制简单的饼形图............. 172
快速示例19  绘制饼形图分析各省销量的占比
                         情况.............. 173
快速示例20  绘制分裂饼形图............... 174
快速示例21  绘制环形图分析各省销量的占比
                         情况.............. 175
快速示例22  使用内嵌环形图分析各省销量的
                         占比情况.......... 175
5.6.5  绘制散点图
快速示例23  绘制简单的散点图............. 177
快速示例24  散点图分析销售收入与广告费的
                         相关性............ 177
5.6.6  绘制面积图
快速示例25  绘制简单的面积图............. 178
快速示例26  绘制标准面积图分析线上图书的
                         销售情况.......... 179
快速示例27  堆叠面积图分析各平台图书的
                         销售情况.......... 180
5.6.7  绘制热力图
快速示例28  绘制简单的热力图............. 180
快速示例29  使用热力图对比分析学生各科成绩 181
5.6.8  绘制箱形图
快速示例30  绘制简单的箱形图............. 183
快速示例31  绘制多组数据的箱形图......... 183
快速示例32  通过箱形图判断异常值......... 184
5.6.9  绘制3D图表
快速示例33  绘制3D柱形图................. 186
快速示例34  绘制3D曲面图................. 186
5.6.10  绘制多个子图表
快速示例35  使用subplot函数绘制多子图的
                          空图表........... 188
快速示例36  绘制包含多个子图的图表....... 189
快速示例37  使用subplots函数绘制多子图的
                         空图表............ 190
快速示例38  使用subplots函数绘制多子图图表 191
快速示例39  使用add_subplot函数绘制多子图
                          图表............. 192
5.6.11  图表的保存
5.7  Seaborn图表
5.7.1  Seaborn图表概述
5.7.2  Seaborn图表之初体验
快速示例40  绘制简单的柱形图............. 194
5.7.3  Seaborn图表的基本设置
5.7.4  常用图表的绘制
快速示例41  绘制学生语文成绩折线图（1）... 197
快速示例42  绘制学生语文成绩折线图（2）... 197
快速示例43  多折线图分析学生的各科成绩.... 198
快速示例44  绘制简单的直方图............. 198
快速示例45  多条形图分析学生的各科成绩.... 199
快速示例46  绘制散点图分析“小费”....... 200
快速示例47  使用线性回归图表分析“小费”.. 202
快速示例48  绘制箱形图分析“小费”中的
                         异常数据.......... 202
快速示例49  绘制核密度图分析“鸢尾花”.... 203
快速示例50  绘制提琴图分析“小费”....... 204
5.8  综合应用
案例1：双Y轴可视化数据分析图表的实现
案例2：堆叠柱形图可视化数据分析图表的实现
案例3：颜色渐变饼形图的实现
案例4：等高线图的实现
案例5：统计双色球中奖数字热力图
5.9  小结
温故知新
第6章  图解数组计算模块Numpy
6.1  初识NumPy
6.1.1  NumPy概述
6.1.2  安装NumPy模块
6.1.3  数组的相关概念
6.2  创建数组
6.2.1  创建简单的数组
快速示例01  演示如何创建数组............. 217
快速示例02  为数组指定数据类型........... 217
快速示例03  复制数组.................... 218
快速示例04  修改数组的维数............... 218
6.2.2  不同方式创建数组
快速示例05  创建指定维度和未初始化的数组.. 219
快速示例06  创建指定维度（以0填充）的数组. 219
快速示例07  创建指定维度并以1填充的数组... 219
快速示例08  创建以指定值填充的数组....... 220
6.2.3  从数值范围创建数组
快速示例09  通过数值范围创建数组......... 220
快速示例10  创建马拉松赛前训练的等差数列
                          数组............. 221
快速示例11  通过logspace函数解决棋盘放置
                         小麦的问题........ 222
6.2.4  生成随机数组
快速示例12  随机生成0到1之间的数组....... 224
快速示例13  随机生成满足正态分布的数组.... 224
快速示例14  生成一定范围内的随机数组..... 225
快速示例15  生成正态分布的随机数组....... 226
6.2.5  从已有的数组中创建数组
快速示例16  使用asarray函数创建数组...... 226
快速示例17  将字符串“mingrisoft”转换为数组 227
快速示例18  通过可迭代对象创建数组....... 228
快速示例19  创建未初始化的数组........... 228
快速示例20  创建以0填充的数组............ 228
快速示例21  创建以1填充的数组............ 229
快速示例22  创建以指定值“0.2”填充的数组. 229
6.3  数组的基本操作
6.3.1  数组的数据类型
6.3.2  数组运算
快速示例23  实现数组加法运算............. 232
快速示例24  实现数组的减法和乘、除法运算.. 233
快速示例25  实现数组的幂运算............. 233
快速示例26  实现数组的比较运算........... 233
快速示例27  实现数组的标量运算........... 234
6.3.3  数组的索引和切片
快速示例28  获取一维数组中的元素......... 235
快速示例29  获取二维数组中的元素......... 235
快速示例30  实现简单的数组切片式操作..... 235
快速示例31  常用的切片式索引操作......... 236
快速示例32  二维数组的简单索引操作....... 237
快速示例33  二维数组的切片式操作......... 238
6.3.4  数组重塑
快速示例34  将一维数组重塑为二维数组..... 239
快速示例35  将一行古诗转换为4行5列的
                          二维数组......... 239
快速示例36  将2行3列的数组重塑为3行2列的
                          数组............. 240
快速示例37  将二维数组中的行列转置....... 240
快速示例38  转换客户销售数据............. 241
6.3.5  数组的增、删、改、查
快速示例39  为数组增加数据............... 242
快速示例40  删除指定的数组............... 242
快速示例41  修改指定的数组............... 243
快速示例42  按指定条件查询数组........... 244
6.4  NumPy矩阵的基本操作
6.4.1  创建矩阵
快速示例43  创建简单的矩阵............... 245
快速示例44  使用mat函数创建常见的矩阵.... 246
6.4.2  矩阵运算
快速示例45  实现矩阵的加法运算........... 248
快速示例46  矩阵减法、乘法和除法运算..... 248
快速示例47  修改矩阵并进行乘法运算....... 249
快速示例48  比较数组相乘与数组点乘....... 249
快速示例49  实现矩阵元素之间的相乘运算.... 250
6.4.3  矩阵转换
快速示例50  使用T属性实现矩阵转置........ 250
快速示例51  实现矩阵逆运算............... 251
6.5  NumPy常用统计分析函数
6.5.1  数学运算函数
快速示例52  实现数组加、减、乘、除运算.... 252
快速示例53  计算数组元素的倒数........... 253
快速示例54  实现数组元素的幂运算......... 253
快速示例55  对数组元素进行取余........... 253
快速示例56  将数组中的一组数字进行四舍五入 254
快速示例57  对数组元素进行向上取整....... 255
快速示例58  对数组元素进行向下取整....... 255
快速示例59  计算数组的正弦值、余弦值和
                         正切值............ 255
快速示例60  将弧度转换为角度............. 256
6.5.2  统计分析函数
快速示例61  对数组元素及按行列进行求和.... 257
快速示例62  对数组元素及按行列求平均值.... 258
快速示例63  对数组元素求值和小值.... 258
快速示例64  计算电商各个活动中销售的加权
                         平均价............ 259
快速示例65  计算电商活动价格的中位数..... 260
快速示例66  求数组的方差和标准差......... 260
6.5.3  数组的排序
快速示例67  对数组元素按行和列排序....... 261
快速示例68  对数组元素升序排序........... 261
快速示例69  通过排序解决成绩相同学生的
                         录取问题.......... 262
6.6  综合应用
案例1：NumPy实现正态分布
案例2：NumPy用于图像灰度处理
6.7  小结
温故知新
第7章  数据统计分析案例
7.1  对比分析
概述：什么是对比分析
案例：对比分析各品牌销量表现TOP10
7.2  同比、定比和环比分析
概述：什么是同比、定比和环比
案例1：电商单品销量同比增长情况分析
案例2：单品销量定比分析
案例3：单品销量环比增长情况分析
7.3  贡献度分析（帕累托法则）
概述：什么是贡献度分析
案例：产品贡献度分析
7.4  差异化分析
概述：什么是差异化
案例：学生成绩性别差异分析
7.5  相关性分析
概述：什么是相关性
案例：广告展现量与费用成本相关性分析
7.6  时间序列分析
概述：什么是时间序列
案例：年增长趋势和季节性波动分析
7.7  小结
温故知新
第8章  机器学习Scikit-Learn
8.1  Scikit-Learn简介
8.2  安装Scikit-Learn
8.3  线性模型
8.3.1  小二乘法回归
快速示例01  智能预测房价................. 286
8.3.2  岭回归
快速示例02  使用岭回归函数实现智能预测房价 287
8.4  支持向量机快速示例03  预测“波士顿”的房价   289
8.5  聚类
8.5.1  什么是聚类
8.5.2  聚类算法
8.5.3  聚类模块
快速示例04  对一组数据聚类............... 292
8.5.4  聚类数据生成器
快速示例05  生成用于聚类的测试数据....... 293
8.6  小结
温故知新
 
第9章  网站App平台注册用户分析
                 （MySQL版）
9.1  概述
9.2  项目效果预览
9.3  项目准备
9.4  导入MySQL数据
9.4.1  MySQL数据的导入
9.4.2  Python连接MySQL数据库
9.5  项目实现过程
9.5.1  数据准备
9.5.2  数据检测
9.5.3  年度注册用户分析
9.5.4  新注册用户分析
9.6  小结
温故知新
第10章  电商销售数据分析与
                   预测
10.1  概述
10.2  项目效果预览
10.3  项目准备
10.4  分析方法
10.5  项目实现过程
10.5.1  数据处理
10.5.2  日期数据统计并显示
10.5.3  销售收入分析
10.5.4  销售收入与广告费相关性分析
10.5.5  销售收入预测
10.5.6  预测评分
10.6  小结
温故知新
 
第11章  二手房房价分析与预测
                           系统
11.1  概述
11.2  项目效果预览
11.3  项目准备
11.4  图表工具模块
11.4.1  绘制饼形图
11.4.2  绘制折线图
11.4.3  绘制条形图
11.5  项目实现过程
11.5.1  数据清洗
11.5.2  区域二手房均价分析
11.5.3  区域二手房数据及占比分析
11.5.4  全市二手房装修程度分析
11.5.5  热门户型均价分析
11.5.6  二手房房价预测
11.6  小结
温故知新
 
第12章  Python实现客户价值分析
12.1  概述
12.2  项目效果预览
12.3  项目准备
12.4  分析方法
12.4.1  RFM模型
12.4.2  聚类
12.5  项目实现过程
12.5.1  准备工作
12.5.2  数据抽取
12.5.3  数据探索分析
12.5.4  计算RFM值
12.5.5  数据转换
12.5.6  客户聚类
12.5.7  标记客户类别
12.6  客户价值结果分析
12.7  小结
温故知新
附录：PyCharm常用快捷键