Python数据分析从小白到专家

第1章 数据分析存在的意义 1
1.1 数据分析与Python 1
1.1.1 数据科学和数据分析的始末 1
1.1.2 为什么使用Python作为脚本 2
1.2 本书的主要内容 3
1.2.1 数据分析基础：NumPy、Pandas和Matplotlib库概述 3
1.2.2 数据处理：NumPy库简介 4
1.2.3 数据处理：Pandas库简介 4
1.2.4 图表绘制：Matplotlib库简介 5
1.2.5 中坚力量：Sklearn和Statsmodels库简介 5
第2章 开始前的准备 6
2.1 Python 3.7.6的安装 6
2.1.1 Python3和Python2的区别 6
2.1.2 在Windows 10系统中下载并安装Python 3.7.6 7
2.1.3 手动配置环境变量 10
2.2 pip的安装 12
2.2.1 pip是什么 12
2.2.2 在Windows系统中下载和安装pip 12
2.2.3 使用pip命令下载和管理pip 14
第3章 Python编程基础 17
3.1 Python编程初识 18
3.1.1 个Python程序 18
3.1.2 整型、浮点型、布尔型与复数型 19
3.1.3 不同数据类型之间的运算法则 22
3.1.4 Python中的常用内建函数 25
3.2 Python编程常用类型 27
3.2.1 Python的列表 27
3.2.2 Python的元组 31
3.2.3 Python的字典 34
3.2.4 Python的字符串 38
3.3 Python的条件、循环和分支语句以及异常处理 42
3.3.1 Python的编程风格 42
3.3.2 错误、异常和异常处理 43
3.3.3 条件语句：if、if-else和elif 45
3.3.4 循环语句：while和for 46
3.4 其他关于Python的重要知识点 49
3.4.1 匿名函数lambda 49
3.4.2 Python自定义类与打印函数 51
第4章 线性代数知识和第三方库NumPy的使用 54
4.1 必要的线性代数知识 55
4.1.1 线性代数综述 55
4.1.2 行列式 56
4.1.3 矩阵及矩阵的运算 60
4.1.4 矩阵的初等变换与秩、向量组与线性相关 65
4.1.5 相似矩阵 67
4.2 NumPy库的基础操作 69
4.2.1 NumPy库的安装和基本方法 69
4.2.2 创建一个数组 70
4.2.3 索引、切片和迭代 73
4.2.4 拼合、划分一个矩阵 79
4.2.5 深拷贝、浅拷贝与不拷贝 84
4.3 用NumPy库实现矩阵运算 87
4.3.1 矩阵基本运算一（矩阵加法、矩阵减法、矩阵数乘） 87
4.3.2 矩阵基本运算二（矩阵相乘、逆矩阵、矩阵的特征值和特征向量） 88
第5章 使用正则表达式处理数据 91
5.1 RE模块简述 91
5.1.1 正则表达式（RE）模块使用的符号 92
5.1.2 正则表达式的匹配规则 93
5.2 使用正则表达式模块 94
5.2.1 匹配对象方法group()和groups()的用法 95
5.2.2 使用管道符进行匹配 98
5.2.3 使用*、 、?、{}符号实现多个条件匹配 99
5.2.4 一些特殊格式的正则表达式匹配模式 100
第6章 使用Pandas库处理数据 101
6.1 Pandas库简述 101
6.1.1 Pandas库能做什么 101
6.1.2 Pandas库功能简述 105
6.2 三种格式的文件后缀简述 108
6.2.1 什么是CSV文件 108
6.2.2 Python自带的CSV模块 109
6.2.3 为什么要将TXT和Excel文件转化为CSV文件 111
6.3 处理.csv格式的数据 111
6.3.1 用read_csv()和head()读取CSV文件并显示其行/列 112
6.3.2 查看列数、维度以及切片操作 112
6.3.3 读取特定的列以及列的改值操作 113
6.3.4 求某一列的值、小值、算术平均数以及数据的排序 114
6.3.5 Pandas库的写入操作——to_csv()方法 115
6.4 处理非.csv格式的数据 116
6.4.1 用Pandas库读取TXT文件 116
6.4.2 用Pandas库读取Excel文件 118
6.5 Pandas库的其他常用操作 121
6.5.1 新增DataFrame数据结构的意义 121
6.5.2 创建与遍历DataFrame数据结构 122
6.5.3 检索已有的DataFrame数据结构 124
6.5.4 DataFrame数据结构的选择操作 128
6.5.5 处理DataFrame数据结构中的缺失数据 134
第7章 使用Matplotlib库实现数据可视化 136
7.1 Matplotlib库简述 136
7.1.1 Matplotlib库的安装 137
7.1.2 Matplotlib库常见的问题 138
7.2 Matplotlib库的基本方法 139
7.2.1 设定x轴与y轴的相关内容 139
7.2.2 “点”和“线”样式的设定 144
7.3 使用Matplotlib库绘制图表 146
7.3.1 绘制柱状图 147
7.3.2 绘制直方图 149
7.3.3 绘制散点图 151
7.3.4 绘制饼状图 153
7.3.5 绘制折线图 155
第8章 数学模型与数理统计 157
8.1 走进数学模型 158
8.1.1 什么是数学模型 158
8.1.2 建立数学模型的一般步骤 160
8.1.3 数学模型示例 162
8.2 必要的数理统计知识 164
8.2.1 样本、总体、个体、统计量 164
8.2.2 3个重要的分布：χ2分布、t分布、f分布 165
8.2.3 点估计、矩估计与区间估计 167
8.2.4 全概率公式和贝叶斯公式 168
8.2.5 依概率收敛与切比雪夫不等式 170
第9章 线性回归 172
9.1 小二乘法与切比雪夫准则 172
9.1.1 小二乘法的数学原理 173
9.1.2 切比雪夫准则的数学原理 175
9.2 OLS回归模型 175
9.2.1 OLS回归模型的概念 176
9.2.2 如何生成测试数据 176
9.2.3 OLS回归模型的代码实现和可视化 179
9.3 LAD回归模型 182
9.3.1 LAD回归模型的概念 182
9.3.2 LAD回归模型的代码实现和可视化 183
9.4 OLS回归模型与LAD回归模型 186
9.4.1 比较OLS回归模型与LAD回归模型的拟合曲线 186
9.4.2 简单的一元线性回归分析的代码展示 187
9.5 从极大似然估计再审视线性回归 189
9.5.1 从传统的数理统计到线性回归 189
9.5.2 极大似然估计 190
9.5.3 假设检验基本概念 191
9.5.4 区间估计、置信区间和置信限 192
第10章 分类问题与逻辑回归 197
10.1 逻辑回归：从分类问题谈起 197
10.1.1 从线性回归到分类问题 198
10.1.2 逻辑回归与Sigmoid函数 199
10.1.3 使用极大似然估计计算Sigmoid函数的损失函数 201
10.1.4 逻辑回归模型求解的本质 202
10.2 从梯度上升法与梯度下降法到逻辑回归 202
10.2.1 梯度上升法和梯度下降法的由来 202
10.2.2 梯度下降法及梯度上升法的数学原理 203
10.2.3 用Python实现逻辑回归 206
10.2.4 题外话：从用Python实现逻辑回归中看psutil库 216
10.2.5 逻辑回归可视化：绘制决策边界 220
第11章 模型评估与模型改进 223
11.1 线性回归模型的评估与改进 223
11.1.1 线性回归模型的评估 224
11.1.2 模型改进：从一元线性回归到多元线性回归问题 231
11.1.3 模型改进：过度拟合与添加、设定惩罚项 238
11.2 逻辑回归模型的评估与改进 239
11.2.1 分类模型的评估：查准率、查全率及F-score 239
11.2.2 分类模型的评估：ROC曲线、AUC指标 241
11.2.3 模型改进：随机梯度下降法 242
11.2.4 逻辑回归终代码展示（使用随机梯度下降法） 245
第12章 聚类：K-means算法 248
12.1 K-means算法及相关内容的基本概念 248
12.1.1 聚类与机器学习的概念 249
12.1.2 聚类：K-means算法的原理 250
12.2 K-means算法的Python实现 253
12.2.1 朴素的K-means算法的Python实现 253
12.2.2 朴素的K-means算法的Python实现的具体解析 256
12.2.3 模型改进：使用不同颜色和形状标记不同的簇 261
12.2.4 K-means算法改进：使用二分K-means算法 263

第13章 分类：KNN算法 271
13.1 KNN算法的基本概念 271
13.1.1 KNN算法的相关概念 271
13.1.2 KNN算法原理概述 272
13.2 KNN算法的Python实现 274
13.2.1 制作测试用例数据集 274
13.2.2 KKN算法的具体实现 279
13.2.3 KKN算法的完整代码 282
13.3 结语：关于数据分析 285
13.3.1 决策树之前：树的概念 285
13.3.2 信息熵和决策树 285
13.3.3 写在后的话：留给机器学习 286