Python大数据分析算法与实例

目 录

第1章 大数据分析概述 1
1.1 大数据分析背景 1
1.2 大数据分析的应用 2
1.3 大数据分析算法 3
1.4 大数据分析工具 6
1.5 本章小结 9
第2章 数据特征算法分析 10
2.1 数据分布性分析 10
2.1.1 数据分布特征集中趋势的测定 10
2.1.2 数据分布特征离散程度的测定 15
2.1.3 数据分布特征偏态与峰度的测定 19
2.2 数据相关性分析 21
2.2.1 数据相关关系 21
2.2.2 数据相关分析的主要内容 24
2.2.3 相关关系的测定 24
2.3 数据聚类性分析 26
2.3.1 聚类分析定义 26
2.3.2 聚类类型 27
2.3.3 聚类应用 29
2.4 数据主成分分析 29
2.4.1 主成分分析的原理及模型 30
2.4.2 数据主成分分析的几何解释 31
2.4.3 数据主成分的导出 32
2.4.4 证明主成分的方差是依次递减的 34
2.4.5 数据主成分分析的计算 35
2.5 数据动态性分析 36
2.6 数据可视化 40
2.7 本章小结 42
第3章 大数据分析工具：NumPy 43
3.1 NumPy简介 43
3.2 NumPy环境安装配置 44
3.3 ndarray对象 45
3.4 数据类型 47
3.5 数组属性 49
3.6 数组创建例程 52
3.7 切片和索引 57
3.8 广播 60
3.9 数组操作与迭代 61
3.10 位操作与字符串函数 87
3.11 数学运算函数 91
3.12 算数运算 93
3.13 统计函数 97
3.14 排序、搜索和计数函数 101
3.15 字节交换 104
3.16 副本和视图 105
3.17 矩阵库 107
3.18 线性代数模块 109
3.19 Matplotlib库 112
3.20 Matplotlib 绘制直方图 114
3.21 IO文件操作 116
3.22 NumPy实例：GPS定位 117
3.23 本章小结 120
第4章 大数据分析工具：SciPy 121
4.1 SciPy简介 121
4.2 文件输入和输出：SciPy.io 122
4.3 特殊函数：SciPy.special 123
4.4 线性代数操作：SciPy.linalg 124
4.5 快速傅里叶变换：sipy.fftpack 124
4.6 优化器：SciPy.optimize 125
4.7 统计工具：SciPy.stats 126
4.8 SciPy实例 127
4.8.1 最小二乘拟合 127
4.8.2 函数最小值 128
4.9 本章小结 130
第5章 大数据分析工具：Matplotlib 131
5.1 初级绘制 131
5.2 图像、子区、子图、刻度 137
5.3 其他种类的绘图 140
5.4 本章小结 147
第6章 大数据分析工具：Pandas 148
6.1 Pandas系列 148
6.2 Pandas数据帧 151
6.3 Pandas面板 155
6.4 Pandas快速入门 158
6.5 本章小结 172
第7章 大数据分析工具：Statsmodels与Gensim 173
7.1 Statsmodels 173
7.1.1 Statsmodels统计数据库 173
7.1.2 Statsmodels典型的拟合模型概述 175
7.1.3 Statsmodels举例 176
7.2 Gensim 178
7.2.1 基本概念 178
7.2.2 训练语料的预处理 179
7.2.3 主题向量的变换 180
7.2.4 文档相似度的计算 181
7.3 本章小结 182
第8章 大数据分析算法与实例 183
8.1 描述统计 183
8.2 假设检验 188
8.3 信度分析 192
8.4 列联表分析 195
8.5 相关分析 196
8.6 方差分析 198
8.6.1 单因素方差分析 199
8.6.2 多因素方差分析 201
8.7 回归分析 203
8.8 聚类分析 207
8.9 判别分析 212
8.10 主成分分析 216
8.11 因子分析 218
8.12 时间序列分析 221
8.13 生存分析 224
8.14 典型相关分析 245
8.15 RoC分析 250
8.16 距离分析 255
8.17 对应分析 264
8.18 决策树分析 265
8.19 神经网络-深度学习 271
8.19.1 深度学习的基本模型 271
8.19.2 新闻分类实例 275
8.20 蒙特·卡罗模拟 280
8.20.1 蒙特·卡罗模拟基本模型 281
8.20.2 蒙特·卡罗模拟计算看涨期权实例 281
8.21 关联规则 287
8.21.1 关联规则的概念 288
8.21.2 Apriori算法及实例 289
8.21.3 FP树频集算法 292
8.22 Uplift Modeling 301
8.23 集成方法 306
8.24 异常检测 311
8.25 文本挖掘 315
8.26 Boosting算法（提升法和Gradient Boosting） 322
8.27 本章小结 325
参考文献 326