Python高性能编程（第2版）

目录
前言 xvii
第 1章　理解高性能Python 1
1.1 基本的计算机系统 1
1.1.1 计算单元 2
1.1.2 存储单元 4
1.1.3 通信层 6
1.2 综合考虑 8
1.3 为何使用Python 11
1.4 如何成为高性能程序员 13
1.4.1 最佳实践 14
1.4.2 对Notebook最佳实践的思考 15
1.4.3 重新发现工作的乐趣 16
第 2章　通过剖析找出瓶颈 17
2.1 高效地剖析 18
2.2 朱利亚集合简介 19
2.3 计算整个朱利亚集合 22
2.4 简单计时方法—print语句和装饰器 25
2.5 使用UNIX命令time的简单计时 27
2.6 使用模块cProfile 29
2.7 使用SnakeViz可视化cProfile的输出 34
2.8 使用line_profiler逐行剖析 35
2.9 使用memory_profiler诊断内存占用情况 40
2.10 使用PySpy查看既有进程 47
2.11 字节码：幕后发生的情况 48
2.11.1 使用模块dis查看CPython字节码 48
2.11.2 复杂度随方法而异 50
2.12 优化期间使用单元测试确保代码正确 52
2.13 确保代码剖析成功的策略 55
2.14 小结 56
第3章　列表和元组 57
3.1 更高效的查找方式 60
3.2 比较列表和元组 62
3.2.1 作为动态数组的列表 63
3.2.2 作为静态数组的元组 66
3.3 小结 67
第4章　字典和集合 69
4.1 字典和集合的工作原理 72
4.1.1 插入和检索 72
4.1.2 删除 76
4.1.3 调整长度 76
4.1.4 散列函数和熵 76
4.2 字典和名称空间 80
4.3 小结 83
第5章　迭代器和生成器 84
5.1 无穷数列迭代器 88
5.2 延迟执行生成器 89
5.3 小结 93
第6章　矩阵和向量计算 94
6.1 问题简介 95
6.2 Python列表不够好吗 99
6.3 内存碎片 104
6.3.1 理解perf 106
6.3.2 根据perf的输出做决策 108
6.3.3 进入numpy 108
6.4 使用numpy解决扩散问题 111
6.4.1 内存分配和就地操作 114
6.4.2 有选择地优化：找出需要修复的地方 118
6.5 numexpr：让你能够更快、更轻松地执行就地操作 121
6.6 警示故事：对优化进行验证（scipy） 122
6.7 从矩阵优化获得的经验教训 124
6.8 Pandas 126
6.8.1 Pandas的内部模型 127
6.8.2 将函数应用于多行数据 128
6.8.3 根据部分结果而不是使用拼接来创建DataFrame和Series 135
6.8.4 有多种解决问题的方式（而且可能有更快的方式） 136
6.8.5 Pandas高效开发建议 137
6.9 小结 138
第7章　编译成C代码 139
7.1 速度提升方法 140
7.2 JIT编译器和AOT编译器 141
7.3 为何类型信息有助于提高代码运行速度 142
7.4 使用C语言编译器 143
7.5 回顾朱利亚集合示例 143
7.6 Cython 144
7.7 pyximport 146
7.7.1 使用Cython标注选项来分析代码块 146
7.7.2 添加类型标注 149
7.8 Cython和numpy 152
7.9 Numba 156
7.10 PyPy 159
7.10.1 垃圾收集方面的差异 160
7.10.2 运行PyPy及安装模块 160
7.11 速度提升小结 162
7.12 各种技术的适用场景 163
7.13 图形处理单元 165
7.13.1 动态图：PyTorch 165
7.13.2 GPU基本剖析 168
7.13.3 GPU性能考虑因素 169
7.13.4 在什么情况下使用GPU 170
7.14 语言交互接口 172
7.14.1 ctypes 173
7.14.2 cffi 175
7.14.3 f2py 177
7.14.4 CPython模块 180
7.15 小结 184
第8章　异步I/O 186
8.1 异步编程简介 187
8.2 async/await的工作原理 190
8.2.1 串行爬虫 191
8.2.2 gevent 192
8.2.3 tornado 196
8.2.4 aiohttp 199
8.3 兼具CPU密集型和I/O密集型的问题 202
8.3.1 串行版 203
8.3.2 分批处理结果 204
8.3.3 完全异步 207
8.4 小结 211
第9章　模块multiprocessing 213
9.1 模块multiprocessing概述 216
9.2 使用蒙特卡罗方法估算圆周率 217
9.3 使用进程和线程估算圆周率 219
9.3.1 使用Python对象 219
9.3.2 使用Joblib而不是multiprocessing 225
9.3.3 并行系统中的随机数 229
9.3.4 使用numpy 230
9.4 查找素数 232
9.5 使用进程间通信验证素数 242
9.5.1 串行解决方案 247
9.5.2 朴素进程池解决方案 247
9.5.3 改进的朴素进程池解决方案 248
9.5.4 将Manager.Value用作标志 249
9.5.5 将Redis用作标志 251
9.5.6 将RawValue用作标志 253
9.5.7 将mmap用作标志 254
9.5.8 将mmap用作标志（终极版） 255
9.6 使用multiprocessing共享numpy数据 257
9.7 同步文件和变量访问 263
9.7.1 锁定文件 263
9.7.2 锁定值 267
9.8 小结 269
第 10章　集群和作业队列 271
10.1 集群的优点 272
10.2 集群的缺点 273
10.2.1 糟糕的集群升级策略让华尔街大牛损失4.62亿美元 274
10.2.2 Skype全球24小时中断服务 274
10.3 常见的集群设计 275
10.4 如何启动集群解决方案 276
10.5 使用集群时如何避免麻烦 276
10.6 两种集群解决方案 277
10.6.1 使用IPython Parallel为研究工作提供支持 278
10.6.2 使用Dask并行化Pandas 281
10.7 使用NSQ打造健壮的生产集群 284
10.7.1 队列 284
10.7.2 发布者/订阅者 285
10.7.3 分布式素数计算 287
10.8 其他集群工具 291
10.9 Docker 292
10.9.1 Docker的性能 292
10.9.2 Docker的优点 295
10.10 小结 296
第 11章　减少内存占用量 297
11.1 基本类型对象的开销很高 298
11.1.1 模块array可高效地存储大量的基本类型对象 299
11.1.2 使用NumExpr减少NumPy占用的内存量 302
11.2 理解集合占用的内存 305
11.3 比较字节和Unicode 307
11.4 在内存中高效地存储大量文本 307
11.5 使用scikit-learn FeatureHasher进行文本建模 315
11.6 DictVectorizer和FeatureHasher简介 316
11.7 SciPy稀疏矩阵 319
11.8 减少内存占用量的技巧 322
11.9 概率数据结构 322
11.9.1 使用1字节的莫里斯计数器实现非常接近的计数 323
11.9.2 K最小值 326
11.9.3 布隆过滤器 329
11.9.4 LogLog计数器 335
11.9.5 实例 339
第 12章　实战经验教训 342
12.1 使用特征引擎简化特征工程流水线 342
12.1.1 机器学习中的特征工程 343
12.1.2 艰巨的特征工程流水线部署任务 343
12.1.3 利用开源Python库 344
12.1.4 使用Feature-engine简化特征工程流水线的构建和部署工作 344
12.1.5 推广新的开源包 345
12.1.6 开发和维护开源库及鼓励积极投稿 346
12.2 表现出色的数据科学团队 347
12.2.1 需要多长时间 347
12.2.2 探索和规划 348
12.2.3 管理预期和交付 349
12.3 Numba 350
12.3.1 一个简单的示例 350
12.3.2 最佳实践和建议 352
12.3.3 寻求帮助 355
12.4 优化和思维 356
12.5 Adaptive Lab的社交媒体分析（2014） 358
12.5.1 Adaptive Lab的Python使用情况 358
12.5.2 SoMA的设计 358
12.5.3 开发方法 359
12.5.4 维护SoMA 359
12.5.5 给同行的建议 360
12.6 RadimRehurek网站如何让深度学习快步如飞（2014） 360
12.6.1 管用的策略 360
12.6.2 优化方面的经验教训 362
12.6.3 结语 364
12.7 Lyst网站可用于生产环境的大规模机器学习（2014） 364
12.7.1 集群设计 364
12.7.2 发展迅猛的初创公司中的代码迭代 365
12.7.3 构建推荐引擎 365
12.7.4 报告和监控 365
12.7.5 一些建议 366
12.8 Smesh的大规模社交媒体分析（2014） 366
12.8.1 Python在Smesh中扮演的角色 366
12.8.2 平台 367
12.8.3 实时高性能字符串匹配 367
12.8.4 报告、监控、调试和部署 368
12.9 使用PyPy成功地实现Web和数据处理系统（2014） 369
12.9.1 使用的工具 370
12.9.2 数据库 370
12.9.3 Web应用 371
12.9.4 OCR和翻译 371
12.9.5 任务分配和任务队列 371
12.9.6 结语 372
12.10 Lanyrd的任务队列（2014） 372
12.10.1 Python在Lanyrd扮演的角色 372
12.10.2 让任务队列表现出色 373
12.10.3 报告、监控、调试和部署 373
12.10.4 给同行的建议 373