Python深度学习原理、算法与案例

第1章  深度学习概述 1
1.1  人工智能 1
1.2  机器学习 2
1.2.1  机器学习定义 2
1.2.2  机器学习流派 3
1.2.3  机器学习简史 6
1.2.4  机器学习流程 7
1.3  深度学习 9
1.4  深度学习的应用场景 10
1.4.1  技术类型 10
1.4.2  应用场景 11
1.5  本章小结 12
1.6  复习题 12
参考文献 13
第2章  机器学习基础 14
2.1  基本概念 14
2.2  机器学习的三要素 15
2.2.1  模型 16
2.2.2  学习准则 17
2.2.3  优化算法 21
2.3  数据分析 23
2.3.1  描述性统计分析 23
2.3.2  相关分析 23
2.3.3  回归分析 25
2.3.4  分类分析 26
2.3.5  聚类分析 26
2.4  估计、偏差和方差 27
2.4.1  点估计 27
2.4.2  偏差 28
2.4.3  方差和标准差 30
2.5  似然估计 31
2.5.1  条件对数似然和均方误差 32
2.5.2  似然的性质 33
2.6  特征工程 34
2.6.1  数据预处理 34
2.6.2  特征选择 39
2.6.3  降维 44
2.7  本章小结 46
2.8  复习题 47
参考文献 47
第3章  神经网络基础 48
3.1  神经网络概述 48
3.1.1  神经网络简史 48
3.1.2  神经网络基础理论 49
3.2  线性神经网络 56
3.3  感知机 64
3.3.1  感知机模型 64
3.3.2  多层感知机 69
3.4  支持向量机 75
3.4.1  支持向量机的原理 75
3.4.2  线性支持向量机分类 81
3.4.3  非线性支持向量机分类 86
3.4.4  支持向量机回归 93
3.5  本章小结 96
3.6  复习题 96
参考文献 96
第4章  卷积神经网络和循环神经网络 98
4.1  卷积神经网络 98
4.1.1  卷积 100
4.1.2  卷积神经网络 102
4.1.3  几种典型的卷积神经网络 107
4.2  循环神经网络 117
4.2.1  循环神经网络的结构 118
4.2.2  循环神经网络的数学基础 119
4.2.3  循环神经网络的计算能力 120
4.2.4  长短期记忆网络 121
4.2.5  门控循环单元 125
4.2.6  双向循环神经网络 130
4.2.7  深度循环神经网络 132
4.2.8  循环神经网络图结构 133
4.3  本章小结 135
4.4  复习题 136
参考文献 136
第5章  正则化与深度学习优化 137
5.1  正则化 137
5.1.1  训练误差和泛化误差 137
5.1.2  数据集增强 138
5.1.3  提前终止 138
5.1.4  Dropout 139
5.2  网络优化 142
5.3  优化算法 143
5.3.1  小批量梯度下降 143
5.3.2  批量大小选择 144
5.3.3  学习率调整 144
5.4  深度学习中的正则化 154
5.4.1  L1和L2正则化 155
5.4.2  权重衰减 156
5.4.3  提前终止 156
5.4.4  Dropout 160
5.4.5  数据增强 165
5.4.6  对抗训练 165
5.5  本章小结 169
5.6  复习题 170
参考文献 170
第6章  深度学习用于计算机视觉 171
6.1  计算机视觉与深度学习概述 171
6.1.1  计算机视觉的任务 172
6.1.2  传统计算机视觉面临的挑战 175
6.1.3  深度学习在计算机视觉领域的研究发展 177
6.1.4  深度学习在计算机视觉领域的应用 178
6.2  计算机视觉应用基础 182
6.2.1  图像数据的基本操作 182
6.2.2  常用的卷积神经网络的搭建 186
6.3  应用案例：基于LeNet-5的手写数字识别 196
6.3.1  MNIST数据集简介 196
6.3.2  加载和预处理数据 197
6.3.3  创建LeNet-5模型 198
6.3.4  编译和训练模型 200
6.3.5  使用模型进行预测 202
6.3.6  主流程及完整代码 206
6.4  本章小结 206
6.5  复习题 206
参考文献 207
第7章  深度学习用于目标检测 208
7.1  目标检测的概念 208
7.2  Faster R-CNN 209
7.3  YOLO 214
7.4  SSD 218
7.5  应用案例：基于YOLO的目标检测 220
7.5.1  基于Darknet的YOLO实现目标检测 220
7.5.2  基于Keras-YOLO实现目标检测 222
7.6  本章小结 229
7.7  复习题 229
参考文献 229
第8章  深度学习用于文本分析 230
8.1  自然语言处理与文本分析 230
8.1.1  文本分析的常见任务 230
8.1.2  自然语言处理技术简介 232
8.2  应用案例：基于Encoder-Decoder模型的机器翻译 239
8.2.1  Encoder-Decoder模型介绍 239
8.2.2  训练数据准备 240
8.2.3  数据预处理 241
8.2.4  模型创建 243
8.2.5  模型训练 245
8.2.6  模型预测 246
8.2.7  主流程代码 247
8.3  本章小结 248
8.4  复习题 248
参考文献 249
第9章  深度强化学习的应用 250
9.1  什么是深度强化学习 250
9.2  强化学习的应用实例 251
9.3  强化学习的基本概念 252
9.4  强化学习的算法简介 254
9.4.1  算法分类 254
9.4.2  问题求解步骤 255
9.4.3  Q-Learning 256
9.4.4  DQN 256
9.5  应用案例：使用DQN算法学习玩CartPole游戏 257
9.5.1  CartPole游戏介绍 257
9.5.2  OpenAI Gym介绍 258
9.5.3  基于DQN的智能体实现 258
9.5.4  智能体强化训练 260
9.5.5  训练结果 262
9.6  本章小结 263
9.7  复习题 263
参考文献 263
第10章  TensorFlow模型的应用 264
10.1  TensorFlow简介 264
10.2  TensorFlow入门 265
10.2.1  TensorFlow的静态图模式 265
10.2.2  TensorFlow的Graph和Session 274
10.2.3  TensorFlow的动态图模式 277
10.2.4  TensorFlow的损失函数 279
10.2.5  TensorFlow的优化器 281
10.2.6  TensorFlow训练数据输入 284
10.3  应用案例：基于LeNet的手写数字识别 287
10.3.1  MNIST 数据集简介 287
10.3.2  LeNet的实现与讲解 288
10.3.3  FashionMNIST数据集 296
10.4  应用案例：图像多标签分类实例 297
10.4.1  使用TFRecord生成训练数据 297
10.4.2  构建多标签分类网络 298
10.4.3  多标签训练模型 300
10.5  本章小结 301
10.6  复习题 301
参考文献 302
第11章  Transformer模型的应用 303
11.1  模型 303
11.2  基于位置的前馈网络 304
11.3  残差连接和层归一化 305
11.4  编码器 306
11.5  解码器 307
11.6  应用案例：英语-法语机器翻译实例 310
11.7  本章小结 313
11.8  复习题 313
参考文献 313
附录A  线性代数 314
A.1  标量、向量、矩阵和张量 314
A.2  向量空间 316
A.3  范数 317
A.4  矩阵 318
A.4.1  线性映射 318
A.4.2  矩阵操作 319
A.4.3  矩阵类型 321
A.4.4  矩阵分解 322
附录B  概率论 323
B.1  概率论 323
B.2  事件和概率 323
B.2.1  随机变量 324
B.2.2  离散随机变量 324
B.2.3  连续随机变量 325
B.2.4  累积分布函数 326
B.2.5  随机向量 326
B.2.6  连续随机向量 327
B.2.7  边际分布 327
B.2.8  条件概率分布 328
B.2.9  贝叶斯定理 328
B.2.10  独立与条件独立 329
B.2.11  期望和方差 329
B.3  随机过程 330
B.3.1  马尔可夫过程 330
B.3.2  马尔可夫链 331
B.3.3  高斯过程 331
附录C  信息论 333
深度学习（Deep Learning）是人工智能领域的一个概念，和传统的学习相比，深度学习强调学习的深度，揭示内部规律。深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近初的目标—人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字、图像和声音等数据的解释有很大的帮助。它的终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果远远超过先前的相关技术。
深度学习是一个多层神经网络，是一种机器学习方法。在深度学习出现之前，由于诸如局部解和梯度消失之类的技术问题，没有对具有4层或更多层的深度神经网络进行充分的训练，并且其性能也不佳。但是，近年来，Hinton等人通过研究多层神经网络，增强学习所需的计算机功能，以及通过Web的开发促进培训数据的采购，使充分学习成为可能。结果，深度学习显示出了高性能，压倒了其他方法，解决了与语音、图像和自然语言有关的问题，并在2010年开始流行。
作为人工智能重要的基础技术之一，近年来深度学习逐步延伸到更多的应用场景，如自动驾驶、互联网、安防、医疗等领域。随着深度学习模型越来越大，所需的数据量越来越多，所需的AI算力资源和训练时间越来越长，深度学习的训练和推理性能将是重中之重。
传统机器学习算法依赖人工设计特征，并进行特征提取，而深度学习方法不需要人工，而是依赖算法自动提取特征。深度学习模仿人类大脑的运行方式，从经验中学习获取知识。这也是深度学习被看作黑盒子，可解释性差的原因。随着计算机软硬件的飞速发展，现阶段通过深度学习模拟人脑来解释数据，包括图像、文本和音频等内容。目前深度学习的主要应用领域有智能手机、语音识别、机器翻译、拍照翻译、自动驾驶等，在其他领域也能见到深度学习的身影，比如风控、安防、智能零售、医疗领域和推荐系统等。
读者需要了解的重要信息
本书作为机器学习与深度学习专业书籍，介绍机器学习的基础知识、深度学习的理论基础和算法，以及常见应用场景及其Python实现。案例实践的讲解包含：算法分析、项目应用目的与效果、模型构建、数据准备与预处理、模型训练和预测，以及代码实现、问题分析和实验对比。所有示例均配有源代码与数据。
本书采用理论与实践相结合的方式，利用Python语言的强大功能，以小的编程代价进行深度学习应用实践。本书展示如何将深度学习的算法应用于场景实践，如计算机视觉、目标检测、文本分析以及深度强化学习应用，后还给出了深度学习的两个框架模型应用：TensorFlow和Transformer模型应用。为了帮助读者理解深度学习算法涉及的数学知识，本书还在附录中给出了机器学习和深度学习中用到的数学基础知识，如线性代数、概率论和信息论。
本书内容
本书基于Python 3全程以真实案例驱动，科学系统地介绍机器学习与深度学习领域的科学思维、  知识、专业工具、完整流程以及经验技巧。
本书整体分11章主体内容和3章附录，系统地讲解了深度学习基础知识与领域应用实践。第1章简要介绍了深度学习与机器学习的关系和深度学习应用场景，第2章是机器学习基础，第3章是神经网络基础，第4章是卷积神经网络和循环神经网络，第5章是正则化与深度学习优化，第6章是计算机视觉应用，第7章是目标检测应用，第8章是文本分析应用，第9章是深度强化学习应用，第10章是TensorFlow框架应用，第11章是Transformer框架应用，附录A是线性代数，附录B是概率论，附录C是信息论。本书的例子都是在Python 3集成开发环境Anaconda 3中经过实际调试通过的典型案例，书中的大部分实验数据来源于GitHub，读者可以参考实现。
示例源码、PPT课件资源下载
本书配套70个示例源码及PPT课件，需要用微信扫描下面的二维码获取。如果发现问题或者有任何建议，可发送邮件与作者联系，电子邮箱为booksaga@163.com，邮件主题写“Python深度学习原理、算法与案例”。
 
致  谢
本书完成之际，感谢李剑锋、林庆发和邓淇文等作者的努力付出。也要感谢同事，与他们的交流与探讨使得本书得以修正错误和完善知识结构。由于作者水平有限，书中的纰漏之处在所难免，恳请读者不吝赐教。本书编写过程中参考的资源都已在参考文献中列出，所有案例都提供了源代码。
作  者  
2023年2月  
 
 
C.1  熵 333
C.1.1  自信息和熵 333
C.1.2  熵编码 334
C.1.3  联合熵和条件熵 334
C.2  互信息 334
C.3  交叉熵和散度 335
C.3.1  交叉熵 335
C.3.2  KL散度 335
C.3.3  JS散度 335
C.3.4  Wasserstein距离 336