图解深度学习：可视化、交互式的人工智能指南（英文版 全彩印刷）

I　Introducing Deep Learning / 深度学习简介　　　1
1　Biological and Machine Vision / 生物与机器视角　3
Biological　Vision / 生物视角　3
Machine　Vision / 机器视角　8
The　Neocognitron / 新认知机　8
LeNet-5　/ 卷积神经网络 LeNet-5　9
The　Traditional Machine Learning Approach / 传统机器学习方法　12
ImageNet　and the ILSVRC / 大规模视觉数据库ImageNet和视觉识别挑战赛ILSVRC　13
AlexNet　/ 卷积神经网络 AlexNet　14
TensorFlow　Playground/ 开源软件库TensorFlow　17
Quick，　Draw! / 涂鸦小游戏Quick， Draw!　19
小结　19
2　Human and Machine Language / 人机语言　21
Deep　Learning for Natural Language Processing / 自然语言处理中的深度学习　21
Deep　Learning Networks Learn Representations Automatically / 深度学习网络自动学习表示　22
Natural　Language Processing / 自然语言处理　23
A　Brief History of Deep Learning for NLP/自然语言处理深度学习简史24
Computational　Representations of Language / 语言的计算表示　25
One-Hot　Representations of Words / 单词的独热表示　25
Word　Vectors / 词向量　26
Word-Vector　Arithmetic / 词向量算法　29
word2viz　/ 词向量工具 word2viz　30
Localist　Versus Distributed Representations / 局部化与分布式表示32
Elements　of Natural Human Language / 自然人类语言要素　33
Google　Duplex / Google Duplex　35
Summary　/ 小结　37
3　Machine Art / 机器艺术　39
A　Boozy All-Nighter / 一个热闹的通宵　39
Arithmetic　on Fake Human Faces / 假人脸算法　41
Style　Transfer： Converting Photos into Monet (and Vice
Versa)　/ 风格迁移：照片与莫奈风格间的相互转移　44
Make　Your Own Sketches Photorealistic / 让草图更加真实　45
Creating　Photorealistic Images from Text / 基于文本创建真实图片　45
Image　Processing Using Deep Learning / 基于深度学习的图像处理　46
Summary　/ 小结　48
4　Game-Playing Machines / 人机博弈　49
Deep　Learning， AI， and Other Beasts / 深度学习、人工智能和其他技术49
Artificial　Intelligence / 人工智能　49
Machine　Learning / 机器学习　50
Representation　Learning / 表示学习　51
Artificial　Neural Networks / 人工神经网络　51
Deep　Learning / 深度学习　51
Machine　Vision / 机器视觉　52
Natural　Language Processing / 自然语言处理　53
Three　Categories of Machine Learning Problems / 机器学习问题的3种类型　53
Supervised　Learning / 监督学习　53
Unsupervised　Learning / 无监督学习　54
Reinforcement　Learning / 强化学习　54
Deep　Reinforcement Learning / 深度强化学习　56
Video　Games / 视频游戏　57
Board　Games / 棋盘游戏　59
AlphaGo　/ AlphaGo　59
AlphaGo　Zero / AlphaGo Zero　62
AlphaZero　/ AlphaZero　65
Manipulation　of Objects / 目标操控　67
Popular　Deep Reinforcement Learning Environments /
流行的深度强化学习环境　68
OpenAI　Gym / OpenAI Gym　68
DeepMind　Lab / DeepMind 实验室　69
Unity　ML-Agents / Unity ML-Agents　71
Three　Categories of AI / 人工智能的3种类型　71
Artificial　Narrow Intelligence / 狭义人工智能　72
Artificial　General Intelligence / 广义人工智能　72
Artificial　Super Intelligence / 超级人工智能　72
Summary　/ 小结　72
II　Essential Theory Illustrated / 图解深度学习基本理论　73
5　The (Code) Cart Ahead of the (Theory) Horse / 先代码后理论　75
Prerequisites　/ 预备知识　75
Installation　/ 安装　76
A　Shallow Network in Keras / Keras构建浅层网络　76
The　MNIST Handwritten Digits / MNIST 手写数字　76
A　Schematic Diagram of the Network / 网络示意图　77
Loading　the Data / 加载数据　79
Reformatting　the Data / 重新格式化数据　81
Designing　a Neural Network Architecture / 设计神经网络架构　83
Training　a Deep Learning Model / 训练深度学习模型　83
Summary　/ 小结　84
6　Artificial Neurons Detecting Hot Dogs / 人工神经元热狗感知机85
Biological　Neuroanatomy 101 / 生物神经元　85
The　Perceptron / 感知机　86
The　Hot Dog / Not Hot Dog Detector / 热狗感知机/非热狗感知机　86
The　Most Important Equation in This Book / 本书最重要的等式　90
Modern　Neurons and Activation Functions / 现代神经元与激活函数　91
The　Sigmoid Neuron / Sigmoid 神经元　92
The　Tanh Neuron / Tanh 神经元　94
ReLU：　Rectified Linear Units / ReLU 神经元　94
Choosing　a Neuron / 选择神经元　96
Summary　/ 小结　96
Key　Concepts / 核心概念　97
7　神经网络　99
The　Input Layer / 输入层　99
Dense　Layers / 全连接层　99
A　Hot Dog-Detecting Dense Network / 热狗感知全连接网络　101
Forward　Propagation Through the First Hidden Layer /
第　一个隐藏层的正向传播　102
Forward　Propagation Through Subsequent Layers /
其他层的正向传播　103
The　Softmax Layer of a Fast Food-Classifying Network /
快餐分类网络的Softmax层　106
Revisiting　Our Shallow Network / 回归浅层网络　108
Summary　/ 小结　109
Key　Concepts / 核心概念　110
8　Training Deep Networks / 深度网络训练　110
Cost　Functions / 损失函数　111
Quadratic　Cost / 二次方损失函数　112
Saturated　Neurons / 神经元饱和　112
Cross-Entropy　Cost / 交叉熵损失函数　113
Optimization：　Learning to Minimize Cost / 优化：学习最小化损失　115
Gradient　Descent / 梯度下降　115
Learning　Rate / 学习率　117
Batch　Size and Stochastic Gradient Descent /
批量大小和随机梯度下降　119
Escaping　the Local Minimum / 解决局部最小问题　122
Backpropagation　/ 反向传播　124
Tuning　Hidden-Layer Count and Neuron Count /
调整隐藏层层数和神经元数量　125
An　Intermediate Net in Keras / Keras构建中等深度的神经网络　127
Summary　/ 小结　129
Key　Concepts / 核心概念　130
9　Improving Deep Networks / 深度网络改进　131
Weight　Initialization / 权重初始化　131
Xavier　Glorot Distributions / Xavier Glorot 分布　135
Unstable　Gradients / 不稳定梯度　137
Vanishing　Gradients / 梯度消失　137
Exploding　Gradients / 梯度爆炸　138
Batch　Normalization / 批量归一化　138
Model　Generalization (Avoiding Overfitting) /
模型泛化（避免过拟合）140
L1　and L2 Regularization / L1 和 L2 正则化　141
Dropout　/ Dropout　142
Data　Augmentation / 数据增强　145
Fancy　Optimizers / 优化器　145
Momentum　/ 动量　145
Nesterov　Momentum / Nesterov 动量　146
AdaGrad　/ AdaGrad　146
AdaDelta　and RMSProp / AdaDelta 和 RMSProp　146
Adam　/ Adam　147
A　Deep Neural Network in Keras /
Keras构建深度神经网络　147
Regression　/ 回归　149
TensorBoard　/ TensorBoard　152
Summary　/ 小结　154
Key　Concepts / 核心概念　155
III　Interactive Applications of Deep
Learning　/ 深度学习的交互应用　157
10　Machine Vision / 机器视觉　159
Convolutional　Neural Networks / 卷积神经网络　159
The　Two-Dimensional Structure of Visual Imagery /
视觉图像二维结构　159
Computational　Complexity / 计算复杂度　160
Convolutional　Layers / 卷积层　160
Multiple　Filters / 多个卷积核　162
A　Convolutional Example / 卷积示例　163
Convolutional　Filter Hyperparameters /卷积核的超参数　168
Pooling　Layers / 池化层　169
LeNet-5　in Keras / Keras实现LeNet-5　171
AlexNet　and VGGNet in Keras /
Keras实现AlexNet和VGGNet　176
Residual　Networks / 残差网络　179
Vanishing　Gradients： The Bête Noire of Deep CNNs /
梯度消失：深度　CNNs 最大的缺点　179
Residual　Connections / 残差连接　180
ResNet　/ 残差网络　182
Applications　of Machine Vision / 机器视角的应用　182
Object　Detection / 目标检测　183
Image　Segmentation / 图像分割　186
Transfer　Learning / 迁移学习　188
Capsule　Networks / 胶囊网络　192
Summary　/ 小结　193
Key　Concepts / 核心概念　193
11　Natural Language Processing /
自然语言处理　195
Preprocessing　Natural Language Data /
自然语言数据预处理　195
Tokenization　/ 标记化　197
Converting　All Characters to Lowercase /
字符小写转换　199
Removing　Stop Words and Punctuation /
停用词和符号的删除　200
Stemming　/ 词干提取　201
Handling　n-grams / 处理 n-grams　202
Preprocessing　the Full Corpus / 完整语料库预处理　203
Creating　Word Embeddings with word2vec /
word2vec实现词嵌入　206
The　Essential Theory Behind word2vec /
word2vec　背后的基本理论　206
Evaluating　Word Vectors / 词向量评估　209
Running　word2vec / word2vec 的运行　209
Plotting　Word Vectors / 词向量的绘制　213
The　Area under the ROC Curve / ROC曲线下的面积　217
The　Confusion Matrix / 混淆矩阵　218
Calculating　the ROC AUC Metric / 计算 ROC AUC　219
Natural　Language Classification with Familiar Networks /
常见网络实现自然语言分类　222
Loading　the IMDb Film Reviews /加载 IMDb 电影评论　222
Examining　the IMDb Data / 检查 IMDb 数据　226
Standardizing　the Length of the Reviews /评论长度标准化　228
Dense　Network / 全连接网络　229
Convolutional　Networks / 卷积网络　235
Networks　Designed for Sequential Data / 序列数据的网络设计　240
Recurrent　Neural Networks / 循环神经网络　240
Long　Short-Term Memory Units /
长短期记忆网络架构　244
Bidirectional　LSTMs / 双向 LSTM　247
Stacked　Recurrent Models / 堆叠循环神经网络　248
Seq2seq　and Attention /
Seq2seq　模型和注意力机制　250
Transfer　Learning in NLP / 自然语言处理迁移学习　251
11．6　Non-sequential Architectures： The Keras Functional
API　/ 非序列架构——Keras功能性API　251
11．7　Summary / 小结　256
11．8　Key Concepts / 核心概念　257
12　Generative Adversarial Networks /
生成式对抗网络　259
Essential　GAN Theory / 生成式对抗网络基本理论　259
The　Quick， Draw! Dataset /
涂鸦小游戏The　Quick， Draw!数据集　263
The　Discriminator Network / 判别器网络　266
The　Generator Network / 生成器网络　269
The　Adversarial Network / 对抗网络　272
GAN　Training / 生成式对抗网络训练　275
Summary　/ 小结　281
Key　Concepts / 核心概念　282
13　Deep Reinforcement Learning /深度强化学习　283
Essential　Theory of Reinforcement Learning /
强化学习基本理论　283
The　Cart-Pole Game / Cart-Pole 游戏　284
Markov　Decision Processes / 马尔可夫决策过程　286
The　Optimal Policy / 最优策略　288
Essential　Theory of Deep Q-Learning Networks /
深度Q学习网络基本理论　290
Value　Functions / 值函数　291
Q-Value　Functions / Q 值函数　291
Estimating　an Optimal Q-Value / 估计最优 Q 值　291
Defining　a DQN Agent / 定义DQN智能体　293
Initialization　Parameters / 初始化参数　295
Building　the Agent’s Neural Network Model /
构建智能体的神经网络模型　297
Remembering　Gameplay / 记忆游戏　298
Training　via Memory Replay / 记忆重播训练　298
Selecting　an Action to Take / 选择要采取的行动　299
Saving　and Loading Model Parameters /
保存和加载模型参数　300
Interacting　with an OpenAI Gym Environment /
OpenAI　Gym环境交互　300
Hyperparameter　Optimization with SLM Lab /
SLM　Lab超参数优化　303
Agents　Beyond DQN / DQN以外智能体　306
Policy　Gradients and the REINFORCE Algorithm /
策略梯度和强化算法　307
The　Actor-Critic Algorithm / Actor-Critic 算法　307
Summary　/ 小结　308
Key　Concepts / 核心概念　309
IV　You and AI / 你与人工智能　311
14　Moving Forward with Your Own Deep Learning
Projects　创建和推进专属于你的深度学习项目　313
Ideas　for Deep Learning Projects / 深度学习项目思想　313
Machine　Vision and GANs /
机器视觉和生成式对抗网络　313
Natural　Language Processing / 自然语言处理　315
Deep　Reinforcement Learning / 深度强化学习　316
Converting　an Existing Machine Learning Project /
转换现有的机器学习项目　316
Resources　for Further Projects / 项目源　317
Socially　Beneficial Projects / 社会公益项目　318
The　Modeling Process， Including Hyperparameter Tuning /
建模和超参数调优　318
Automation　of Hyperparameter Search /
超参数的自动搜索　321
Deep　Learning Libraries / 深度学习库　321
Keras　and TensorFlow / Keras 和 TensorFlow　321
PyTorch　/ PyTorch　323
MXNet，　CNTK， Caffe， and So On /
MXNet、CNTK、Caffe　等　324
Software　2．0 / 软件2．0　324
Approaching　Artificial General Intelligence /
走进广义人工智能　326
Summary　/ 小结　328
V　Appendices / 附录　331
A　Formal Neural Network Notation /
神经网络符号　333
B　Backpropagation / 反向传播　335
C　PyTorch / PyTorch　339
PyTorch　Features / Pytorch特征　339
Autograd　System / AutoGrade 机制　339
Define-by-Run　Framework / 运行定义框架　339
PyTorch　Versus TensorFlow /
PyTorch　与 TensorFlow 对比　340
PyTorch　in Practice / PyTorch的实践　341
PyTorch　Installation / PyTorch 的安装　341
The　Fundamental Units Within PyTorch /
PyTorch　的基本单位　341
Building　a Deep Neural Network in PyTorch /
PyTorch　实现一个深度神经网络　343