深度卷积网络：原理与实践

Contents 目　　录
前言
引子·神之一手1
第1章　走进深度学习的世界5
1.1　从人工智能到深度学习5
1.2　深度神经网络的威力：以AlphaGo为例8
1.2.1　策略网络简述9
1.2.2　泛化：看棋谱就能学会下围棋11
1.2.3　拟合与过拟合11
1.2.4　深度神经网络的速度优势12
1.3　深度神经网络的应用大观13
1.3.1　图像分类问题的难度所在13
1.3.2　用深度神经网络理解图像15
1.3.3　AlphaGo中的深度神经网络17
1.3.4　自动发现规律：从数据A到答案B17
1.3.5　深度神经网络的更多应用18
1.3.6　从分而治之，到端对端学习24
1.4　亲自体验深度神经网络25
1.4.1　TensorFlow游乐场25
1.4.2　MNIST数字识别实例：LeNet-527
1.4.3　策略网络实例28
1.4.4　简笔画：Sketch-RNN29
1.4.5　用GAN生成动漫头像30
1.5　深度神经网络的基本特点31
1.5.1　两大助力：算力、数据31
1.5.2　从特征工程，到逐层抽象32
1.5.3　深度神经网络学会的是什么35
1.6　人工智能与神经网络的历史36
1.6.1　人工智能的两大学派：逻辑与统计37
1.6.2　人工智能与神经网络的现代编年史37
第2章　深度卷积网络：第一课42
2.1　神经元：运作和训练43
2.1.1　运作：从实例说明43
2.1.2　训练：梯度下降的思想44
2.1.3　训练：梯度下降的公式46
2.1.4　训练：找大小问题的初次尝试48
2.1.5　训练：Excel的实现 50
2.1.6　重要知识：批大小、mini-batch、epoch51
2.2　深度学习框架MXNet：安装和使用51
2.2.1　计算图：动态与静态52
2.2.2　安装MXNet：准备工作53
2.2.3　在Windows下安装MXNet54
2.2.4　在macOS下安装MXNet：CPU版57
2.2.5　在macOS下安装MXNet：GPU版58
2.2.6　在Linux下安装MXNet59
2.2.7　安装Jupyter演算本59
2.2.8　实例：在MXNet训练神经元并体验调参60
2.3　神经网络：运作和训练63
2.3.1　运作：前向传播，与非线性激活的必要性63
2.3.2　运作：非线性激活64
2.3.3　训练：梯度的计算公式66
2.3.4　训练：实例69
2.3.5　训练：Excel的实现70
2.3.6　训练：反向传播71
2.3.7　重要知识：梯度消失，梯度爆炸72
2.3.8　从几何观点理解神经网络72
2.3.9　训练：MXNet的实现73
第3章　深度卷积网络：第二课 77
3.1　重要理论知识77
3.1.1　数据：训练集、验证集、测试集77
3.1.2　训练：典型过程79
3.1.3　有监督学习：回归、分类、标签、排序、Seq2Seq79
3.1.4　无监督学习：聚类、降维、自编码、生成模型、推荐81
3.1.5　训练的障碍：欠拟合、过拟合82
3.1.6　训练的细节：局部极值点、鞍点、梯度下降算法83
3.2　神经网络的正则化85
3.2.1　修改损失函数：L2和L1正则化85
3.2.2　修改网络架构：Dropout正则化86
3.2.3　更多技巧：集合、多任务学习、参数共享等86
3.2.4　数据增强与预处理88
3.3　神经网络的调参89
3.3.1　学习速率89
3.3.2　批大小90
3.3.3　初始化方法92
3.3.4　调参实战：重返TensorFlow游乐场93
3.4　实例：MNIST问题95
3.4.1　重要知识：SoftMax层、交叉熵损失96
3.4.2　训练代码与网络架构98
3.4.3　超越MNIST：最新的Fashion-MNIST数据集101
3.5　网络训练的常见bug和检查方法103
3.6　网络训练性能的提高104
第4章　深度卷积网络：第三课106
4.1　卷积网络：从实例说明106
4.1.1　实例：找橘猫，最原始的方法107
4.1.2　实例：找橘猫，更好的方法108
4.1.3　实例：卷积和池化108
4.1.4　卷积网络的运作111
4.2　运作：AlphaGo眼中的棋盘112
4.2.1　棋盘的编码113
4.2.2　最简化的策略网络115
4.2.3　最简化的策略网络：特征层和卷积后的结果116
4.3　卷积神经网络：进一步了解122
4.3.1　卷积核、滤波器与参数量的计算122
4.3.2　运作和训练的计算123
4.3.3　外衬与步长124
4.3.4　缩小图像：池化与全局池化126
4.3.5　放大图像：转置卷积127
4.4　实例：用卷积网络解决MNIST问题128
4.4.1　网络架构的定义与参数量的计算129
4.4.2　训练MNIST网络130
4.4.3　在MXNet运行训练后的网络131
4.4.4　调参实例133
4.4.5　在Fashion-MNIST数据集的结果133
4.5　MXNet的使用技巧134
4.5.1　快速定义多个层134
4.5.2　网络的保存与读取135
4.5.3　图像数据的打包和载入135
4.5.4　深入MXNet训练细节136
4.5.5　在浏览器和移动设备运行神经网络139
第5章　深度卷积网络：第四课141
5.1　经典的深度卷积网络架构142
5.1.1　深度学习革命的揭幕者：AlexNet142
5.1.2　常用架构：VGG系列145
5.1.3　去掉全连接层：DarkNet系列147
5.2　网络的可视化：以AlexNet为例150
5.3　迁移学习：精调、预训练等155
5.4　架构技巧：基本技巧157
5.4.1　感受野与缩小卷积核157
5.4.2　使用1×1卷积核158
5.4.3　批规范化160
5.4.4　实例：回顾Fashion-MNIST问题161
5.4.5　实例：训练CIFAR-10模型164
5.5　架构技巧：残差网络与通道组合169
5.5.1　残差网络：ResNet的思想169
5.5.2　残差网络：架构细节171
5.5.3　残差网络：来自于集合的理解与随机深度172
5.5.4　残差网络：MXNet实现，以策略网络为例173
5.5.5　通道组合：Inception模组174
5.5.6　通道组合：XCeption架构，深度可分卷积177
5.5.7　实例：再次训练CIFAR-10模型178
5.6　架构技巧：更多进展181
5.6.1　残差网络进展：ResNext、Pyramid Net、DenseNet181
5.6.2　压缩网络：SqueezeNet、MobileNet、ShuffleNet183
5.6.3　卷积核的变形188
5.7　物体检测与图像分割189
5.7.1　YOLO v1：实时的物体检测网络190
5.7.2　YOLO v2：更快、更强192
5.7.3　Faster R-CNN：准确的物体检测网络194
5.7.4　Mask-RCNN：准确的图像分割网络195
5.8　风格转移197
第6章　AlphaGo架构综述200
6.1　从AlphaGo到AlphaZero201
6.1.1　AlphaGo v13与AlphaGo v18201
6.1.2　AlphaGo Master与AlphaGoZero202
6.1.3　解决一切棋类：AlphaZero204
6.2　AlphaGo的对弈过程205
6.2.1　策略网络205
6.2.2　来自人类的思路208
6.2.3　蒙特卡洛树搜索与估值问题209
6.2.4　从快速走子估值到价值网络211
6.2.5　从搜索树看策略与价值网络的作用213
6.2.6　策略与价值网络的运作实例215
6.3　AlphaGo中的深度卷积网络架构217
6.4　AlphaGo的训练过程219
6.4.1　原版AlphaGo：策略梯度方法219
6.4.2　新版AlphaGo：从蒙特卡洛树搜索学习220
6.5　AlphaGo方法的推广221
第7章　训练策略网络与实战224
7.1　训练前的准备工作224
7.1.1　棋谱数据225
7.1.2　落子模拟226
7.1.3　终局判断226
7.2　训练代码227
7.2.1　主程序：train.py227
7.2.2　训练参数：config.py233
7.2.3　辅助函数：util.py234
7.2.4　棋盘随机变换：symmetry.py235
7.2.5　训练实例236
7.3　对弈实战237
第8章　生成式对抗网络：GAN240
8.1　GAN的起源故事240
8.2　GAN的基本原理242
8.2.1　生成模型：从图像到编码，从编码到图像242
8.2.2　GAN的基本效果243
8.2.3　GAN的训练方法246
8.3　实例：DCGAN及训练过程248
8.3.1　网络架构248
8.3.2　训练代码249
8.4　GAN的更多架构和应用255
8.4.1　图像转移：CycleGAN系列255
8.4.2　生成高分辨率图像：nVidia的改进260
8.4.3　自动提取信息：InfoGAN261
8.4.4　更多应用264
8.5　更多的生成模型方法266
8.5.1　自编码器：从AE到VAE266
8.5.2　逐点生成：PixelRNN和PixelCNN系列267
8.5.3　将VAE和GAN结合：CVAE-GAN268
第9章　通向智能之秘272
9.1　计算机视觉的难度272
9.2　对抗样本，与深度网络的特点276
9.3　人工智能的挑战与机遇278
9.3.1　棋类游戏中的电脑陷阱278
9.3.2　偏见、过滤气泡与道德困境280
9.3.3　语言的迷局283
9.3.4　强化学习、机器人与目标函数286
9.3.5　创造力、审美与意识之谜290
9.3.6　预测学习：机器学习的前沿293
9.4　深度学习的理论发展295
9.4.1　超越反向传播：预测梯度与生物模型295
9.4.2　超越神经网络：Capsule与gcForest297
9.4.3　泛化问题300
9.5　深度学习与人工智能的展望304
9.5.1　工程层面304
9.5.2　理论层面304
9.5.3　应用层面305
跋　人工智能与我们的未来306
附录　深度学习与AI的网络资源310