深度学习入门之PyTorch

内容简介

　　深度学习如今已经成为了科技领域*炙手可热的技术，在本书中，我们将帮助你入门深度学习的领域。本书将从人工智能的介绍入手，了解机器学习和深度学习的基础理论，并学习如何用PyTorch框架对模型进行搭建。通过阅读本书，你将会学习到机器学习中的线性回归和logistic回归，深度学习的优化方法，多层全连接神经网络，卷积神经网络，循环神经网络以及生成对抗网络，同时从零开始对PyTorch进行学习，了解PyTorch基础及如何用其进行模型的搭建，*后通过实战了解*前沿的研究成果和PyTorch在实际项目中的应用。

作者简介

　　廖星宇，目前就读于中国科学技术大学应用数学系，获得国家一等奖学金。在个人博客、知乎等平台上发布多篇关于深度学习的文章，具有一定的阅读量和人气。

图书目录

第1 章深度学习介绍1
1．1 人工智能．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 1
1．2 数据挖掘、机器学习与深度学习．．．．．．．．．．．．．．．．．．．．．．． 2
1．2．1 数据挖掘．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 3
1．2．2 机器学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 3
1．2．3 深度学习．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 4
1．3 学习资源与建议．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 8
第2 章深度学习框架11
2．1 深度学习框架介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 11
2．2 PyTorch 介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 13
2．2．1 什么是PyTorch ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 13
2．2．2 为何要使用PyTorch ．．．．．．．．．．．．．．．．．．．．．．．．．． 14
2．3 配置PyTorch 深度学习环境．．．．．．．．．．．．．．．．．．．．．．．．．． 15
2．3．1 操作系统的选择．．．．．．．．．．．．．．．．．．．．．．．．．．．． 15
2．3．2 Python 开发环境的安装．．．．．．．．．．．．．．．．．．．．．．．． 16
2．3．3 PyTorch 的安装．．．．．．．．．．．．．．．．．．．．．．．．．．．． 18
第3 章多层全连接神经网络24
3．1 热身：PyTorch 基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 24
3．1．1 Tensor（张量）．．．．．．．．．．．．．．．．．．．．．．．．．．．． 24
3．1．2 Variable（变量）．．．．．．．．．．．．．．．．．．．．．．．．．．． 26
3．1．3 Dataset（数据集）．．．．．．．．．．．．．．．．．．．．．．．．．．． 28
3．1．4 nn．Module（模组）．．．．．．．．．．．．．．．．．．．．．．．．．． 29
3．1．5 torch．optim（优化）．．．．．．．．．．．．．．．．．．．．．．．．．． 30
3．1．6 模型的保存和加载．．．．．．．．．．．．．．．．．．．．．．．．．． 31
3．2 线性模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 32
3．2．1 问题介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 32
3．2．2 一维线性回归．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 33
3．2．3 多维线性回归．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 34
3．2．4 一维线性回归的代码实现．．．．．．．．．．．．．．．．．．．．．． 35
3．2．5 多项式回归．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 38
3．3 分类问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 42
3．3．1 问题介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 42
3．3．2 Logistic 起源．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 42
3．3．3 Logistic 分布．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 42
3．3．4 二分类的Logistic 回归．．．．．．．．．．．．．．．．．．．．．．．． 43
3．3．5 模型的参数估计．．．．．．．．．．．．．．．．．．．．．．．．．．．． 44
3．3．6 Logistic 回归的代码实现．．．．．．．．．．．．．．．．．．．．．．． 45
3．4 简单的多层全连接前向网络．．．．．．．．．．．．．．．．．．．．．．．．． 49
3．4．1 模拟神经元．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 49
3．4．2 单层神经网络的分类器．．．．．．．．．．．．．．．．．．．．．．．． 50
3．4．3 激活函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 51
3．4．4 神经网络的结构．．．．．．．．．．．．．．．．．．．．．．．．．．．． 54
3．4．5 模型的表示能力与容量．．．．．．．．．．．．．．．．．．．．．．．． 55
3．5 深度学习的基石：反向传播算法．．．．．．．．．．．．．．．．．．．．．．． 57
3．5．1 链式法则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 57
3．5．2 反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 58
3．5．3 Sigmoid 函数举例．．．．．．．．．．．．．．．．．．．．．．．．．．． 58
3．6 各种优化算法的变式．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 59
3．6．1 梯度下降法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 59
3．6．2 梯度下降法的变式．．．．．．．．．．．．．．．．．．．．．．．．．． 62
3．7 处理数据和训练模型的技巧．．．．．．．．．．．．．．．．．．．．．．．．． 64
3．7．1 数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 64
3．7．2 权重初始化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 66
3．7．3 防止过拟合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 67
3．8 多层全连接神经网络实现MNIST 手写数字分类．．．．．．．．．．．．．． 69
3．8．1 简单的三层全连接神经网络．．．．．．．．．．．．．．．．．．．．． 70
3．8．2 添加激活函数．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 70
3．8．3 添加批标准化．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 71
3．8．4 训练网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 71
第4 章卷积神经网络76
4．1 主要任务及起源．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 76
4．2 卷积神经网络的原理和结构．．．．．．．．．．．．．．．．．．．．．．．．． 77
4．2．1 卷积层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 80
4．2．2 池化层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 84
4．2．3 全连接层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 85
4．2．4 卷积神经网络的基本形式．．．．．．．．．．．．．．．．．．．．．． 85
4．3 PyTorch 卷积模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 87
4．3．1 卷积层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 87
4．3．2 池化层．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 88
4．3．3 提取层结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 90
4．3．4 如何提取参数及自定义初始化．．．．．．．．．．．．．．．．．．．． 91
4．4 卷积神经网络案例分析．．．．．．．．．．．．．．．．．．．．．．．．．．．． 92
4．4．1 LeNet ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 93
4．4．2 AlexNet ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 94
4．4．3 VGGNet ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 95
4．4．4 GoogLeNet ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 98
4．4．5 ResNet ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 100
4．5 再实现MNIST 手写数字分类．．．．．．．．．．．．．．．．．．．．．．．．． 103
4．6 图像增强的方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 105
4．7 实现cifar10 分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 107
第5 章循环神经网络111
5．1 循环神经网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 111
5．1．1 问题介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 112
5．1．2 循环神经网络的基本结构．．．．．．．．．．．．．．．．．．．．．． 112
5．1．3 存在的问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 115
5．2 循环神经网络的变式：LSTM 与GRU ．．．．．．．．．．．．．．．．．．．． 116
5．2．1 LSTM ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 116
5．2．2 GRU ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 119
5．2．3 收敛性问题．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 120
5．3 循环神经网络的PyTorch 实现．．．．．．．．．．．．．．．．．．．．．．．． 122
5．3．1 PyTorch 的循环网络模块．．．．．．．．．．．．．．．．．．．．．．． 122
5．3．2 实例介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 127
5．4 自然语言处理的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 131
5．4．1 词嵌入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 131
5．4．2 词嵌入的PyTorch 实现．．．．．．．．．．．．．．．．．．．．．．．． 133
5．4．3 N Gram 模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 133
5．4．4 单词预测的PyTorch 实现．．．．．．．．．．．．．．．．．．．．．．． 134
5．4．5 词性判断．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 136
5．4．6 词性判断的PyTorch 实现．．．．．．．．．．．．．．．．．．．．．．． 137
5．5 循环神经网络的更多应用．．．．．．．．．．．．．．．．．．．．．．．．．．． 140
5．5．1 Many to one ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 140
5．5．2 Many to Many（shorter）．．．．．．．．．．．．．．．．．．．．．．． 141
5．5．3 Seq2seq ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 141
5．5．4 CNN+RNN ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 142
第6 章生成对抗网络144
6．1 生成模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 144
6．1．1 自动编码器．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 145
6．1．2 变分自动编码器．．．．．．．．．．．．．．．．．．．．．．．．．．．． 150
6．2 生成对抗网络．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 153
6．2．1 何为生成对抗网络．．．．．．．．．．．．．．．．．．．．．．．．．． 153
6．2．2 生成对抗网络的数学原理．．．．．．．．．．．．．．．．．．．．．． 160
6．3 Improving GAN ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 164
6．3．1 Wasserstein GAN ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 164
6．3．2 Improving WGAN ．．．．．．．．．．．．．．．．．．．．．．．．．．． 167
6．4 应用介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 168
6．4．1 Conditional GAN ．．．．．．．．．．．．．．．．．．．．．．．．．．．． 168
6．4．2 Cycle GAN ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 170
第7 章深度学习实战173
7．1 实例一――猫狗大战：运用预训练卷积神经网络进行特征提取与预测． 173
7．1．1 背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 174
7．1．2 原理分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 174
7．1．3 代码实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 177
7．1．4 总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 183
7．2 实例二――Deep Dream：探索卷积神经网络眼中的世界．．．．．．．．． 183
7．2．1 原理介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 184
7．2．2 预备知识：backward ．．．．．．．．．．．．．．．．．．．．．．．．． 185
7．2．3 代码实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 190
7．2．4 总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 195
7．3 实例三――Neural-Style：使用PyTorch 进行风格迁移．．．．．．．．．．． 196
7．3．1 背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 196
7．3．2 原理分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 197
7．3．3 代码实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 199
7．3．4 总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 205
7．4 实例四――Seq2seq：通过RNN 实现简单的Neural Machine Translation ． 205
7．4．1 背景介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 206
7．4．2 原理分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 206
7．4．3 代码实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 209
7．4．4 总结．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 221