基于Theano的深度学习：构建未来与当前的人工大脑

译者序

原书前言

本书作者

原书致谢

第1 章　Theano 基础 //1

1.1　张量所需 //1

1.2　安装和加载Theano //2

1.2.1　Conda 软件包和环境管理器 // 2

1.2.2　在CPU 上安装和运行Theano // 2

1.2.3　GPU 驱动和相关库 // 3

1.2.4　在GPU 上安装和运行Theano // 4

1.3　张量 //5

1.4　计算图和符号计算 //8

1.5　张量操作 //11

1.5.1　维度操作算子 // 13

1.5.2　元素操作算子 // 14

1.5.3　约简操作算子 // 16

1.5.4　线性代数算子 // 16

1.6　内存和变量 //18

1.7　函数和自动微分 //20

1.8　符号计算中的循环运算 //22

1.9　配置、分析和调试 //26

1.10　小结 //29

第2 章　 基于前馈神经网络的手写体数

字分类 //30

2.1　MNIST 数据集 // 30

2.2　训练程序架构 // 32

2.3　分类损失函数 // 33

2.4　单层线性模型 // 34

2.5　成本函数和误差 // 35

2.6　反向传播算法和随机梯度下降 // 36

2.7　多层模型 // 37

2.8　卷积层和最大池化层 // 43

2.9　训练 // 47

2.10　退出 // 52

2.11　推理 // 52

2.12　优化和其他更新规则 // 52

2.13　延伸阅读 // 56

2.14　小结 // 57

第3 章　单词的向量编码 //58

3.1　编码和嵌入 // 58

3.2　数据集 // 60

3.3　连续词袋模型 // 62

3.4　模型训练 // 66

3.5　可视化学习嵌入 // 68

3.6　嵌入评价—类比推理 // 70

3.7　嵌入评价—量化分析 // 72

3.8　单词嵌入应用 // 72

3.9　权重绑定 // 73

基于Theano 的深度学习：

构建未来与当前的人工大脑

XIV

3.10　延伸阅读 // 73

3.11　小结 // 74

第4 章　 基于递归神经网络的文本

生成 //75

4.1　RNN 所需 // 75

4.2　自然语言数据集 // 76

4.3　简单递归网络 // 79

4.3.1　LSTM 网络 // 81

4.3.2　门控递归网络 // 83

4.4　自然语言性能评测 // 84

4.5　训练损失比较 // 84

4.6　预测示例 // 86

4.7　RNN 的应用 // 87

4.8　延伸阅读 // 88

4.9　小结 // 89

第5 章　 基于双向LSTM 的情感

分析 // 90

5.1　Keras 的安装和配置 // 90

5.1.1　Keras 编程 // 91

5.1.2　SemEval 2013 数据集 // 93

5.2　文本数据预处理 // 94

5.3　模型架构设计 // 96

5.3.1　单词的向量表征 // 96

5.3.2　基于双向LSTM 的语句表征 // 97

5.3.3　softmax 分类器的输出概率 // 98

5.4　模型编译与训练 // 99

5.5　模型评估 // 99

5.6　模型保存与加载 // 100

5.7　示例运行 // 100

5.8　延伸阅读 // 100

5.9　小结 // 101

第6 章　 基于空间变换网络的

定位 // 102

6.1　 基于Lasagne 的MNIST CNN 模型

// 102

6.2　定位网络 // 104

6.2.1　RNN 在图像中的应用 // 108

6.3　基于共定位的非监督式学习 // 112

6.4　基于区域的定位网络 // 112

6.5　延伸阅读 // 113

6.6　小结 // 114

第7 章　 基于残差网络的图像

分类 // 115

7.1　自然图像数据集 // 115

7.1.1　批处理标准化 // 116

7.1.2　全局平均池化 // 117

7.2　残差连接 // 118

7.3　随机深度 // 123

7.4　密集连接 // 124

7.5　多GPU // 125

7.6　数据增强 // 126

7.7　延伸阅读 // 127

7.8　小结 // 127

第8 章　 基于编码—解码网络的翻译

与解释 // 128

8.1　 序列—序列网络在自然语言处理

中的应用 // 128

8.2　 序列—序列网络在语言翻译中的

应用 // 133

8.3　 序列—序列网络在聊天机器人中的

应用 // 134

8.4　序列—序列网络的效率提高 // 134

8.5　图像反卷积 // 136

目　录

XV

8.6　多模态深度学习 // 140

8.7　延伸阅读 // 140

8.8　小结 // 142

第9 章　 基于注意力机制的相关输入

或记忆选择 // 143

9.1　注意力可微机制 // 143

9.1.1　 基于注意力机制的最佳

翻译 // 144

9.1.2　 基于注意力机制的最佳图像

注释 // 145

9.2　 神经图灵机中的信息存储和

检索 // 146

9.3　记忆网络 // 148

9.3.1　 基于动态记忆网络的情景

记忆 // 149

9.4　延伸阅读 // 150

9.5　小结 // 151

第10 章　 基于先进递归神经网络的时

间序列预测 // 152

10.1　RNN 的退出 // 152

10.2　RNN 的深度学习方法 // 153

10.3　层叠递归网络 // 154

10.4　深度转移递归网络 // 157

10.5　高速网络设计原理 // 157

10.6　递归高速网络 // 158

10.7　延伸阅读 // 159

10.8　小结 // 159

第11 章　强化环境学习 // 160

11.1　强化学习任务 // 160

11.2　仿真环境 // 161

11.3　Q 学习 // 164

11.4　深度Q 学习网络 // 166

11.5　训练稳定性 // 167

11.6　 基于REINFORCE 算法的策略

梯度 // 169

11.7　延伸阅读 // 171

11.8　小结 // 172

第12 章　 基于非监督式网络的特征

学习 // 173

12.1　生成模型 // 173

12.1.1　受限玻耳兹曼机 // 173

12.1.2　深度信念网络 // 177

12.1.3　生成性对抗网络 // 178

12.1.4　改进GAN // 182

12.2　半监督式学习 // 182

12.3　延伸阅读 // 183

12.4　小结 // 184

第13 章　 基于Theano 的深度学习

扩展 // 185

13.1　 CPU 中Python 实现的Theano

操作 // 185

13.2　 GPU 中Python 实现的Theano

操作 // 188

13.3　 CPU 中C 实现的Theano 操作 //

190

13.4　 GPU 中C 实现的Theano 操作 //

193

13.5　 通过共享内存的合并转置，NVIDIA

并行 // 196

13.5.1　模型转换 // 197

13.6　人工智能的未来发展 // 199

13.7　延伸阅读 // 201

13.8　小结 // 202