TensorFlow神经网络编程

译者序

作者简介

审校者简介

前言

第1 章　神经网络的数学原理 1

1.1　理解线性代数 1

1.1.1　环境设置 2

1.1.2　线性代数的数据结构 3

1.1.3　线性代数运算 4

1.1.4　求解线性方程 · 9

1.1.5　奇异值分解 11

1.1.6　特征值分解 14

1.1.7　主成分分析 14

1.2　微积分 15

1.2.1　梯度 16

1.2.2　Hessian 矩阵 23

1.2.3　行列式 24

1.3　最优化 25

1.4　总结 28

第2 章　深度前馈神经网络 29

2.1　定义前馈神经网络 29

2.2　理解反向传播 30

2.3　在TensorFlow 中实现前馈神经网络 · 31

2.4　分析Iris 数据集 · 34

2.5　使用前馈网络进行图像分类 40

2.6　总结 54

第3 章　神经网络的优化 · 55

3.1　什么是优化 55

3.2　优化器的类型 56

3.3　梯度下降 57

3.3.1　梯度下降的变体 58

3.3.2　优化梯度下降的算法 59

3.4　优化器的选择 61

3.5　总结 64

第4 章　卷积神经网络 · 65

4.1　卷积神经网络概述和直观理解 66

4.1.1　单个卷积层的计算 66

4.1.2　TensorFlow 中的CNN 70

4.2　卷积操作 · 72

4.2.1　对图像进行卷积 73

4.2.2　步长 75

4.3　池化 · 76

4.3.1　最大池化 77

4.3.2　示例代码 78

4.4　使用卷积网络进行图像分类 80

4.5　总结 · 102

第5 章　递归神经网络 · 103

5.1　递归神经网络介绍 103

5.1.1　RNN 实现 105

5.1.2　TensorFlow RNN 实现 110

5.2　长短期记忆网络简介 114

5.2.1　LSTM 的生命周期 115

5.2.2　LSTM 实现 117

5.3　情感分析 122

5.3.1　词嵌入 122

5.3.2　使用RNN 进行情感分析 · 128

5.4　总结 134

第6 章　生成模型 135

6.1　生成模型简介 135

6.1.1　判别模型对生成模型 136

6.1.2　生成模型的类型 137

6.2　GAN · 140

6.2.1　GAN 示例 141

6.2.2　GAN 的种类 150

6.3　总结 · 152

第7 章　深度信念网络 · 153

7.1　理解深度信念网络 154

7.2　训练模型 161

7.3　标签预测 162

7.4　探索模型的准确度 162

7.5　DBN 在MNIST 数据集上的应用 · 163

7.5.1　加载数据集 163

7.5.2　具有256 个神经元的RBM层的DBN 的输入参数 · 163

7.5.3　具有256 个神经元的RBM层的DBN 的输出 · 165

7.6　DBN 中RBM 层的神经元数量的影响 · 165

7.6.1　具有512 个神经元的RBM 层 · 165

7.6.2　具有128 个神经元的RBM 层 · 166

7.6.3　准确度指标对比 166

7.7　具有两个RBM 层的DBN 167

7.8　用DBN 对NotMNIST 数据集进行分类 · 169

7.9　总结 172

第8 章　自编码器 173

8.1　自编码算法 174

8.2　欠完备自编码器 175

8.3　数据集 · 175

8.4　基本自编码器 177

8.4.1　自编码器的初始化 177

8.4.2　AutoEncoder 类 178

8.4.3　应用于MNIST 数据集的基本自编码器 180

8.4.4　基本自编码器的完整代码 · 184

8.4.5　基本自编码器小结 186

8.5　加性高斯噪声自编码器 186

8.5.1　自编码器类 187

8.5.2　应用于MNIST 数据集的加性高斯自编码器 188

8.5.3　绘制重建的图像 191

8.5.4　加性高斯自编码器的完整代码 · 192

8.5.5　比较基本自编码器和加性高斯噪声自编码器 193

8.5.6　加性高斯噪声自编码器小结 · 194

8.6　稀疏自编码器 194

8.6.1　KL 散度 194

8.6.2　稀疏自编码器的完整代码 · 196

8.6.3　应用于MNIST 数据集的稀疏自编码器 198

8.6.4　比较稀疏自编码器和加性高斯噪声自编码器 200

8.7　总结 200

第9 章　神经网络研究 · 201

9.1　神经网络中避免过拟合 201

9.1.1　过拟合问题阐述 201

9.1.2　过拟合解决方案 202

9.1.3　影响效果 203

9.2　使用神经网络进行大规模视频处理 204

9.2.1　分辨率改进方案 204

9.2.2　特征直方图基线 205

9.2.3　定量结果 205

9.3　使用双分支互向神经网络进行命名实体识别 206

9.3.1　命名实体识别的例子 206

9.3.2　定义Twinet 207

9.3.3　结果 208

9.4　双向递归神经网络 208

9.5　总结 209

第10 章　开始使用TensorFlow 211

10.1　环境搭建 211

10.2　比较TensorFlow 和Numpy 212

10.3　计算图 213

10.3.1　图 213

10.3.2　会话对象 214

10.3.3　变量 215

10.3.4　域 216

10.3.5　数据输入 217

10.3.6　占位符和输入字典 217

10.4　自动微分 218

10.5　TensorBoard · 219

......