PyTorch计算机视觉实战：目标检测、图像处理与深度学习

CONTENTS
目　　录
译者序
前言
第一部分　面向计算机视觉的
深度学习基础知识
第1章　人工神经网络基础　2
1.1　比较人工智能与传统机器学习　3
1.2　人工神经网络的构建模块　4
1.3　实现前向传播　6
1.3.1　计算隐藏层的值　6
1.3.2　应用激活函数　7
1.3.3　计算输出层的值　9
1.3.4　计算损失值　9
1.3.5　前向传播的代码　11
1.4　实现反向传播　14
1.4.1　梯度下降的代码　15
1.4.2　使用链式法则实现
反向传播　17
1.5　整合前向传播与反向传播　20
1.6　理解学习率的影响　22
1.7　总结神经网络的训练过程　28
1.8　小结　29
1.9　课后习题　29
第2章　PyTorch基础　30
2.1　安装PyTorch　30
2.2　PyTorch张量　32
2.2.1　初始化张量　33
2.2.2　张量运算　34
2.2.3　张量对象的自动梯度　37
2.2.4　PyTorch的张量较
NumPy的ndarrays
的优势　38
2.3　使用PyTorch构建神经网络　39
2.3.1　数据集、数据加载器和
批大小　45
2.3.2　预测新的数据点　48
2.3.3　实现自定义损失函数　49
2.3.4　获取中间层的值　50
2.4　使用序贯方法构建神经网络　51
2.5　保存并加载PyTorch模型　54
2.5.1　state dict　54
2.5.2　保存　55
2.5.3　加载　55
2.6　小结　55
2.7　课后习题　56
第3章　使用PyTorch构建深度
神经网络　57
3.1　表示图像　57
3.2　为什么要使用神经网络进行
图像分析　62
3.3　为图像分类准备数据　64
3.4　训练神经网络　66
3.5　缩放数据集以提升模型准确度　71
3.6　理解不同批大小的影响　74
3.6.1　批大小为32　75
3.6.2　批大小为10 000　79
3.7　理解不同损失优化器的影响　80
3.8　理解不同学习率的影响　83
3.8.1　学习率对缩放数据集
的影响　83
3.8.2　不同学习率对非缩放
数据集的影响　88
3.9　理解不同学习率衰减的影响　90
3.10　构建更深的神经网络　93
3.11　理解不同批归一化的影响　94
3.11.1　没有批归一化的非常小
的输入值　96
3.11.2　经过批归一化的非常小
的输入值　98
3.12　过拟合的概念　100
3.12.1　添加dropout的影响　100
3.12.2　正则化的影响　102
3.13　小结　106
3.14　课后习题　106
第二部分　物体分类与目标检测
第4章　卷积神经网络　108
4.1　传统深度神经网络的问题　108
4.2　CNN的构建模块　111
4.2.1　卷积　112
4.2.2　滤波器　113
4.2.3　步长和填充　114
4.2.4　池化　115
4.2.5　整合各个构建模块　116
4.2.6　卷积和池化的图像平移
不变性原理　117
4.3　实现CNN　117
4.3.1　使用PyTorch构建基于
CNN的架构　118
4.3.2　基于Python的前向传播　121
4.4　使用深度CNN分类图像　123
4.5　实现数据增强　127
4.5.1　图像增强　127
4.5.2　对一批图像执行数据增强
及collate_fn的必要性　137
4.5.3　用于图像平移的数据
增强　140
4.6　特征学习结果的可视化　143
4.7　构建对真实图像进行分类
的CNN　153
4.8　小结　161
4.9　课后习题　162
第5章　面向图像分类的迁移学习　163
5.1　迁移学习简介　163
5.2　理解VGG16架构　164
5.3　理解ResNet架构　174
5.4　实现人脸关键点检测　178
5.5　多任务学习—实现年龄估计
和性别分类　186
5.6　torch_snippets库简介　195
5.7　小结　200
5.8　课后习题　200
第6章　图像分类的实战技术　201
6.1　生成CAM　201
6.2　数据增强和批归一化　207
6.3　模型实现的实践要点　212
6.3.1　处理不平衡数据　212
6.3.2　分类图像中目标的大小　213
6.3.3　训练数据和验证数据
之间的差异　213
6.3.4　扁平层中的节点数　214
6.3.5　图像的大小　214
6.3.6　使用OpenCV实用程序　214
6.4　小结　215
6.5　课后习题　215
第7章　目标检测基础　216
7.1　目标检测简介　216
7.2　为训练图像样本创建真值　217
7.3　理解区域建议　220
7.3.1　使用SelectiveSearch
生成区域建议　221
7.3.2　实现用于生成区域建议
的SelectiveSearch　222
7.4　理解IoU　224
7.5　非极大抑制　226
7.6　mAP　226
7.7　训练基于R-CNN的定制目标
检测器　227
7.7.1　R-CNN的工作细节　227
7.7.2　基于定制数据集实现
R-CNN目标检测模型　228
7.8　训练基于Fast R-CNN的定制
目标检测器　241
7.8.1　Fast R-CNN的工作细节　242
7.8.2　基于定制数据集实现Fast R-CNN目标检测模型　242
7.9　小结　249
7.10　课后习题　249
第8章　目标检测进阶　250
8.1　现代目标检测算法的组成　250
8.1.1　锚盒　250
8.1.2　区域建议网络　252
8.2　基于定制数据集训练Faster
R-CNN　254
8.3　YOLO的工作细节　260
8.4　基于定制数据集训练YOLO　265
8.4.1　安装Darknet　265
8.4.2　设置数据集格式　267
8.4.3　配置架构　268
8.4.4　训练和测试模型　269
8.5　SSD模型的工作细节　270
8.6　基于定制数据集训练SSD
模型　274
8.7　小结　278
8.8　课后习题　278
第9章　图像分割　279
9.1　探索U-Net架构　279
9.2　使用U-Net实现语义分割　283
9.3　探索Mask R-CNN架构　288
9.3.1　RoI对齐　290
9.3.2　掩码头部　291
9.4　使用Mask R-CNN实现实例
分割　292
9.5　小结　305
9.6　课后习题　306
第10章　目标检测与分割的应用　307
10.1　多目标实例分割　307
10.1.1　获取和准备数据　308
10.1.2　训练用于实例分割的
模型　312
10.1.3　对新图像进行推断　313
10.2　人体姿态检测　315
10.3　人群计数　316
10.4　图像着色　325
10.5　面向点云的三维目标检测　330
10.5.1　理论　330
10.5.2　训练YOLO模型实现
三维目标检测　334
10.6　小结　337
第三部分　图像处理
第11章　自编码器与图像处理　340
11.1　理解自编码器　340
11.2　理解卷积自编码器　346
11.3　理解变分自编码器　351
11.3.1　VAE的工作机制　352
11.3.2　KL散度　353
11.3.3　构建VAE模型　353
11.4　图像对抗性攻击　357
11.5　图像风格迁移　360
11.6　生成深度虚拟图像　366
11.7　小结　375
11.8　课后习题　375
第12章　基于GAN的图像生成　376
12.1　GAN模型简介　376
12.2　使用GAN生成手写数字　378
12.3　使用DCGAN生成人脸图像　383
12.4　实现条件GAN模型　391
12.5　小结　399
12.6　课后习题　400
第13章　高级GAN图像处理　401
13.1　使用Pix2Pix GAN模型　401
13.2　使用CycleGAN模型　410
13.3　在定制图像上使用StyleGAN
模型　418
13.4　超分辨率GAN　426
13.4.1　架构　427
13.4.2　编码SRGAN　428
13.5　小结　429
13.6　课后习题　430
第四部分　计算机视觉与其他技术
第14章　使用小样本进行模型训练　432
14.1　实现零样本学习　432
14.2　实现小样本学习　437
14.2.1　构建Siamese网络　438
14.2.2　原型网络的工作细节　444
14.2.3　关系网络的工作细节　445
14.3　小结　446
14.4　课后习题　446
第15章　计算机视觉与NLP　447
15.1　RNN模型简介　447
15.1.1　RNN架构的应用场景　448
15.1.2　探索RNN的结构　449
15.1.3　为什么需要存储记忆　449
15.2　LSTM架构简介　450
15.2.1　LSTM的工作细节　451
15.2.2　使用PyTorch实现
LSTM　453
15.3　生成图像标题　453
15.4　转录手写图像　465
15.4.1　CTC损失的工作细节　466
15.4.2　计算CTC损失值　467
15.4.3　手写转录的代码实现　468
15.5　使用DETR进行目标检测　476
15.5.1　transformer的工作细节　476
15.5.2　DETR的工作细节　479
15.5.3　目标检测的代码实现　482
15.6　小结　485
15.7　课后习题　485
第16章　计算机视觉与强化学习　486
16.1　强化学习基础知识　486
16.1.1　计算状态价值　487
16.1.2　计算状态–行为价值　488
16.2　实现Q学习　489
16.2.1　Q值　489
16.2.2　了解Gym环境　490
16.2.3　构建Q表　491
16.2.4　探索–利用机制　493
16.3　实现深度Q学习　495
16.4　目标固定的深度Q学习　501
16.5　实现自动驾驶智能体　508
16.5.1　安装CARLA环境　508
16.5.2　训练自动驾驶智能体　511
16.6　小结　518
16.7　课后习题　519
第17章　模型的实际应用部署　520
17.1　API基础知识　520
17.2　在本地服务器上创建API并
进行预测　521
17.2.1　安装API模块和依赖项　522
17.2.2　图像分类器的支持组件　522
17.3　将API部署到云端　525
17.3.1　Docker镜像与Docker
容器　526
17.3.2　创建Docker容器　526
17.3.3　在云端发布并运行
Docker容器　530
17.4　小结　535
第18章　使用OpenCV实用程序
进行图像分析　536
18.1　图像中的单词检测　536
18.2　图像中的车道线检测　542
18.3　基于颜色的目标检测　544
18.4　构建全景图像　546
18.5　图像中的车牌检测　550
18.6　小结　552
附录　课后习题答案　554