深度学习架构与实践

目录
前言
绪论1
第1章 深度学习的架构8
11如何区分人工智能、机器学习、深度学习8
111人工智能：从概念提出到走向繁荣8
112机器学习：一种实现人工智能的方法9
113深度学习：一种实现机器学习的技术9
114人工智能、机器学习和深度学习的关系9
12深度学习的发展历史及研究现状10
121深度学习的发展历史10
122深度学习的研究现状11
13深度学习的基本内容及理论基础13
131深度学习的基本内容13
132深度学习的理论基础15
14深度学习的发展趋势与未来15
141深度学习的发展趋势15
142深度学习的未来16
第2章 深度学习相关数学基础17
21线性代数17
211标量、向量、矩阵和张量17
212矩阵和向量相乘18
213单位矩阵和逆矩阵19
214线性相关和生成子空间19
215范数21
216特殊类型的矩阵和向量22
217特征分解23
218奇异值分解24
219Moore-Penrose伪逆25
2110迹运算25
2111行列式26
2112主成分分析26
22概率论与信息论29
221随机试验、频率与概率、随机变量29
222随机变量的分布情况30
223二维随机变量31
224期望、方差、协方差、相关系数33
225常用的概率分布34
226常用函数的有用性质37
227连续型变量的技术细节39
228信息论40
229结构化概率模型41
23拟合、梯度下降与传播43
231过拟合和欠拟合43
232随机梯度下降44
233正向传播与反向传播47
第3章 神经网络的架构48
31神经网络与神经元48
32深度神经网络的概念与结构49
321深度神经网络的概念49
322深度神经网络的结构49
33深度神经网络的分类50
331前馈深度网络50
332反馈深度网络51
333双向深度网络51
34自动编码器与玻尔兹曼机51
341自动编码器51
342玻尔兹曼机52
第4章 卷积神经网络53
41卷积神经网络的概念53
42卷积神经网络的基本结构54
421卷积层55
422池化层56
423全连接层56
43非线性层与激活函数57
431Sigmoid激活函数57
432Tanh函数59
433Relu函数60
44感受野与权值共享61
441局部感受野61
442权值共享61
45卷积神经网络与反卷积神经网络62
451卷积神经网络及其特点62
452反卷积神经网络及其特点63
46卷积神经网络的训练63
第5章 循环神经网络64
51RNN的概念64
52RNN的结构64
53RNN的训练65
531反向传播算法的原理65
532反向传播算法的步骤65
54RNN的实现71
541梯度爆炸与梯度消失71
542基于RNN的语言模型例子71
543语言模型训练过程73
55RNN的发展74
551双向循环神经网络74
552长短时记忆结构75
第6章 生成对抗网络7761GAN的概念77
611对抗思想与GAN77
612最大似然估计及最优化问题79
613GAN的训练过程81
62GAN的原理82
621生成器82
622判别器83
63GAN的应用84
64GAN的发展85
641GAN的优缺点85
642GAN的未来发展方向86
第7章 Python相关基础8771Python程序结构87
711循环结构87
712分支结构89
72NumPy操作90
721NumPy的主要特点91
722ndarray91
723NumPy-数据类型94
724NumPy-数组属性94
725NumPy-数组创建例程96
726NumPy-切片和索引98
727NumPy-字符串函数99
728NumPy-算数函数100
729NumPy-算数运算100
7210NumPy-统计函数101
7211NumPy-排序、搜索和计数函数102
7212NumPy-字节交换103
7213NumPy-副本和视图103
7214NumPy-矩阵库104
7215NumPy-线性代数105
73函数105
731Python中函数的应用105
732Python函数的定义107
733Python函数的调用108
734为函数提供说明文档109
74第三方资源110
第8章 TensorFlow、Theano、Caffe的框架与安装113
81TensorFlow的框架与安装113
811TensorFlow的简介113
812TensorFlow的架构113
813TensorFlow的特点114
814TensorFlow的安装114
82Theano的框架与安装118
821Theano的简介118
822Theano的安装119
83Caffe的架构与安装121
831Caffe的简介121
832Caffe的安装122
第9章 TensorFlow、Theano、Caffe的原理及应用124
91TensorFlow的原理及应用124
911TensorFlow的工作原理124
912TensorFlow的简单应用126
913TensorFlow的复杂应用129
92Theano的基本语法及应用145
921Theano的基本语法145
922Theano在Windows下的常用实例149
923用Theano来编写一个简单的神经网络154
93Caffe的结构、写法及应用157
931Caffe的结构157
932Caffe的写法157
933Caffe的训练与测试167
第10章 手写数字识别实例177
101字符识别的意义177
102字符识别的设计与实现177
1021实验简介177
1022实验环境搭建178
103单层神经网络搭建178
1031网络搭建过程178
1032梯度下降180
104多层神经网络搭建183
1041Sigmoid激活函数184
1042Relu激活函数184
1043衰减学习率187
1044添加dropout解决过拟合现象188
105卷积神经网络190
第11章 自动生成图像描述实例195
111自动生成图像描述的目标195
112自动生成图像描述的设计198
113语言生成模型201
114自动生成图像描述的实现203
115实验结果及分析221
第12章 唇语识别实例225
121唇语识别技术的目标225
122特征提取225
1221CNN的唇部视觉特征提取225
1222RNN的时序特征提取226
1223特征分类算法SVM、KNN、Softmax228
123唇语识别模型网络架构230
1231抽取视频帧算法与视频唇部区域定位230
1232图像特征提取网络架构233
1233基于注意力机制的时间特征提取架构234
1234唇语识别模型与整体识别流程235
124实验结果及分析239
1241数据集与预处理239
1242实验结果239
1243可视化分析242
参考文献246