Python深度学习

第1章深度学习介绍1

1.1历史背景1

1.2相关领域的进展3

1.3先决条件3

1.4后续章节概述4

1.5安装所需函数库4

第2章机器学习基础5

2.1直觉5

2.2二元分类5

2.3回归6

2.4泛化7

2.5正规化12

2.6总结14

第3章前馈神经网络15

3.1单元15

3.1.1神经网络的整体结构16

3.1.2用向量形式表示神经网络17

3.1.3评估神经网络的输出18

3.1.4神经网络训练19

3.2使用极大似然估计成本函数20

3.2.1二元交叉熵20

3.2.2交叉熵21

3.2.3平方差21

3.2.4损失函数总结22

3.3单元/激活函数/层的类型22

3.3.1线性单元23

3.3.2Sigmoid单元23

3.3.3Softmax层23

3.3.4线性整流函数24

3.3.5双曲正切25

3.4用AutoGrad手写神经网络25

3.5总结27

第4章Theano介绍28

4.1什么是Theano28

4.2上手Theano28

4.3总结50

第5章卷积神经网络52

5.1卷积操作52

5.2池化操作56

5.3卷积-探测-池化57

5.4其他卷积59

5.5CNN背后的直觉61

5.6总结61

第6章递归神经网络62

6.1RNN基础62

6.2训练RNN65

6.3双向RNN69

6.4梯度爆炸和梯度消失72

6.5梯度削减72

6.6长短期记忆73

6.7总结75

第7章Keras介绍76

7.1单层神经网络76

7.2两层神经网络77

7.2.1用于多元分类的两层神经网络79

7.2.2两层神经网络的回归80

7.3Keras快速迭代82

7.3.1使用Keras构建卷积神经网络（CNN）85

7.3.2使用Keras构建LSTM88

7.4总结90

第8章随机梯度下降91

8.1优化问题91

8.2最速下降的方法92

8.3批量，随机（单例和迷你批）下降93

8.3.1批量93

8.3.2随机单例93

8.3.3随机迷你批93

8.3.4批量VS随机93

8.4SGD的挑战94

8.4.1局部最小值94

8.4.2鞍点94

8.4.3选择学习速率95

8.4.4窄谷中进展缓慢96

8.5SGD的算法变体97

8.5.1动量97

8.5.2Nesterov加速梯度（NAS）97

8.5.3退火和学习速率计划?98

8.5.4Adagrad98

8.5.5RMSProp99

8.5.6Adadelta99

8.5.7Adam99

8.5.8弹性反向传播100

8.5.9平衡SGD100

8.6使用SGD的技巧和提示100

8.6.1输入数据预处理101

8.6.2激活函数的选择101

8.6.3预处理目标值101

8.6.4参数初始化102

8.6.5打散数据102

8.6.6批标准化102

8.6.7提前停止102

8.6.8梯度噪声102

8.7并行和分布式SGD103

8.7.1Hogwild103

8.7.2Downpour103

8.8用Downhill动手实践SGD104

8.9总结109

第9章自动求导110

9.1数值求导110

9.2符号求导111

9.3自动求导基础112

9.3.1正向/正切线性模型113

9.3.2反向/余切/伴随线性模式115

9.3.3自动求导实现117

9.4源代码转换117

9.5运算符重载117

9.6用Autograd实现自动求导118

9.7总结122

第10章GPU介绍123

10.1基于GPU计算的关键要素123

10.2OpenCL系统物理视图124

10.3OpenCL系统的逻辑视图125

10.4OpenCL设备上的逻辑内存空间126

10.5OpenCL设备的编程模型127

10.6索引的符号128

10.7总结132