第 1 章 从生活走进深度学习 1
1．1 钞票面值问题1
1．2 机器学习的特征表示5
1．3 机器学习10
1．4 深度学习的逆袭14
1．5 总结与提问 19
第 2 章 构建小型神经网络20
2．1 线性代数基础21
2．2 全连接层与非线性函数27
2．3 神经网络可视化30
2．4 反向传播法35
2．5 反向传播法的计算方法37
2．6 反向传播法在计算上的抽象40
2．7 反向传播法在批量数据上的推广42
2．8 模型训练与结果可视化46
2．9 总结与提问48
第 3 章 多层网络与分类50
3．1 MNIST 数据集50
3．2 概率论基础51
3．3 Softmax 函数57
3．4 交叉熵损失60
3．5 使用 PyTorch 实现模型构建与训练67
3．6 模型结果分析72
3．7 总结与提问74
第 4 章 卷积神经网络76
4．1 卷积操作76
4．2 卷积层汇总了什么83
4．3 卷积层的反向传播87
4．4 ReLU93
4．5 Pooling 层97
4．6 卷积神经网络实验101
4．7 卷积神经网络的感受野103
4．8 总结与提问112
第 5 章 网络初始化113
5．1 错误的初始化113
5．2 关于数值的初始化实验116
5．3 Xavier 初始化122
5．4 MSRA 初始化128
5．5 ZCA 初始化132
5．6 总结与提问138
第 6 章 网络优化140
6．1 梯度下降法140
6．2 动量法145
6．3 随机梯度下降的变种算法151
6．4 总结与提问164
第 7 章 进一步强化网络165
7．1 Dropout165
7．2 Batch Normalization168
7．3 总结与提问176
第 8 章 高级网络结构178
8．1 CIFAR10 数据集178
8．2 VGG 模型179
8．3 ResNet183
8．4 Inception 195
8．5 通道分解的网络196
8．6 总结与提问202
第 9 章 网络可视化203
9．1 模型优化路径的简单可视化203
9．2 卷积神经网络的可视化206
9．3 图像风格转换211
9．4 总结与提问217
第 10 章 物体检测218
10．1 物体检测的评价指标218
10．2 YOLOv3：一阶段检测算法223
10．3 Faster RCNN：两阶段检测算法230
10．4 总结与提问235
第 11 章 词嵌入237
11．1 One-Hot 编码的缺点237
11．2 分布式表征238
11．3 负采样242
11．4 SGNS 实现243
11．5 tSNE247
11．6 总结与提问255
第 12 章 循环神经网络256
12．1 语言模型与循环神经网络256
12．2 RNN 实现259
12．3 LSTM 网络262
12．4 语言模型实践266
12．5 LSTM 网络的可视化与分析272
12．6 RNN 的应用类型274
12．7 CTC276
12．8 总结与提问282
第 13 章 Transformer284
13．1 Transformer 模型的基本结构286
13．2 模型训练与预测293
13．3 BERT 模型296
13．4 总结与提问303
第 14 章 深度分解模型304
14．1 分解机306
14．2 评价指标 AUC310
14．3 DeepFM314
14．4 DeepFM 的改进方法317
14．5 总结与提问322
鄂公网安备 42010302001612号 