深度学习入门与实践

第1章 机器学习概述与线性回归模型
1.1 机器学习基本概念
1.2 神经元模型
1.3 线性回归
1.4 线性回归的实现
1.5 模型的测试
1.6 Adagrad算法
1.7 高次模型
第2章 基于概率的分类模型
2.1 分类基本概念
2.2 回归模型用于分类问题
2.3 分类问题的建模
2.4 先验概率的估算
2.5 解决分类问题
2.6 模型优化
2.7 基于概率的分类模型总结
2.8 后验概率
第3章 逻辑回归
3.1 逻辑回归的三个步骤
3.2 逻辑回归和线性回归的比较
3.3 判别模型和生成模型
3.4 多类别分类
3.5 逻辑回归的局限性
第4章 深度学习概述
4.1 深度学习的应用及发展历程
4.2 深度学习基本概念
4.3 全连接前馈神经网络
4.4 手写体数字识别实例
4.4.1 模型构建
4.4.2 实现MNIST数字识别
4.4.3 总结与思考
第5章 反向传播
5.1 链式求导
5.2 反向传播的推导
5.3 反向传播的Python实现
5.3.1 实现误差反向传播算法的两层神经网络
5.3.2 误差反向传播的梯度确认
5.3.3 使用误差反向传播法的学习
第6章 PyTorch编程案例
6.1 基于PyTorch的神经网络实现
6.2 训练参数分析
6.3 模型的保存和加载
6.4 模型的评估
第7章 深度学习训练技巧
7.1 深度学习训练中存在的问题
7.2 训练阶段问题以及应对技巧
7.2.1 梯度消失问题
7.2.2 更换激活函数
7.2.3 设置自适应的学习率
7.3 测试阶段问题的应对技巧
7.3.1 早停
7.3.2 正则化
7.3.3 Dmpout
第8章 卷积神经网络
8.1 CNN设计准则
8.1.1 局部性准则
8.1.2 参数共享准则
8.1.3 子采样准则
8.2 CNN的整体架构
8.3 CNN的卷积层
8.3.1 卷积运算概述
8.3.2 卷积层和全连接层的比较
8.4 池化层
8.5 卷积之后的全连接层
第9章 深层网络的意义
9.1 神经网络的层数
9.2 深度学习的模块化思想
9.3 模块化实例——语音
9.4 模块化与万有逼近定理
9.5 端到端学习
9.6 采用深度学习的更多理由
第10章 词嵌入模型
10.1 独热编码与单词聚类
10.2 词嵌人模型、单词语义、上下文
10.3 两种词嵌入模型
10.4 词嵌入模型的训练和变种
10.5 词嵌入模型的性质
10.6 词嵌入模型的应用
第11章 循环神经网络
11.1 填槽技术给DNN带来的挑战
11.2 RNN初探
11.3 RNN的变种
11.4 长短期记忆网络单元
11.5 LSTM与DNN以及RNN的关联
11.6 RNN的训练
11.7 RNN的应用
参考文献