Python快乐编程：人工智能深度学习基础

第1章深度学习简介
1.1什么是机器学习
1.2什么是深度学习
1.2.1深度学习的发展
1.2.2深度学习的3个层次
1.2.3深度学习的3种结构类型
1.3深度学习的研究现状
1.4本章小结
1.5习题
第2章Theano基础
2.1初识Theano
2.2安装Theano
2.3配置环境变量
2.4Theano中的符号变量
2.5Theano编程风格
2.6Theano中的函数
2.6.1函数的定义
2.6.2函数的复制
2.6.3Theano中重要的函数
2.7Theano中的符号计算图模型
2.7.1variable节点
2.7.2type节点
2.7.3apply节点
2.7.4op节点
2.7.5符号计算图模型
2.8Theano中的条件表达式
2.9Theano中的循环
2.9.1scan循环的参数
2.9.2scan循环演示
2.10Theano中的常用Debug技巧
2.11本章小结
2.12习题
第3章线性代数基础
3.1标量、向量、矩阵和张量
3.2线性相关与生成子空间
3.2.1线性组合
3.2.2线性相关
3.2.3向量组的秩
3.2.4实例： 求解方程组
3.2.5实例： 线性回归
3.3范数
3.3.1向量范数
3.3.2矩阵范数
3.4特殊的矩阵与向量
3.5特征值分解
3.6奇异值分解
3.7迹运算
3.8本章小结
3.9习题
第4章概率与信息论
4.1概率的用途
4.2样本空间与随机变量
4.3随机变量的分布函数
4.4一维随机变量
4.4.1离散型随机变量和分布律
4.4.2连续型随机变量和概率密度函数
4.4.3分辨离散型随机变量和连续型随机变量
4.5多维随机变量
4.5.1二维随机变量及其分布函数
4.5.2边缘分布函数
4.6数学期望、方差、协方差
4.6.1数学期望
4.6.2方差
4.6.3协方差
4.7贝叶斯规则
4.7.1条件概率
4.7.2贝叶斯公式
4.7.3朴素贝叶斯
4.8正态分布与似然估计
4.8.1正态分布
4.8.2似然估计
4.9信息论
4.9.1信息熵
4.9.2条件熵
4.9.3互信息
4.9.4相对熵与交叉熵
4.10本章小结
4.11习题
第5章深度学习基础知识
5.1学习算法
5.1.1任务T
5.1.2性能度量P
5.1.3经验E
5.1.4人工神经网络
5.1.5反向传播算法
5.1.6MP神经元模型
5.1.7激活函数
5.2容量与拟合
5.2.1机器学习中的泛化
5.2.2过拟合
5.2.3欠拟合
5.2.4没有免费的午餐定理
5.3评估方法
5.4偏差与方差
5.5监督学习算法
5.5.1线性回归
5.5.2Logistic回归
5.5.3支持向量机
5.6无监督学习算法
5.6.1K均值聚类
5.6.2主成分分析
5.7本章小结
5.8习题
第6章数值计算与化
6.1计算的稳定性
6.1.1上溢和下溢
6.1.2平滑与0
6.1.3算法稳定性与扰动
6.2数据的稳定性
6.2.1独立同分布与泛化能力
6.2.2类别不平衡
6.3性能的稳定性
6.4病态条件数
6.5梯度下降算法
6.6优化算法的选择
6.7本章小结
6.8习题
第7章概率图模型
7.1概率图模型
7.2生成模型与判别模型
7.2.1生成模型
7.2.2判别模型
7.3表示理论与推理理论
7.4链式法则和因子分解
7.5独立性和条件独立性
7.6贝叶斯网络
7.7马尔可夫网络
7.7.1条件独立性
7.7.2分解性质
7.7.3图像降噪
7.8图模型中的推断
7.8.1链推断
7.8.2树
7.8.3因子图
7.8.4置信传播算法
7.8.5一般图的精确推断
7.8.6学习图结构
7.9本章小结
7.10习题
第8章前馈神经网络
8.1神经元
8.2人工神经网络
8.3感知机
8.3.1线性单元
8.3.2感知机的训练
8.4激活函数
8.4.1Sigmoid函数
8.4.2Tanh函数
8.4.3ReLU函数
8.4.4Softmax函数
8.5基于梯度的学习
8.5.1前馈神经网络的基本概念
8.5.2随机梯度下降算法
8.6本章小结
8.7习题
第9章反向传播与梯度计算
9.1风险小化
9.1.1经验风险小化
9.1.2结构风险小化
9.2梯度计算
9.2.1输出层梯度
9.2.2隐藏层梯度
9.2.3参数梯度
9.2.4梯度消失和梯度爆炸
9.3反向传播
9.4本章小结
9.5习题
第10章自编码器
10.1自编码器概述
10.2欠完备自编码器
10.3常见的几种自编码器
10.3.1降噪自编码器
10.3.2稀疏自编码器
10.3.3栈式自编码器
10.4本章小结
10.5习题
第11章玻尔兹曼机及其相关模型
11.1玻尔兹曼机
11.1.1玻尔兹曼机概述
11.1.2受限玻尔兹曼机
11.2能量模型
11.2.1能量函数
11.2.2能量函数与势函数
11.2.3势函数与概率分布
11.3近似推断
11.3.1边缘分布
11.3.2条件分布
11.4对比散度
11.5本章小结
11.6习题
第12章循环神经网络
12.1循环神经网络概述
12.2语言模型
12.3双向循环神经网络
12.4深度循环神经网络
12.5循环神经网络的训练
12.5.1前向计算
12.5.2误差项的计算
12.5.3权重梯度的计算
12.6循环神经网络中的梯度爆炸和梯度消失
12.7RNN的应用举例——基于RNN的语言模型
12.7.1向量化
12.7.2Softmax层
12.7.3语言模型的训练
12.8本章小结
12.9习题
第13章递归神经网络
13.1递归神经网络概述
13.2递归神经网络的前向计算
13.3递归神经网络的训练
13.3.1误差项的传递
13.3.2权重梯度的计算
13.3.3权重更新
13.4长短期记忆网络
13.4.1遗忘门
13.4.2输入门与输出门
13.4.3候选门
13.5本章小结
13.6习题
第14章卷积神经网络
14.1卷积运算
14.2网络结构
14.3卷积层
14.4池化层
14.5输出值的计算
14.6池化层输出值的计算
14.7本章小结
14.8习题