人工智能数学基础

第1章　代数学和分析学的基础概念 1
1.1　人工智能需要数学的原因 1
1.2　向量与范数 1
1.2.1　向量和线性空间 1
1.2.2　向量的内积 2
1.2.3　向量的外积 3
1.2.4　向量的范数 4
1.3　矩阵的定义及其基本运算 7
1.3.1　矩阵的定义 7
1.3.2　矩阵的基本运算 7
1.3.3　逆矩阵 9
1.3.4　深入理解矩阵因子的几何意义 10
1.4　行列式 12
1.4.1　行列式的定义 12
1.4.2　行列式的性质 13
1.4.3　行列式的几何意义 15
1.5　函数的极限与连续性 16
1.5.1　函数的极限 16
1.5.2　函数的连续性 17
本章参考文献 19
第2章　微积分的基础概念 20
2.1　导数 20
2.1.1　导数、偏导数与方向导数 20
2.1.2　梯度、雅可比矩阵和黑塞矩阵 25
2.1.3　泰勒公式 27
2.1.4　机器学习中常见函数的导数 28
2.2　微分 30
2.2.1　微分的概述 30
2.2.2　微分中值定理 31
2.3　积分 35
2.3.1　不定积分 35
2.3.2　定积分 37
2.3.3　广义积分 42
2.3.4　多重积分 47
2.4　常微分方程 53
2.4.1　常微分方程的概述 53
2.4.2　一阶微分方程的概述 53
本章参考文献 57
第3章　矩阵与线性变换 58
3.1　矩阵秩的概述 58
3.1.1　矩阵的初等变换 58
3.1.2　矩阵的秩 59
3.2　向量组的线性相关性 60
3.2.1　线性组合 60
3.2.2　向量组的秩 61
3.3　特征值与特征向量 62
3.3.1　特征值与特征向量的定义 62
3.3.2　特征值与特征向量的基本性质 63
3.3.3　相似矩阵与相似对角化 64
3.3.4　正交矩阵和对称矩阵的对角化 67
3.4　线性空间 70
3.4.1　线性空间的相关定义 70
3.4.2　线性空间的基与维数 72
3.5　线性变换 75
3.5.1　基变换的定义 75
3.5.2　坐标变换的定义 76
3.5.3　线性变换的定义 76
3.6　内积空间 79
3.6.1　内积空间的定义 79
3.6.2　施密特正交化方法 80
3.6.3　标准正交基的常用性质 81
本章参考文献 82
第4章　矩阵分解 83
4.1　矩阵的LU分解 83
4.1.1　矩阵LU分解的定义及本质 83
4.1.2　矩阵LU分解的条件 85
4.1.3　矩阵LU分解的扩展形式 87
4.1.4　利用矩阵的LU分解求解线性方程组Ax=b 88
4.2　矩阵的QR分解 89
4.2.1　矩阵QR分解的定义 89
4.2.2　利用施密特正交化方法进行矩阵的QR分解 90
4.3　矩阵的特征值分解 93
4.3.1　矩阵特征值分解的定义 93
4.3.2　矩阵特征值分解的本质 94
4.3.3　矩阵特征值分解的应用 95
4.4　矩阵的奇异值分解 97
4.4.1　矩阵奇异值分解的定义 97
4.4.2　矩阵奇异值分解的计算 98
4.4.3　矩阵奇异值分解的意义及逼近 99
4.4.4　矩阵奇异值分解的应用 100
本章参考文献 106
第5章　最优化理论与算法 107
5.1　凸集与凸函数 107
5.1.1　凸集 107
5.1.2　凸函数 110
5.1.3　凸函数的判定 113
5.2　最优化问题与求解算法的一般形式 116
5.2.1　最优化问题及解的定义 116
5.2.2　优化算法的一般思路 117
5.2.3　可行方向与下降方向 120
5.3　最优性条件 121
5.3.1　无约束问题的最优性条件 121
5.3.2　约束问题的最优性条件 123
5.3.3　KKT条件 126
5.4　梯度下降法 129
5.4.1　最速下降方向 129
5.4.2　梯度下降算法 131
5.4.3　随机梯度下降算法 132
5.5　牛顿法 133
5.5.1　牛顿法的定义 133
5.5.2　拟牛顿法的定义 135
5.6　优化算法在机器学习中的应用 141
5.6.1　优化算法求解机器学习问题的一般模式 141
5.6.2　支持向量机的动机与基本概念 142
5.6.3　线性可分支持向量机 143
5.6.4　软间隔最大化 146
本章参考文献 151
第6章　概率模型 153
6.1　随机变量及其分布 153
6.1.1　概率的基本概念 153
6.1.2　随机变量 154
6.1.3　离散型随机变量 156
6.1.4　连续型随机变量 156
6.1.5　随机变量的函数及其分布 159
6.1.6　多维随机变量及其分布 161
6.1.7　条件概率与条件分布 164
6.2　随机变量的数字特征 168
6.2.1　随机变量的数学期望 169
6.2.2　方差 172
6.2.3　协方差与相关系数 174
6.2.4　方差和协方差在PCA中的应用举例 176
6.3　极限理论 180
6.3.1　随机变量的矩与切比雪夫不等式 180
6.3.2　大数定律 182
6.3.3　中心极限定理 186
6.4　机器学习中的参数估计 188
6.4.1　最大似然估计 189
6.4.2　最大后验估计 191
6.4.3　贝叶斯最优分类器 193
6.4.4　贝叶斯估计 193
本章参考文献 196
第7章　信息论的基础概念 198
7.1　熵 198
7.1.1　熵的概念 198
7.1.2　联合熵 200
7.1.3　条件熵 202
7.1.4　互信息 203
7.1.5　熵的性质 205
7.1.6　熵在机器学习中的应用 210
7.2　交叉熵与损失函数 219
7.2.1　交叉熵的定义 219
7.2.2　交叉熵的性质 220
7.2.3　概率分布推断 221
7.2.4　交叉熵损失函数 222
7.3　KL散度 224
7.3.1　KL散度的定义 224
7.3.2　从熵编码的角度理解KL散度 226
7.3.3　KL散度的性质 227
7.3.4　KL散度在机器学习中的应用 228
本章参考文献 230