跟我一起学机器学习

第1章环境配置

1.1安装Conda

1.1.1Windows环境

1.1.2Linux环境

1.2替换源

1.3Conda环境管理

1.3.1虚拟环境安装

1.3.2虚拟环境使用

1.4PyCharm安装与配置

1.5小结

第2章线性回归

2.1模型的建立与求解

2.1.1理解线性回归模型

2.1.2建立线性回归模型

2.1.3求解线性回归模型

2.1.4sklearn简介

2.1.5安装sklearn及其他库

2.1.6线性回归示例代码

2.1.7小结

2.2多变量线性回归

2.2.1理解多变量

2.2.2多变量线性回归建模

2.2.3多变量回归示例代码

2.3多项式回归

2.3.1理解多项式

2.3.2多项式回归建模

2.3.3多项式回归示例代码

2.3.4小结

2.4回归模型评估

2.4.1常见回归评估指标

2.4.2回归指标示例代码

2.4.3小结

2.5梯度下降

2.5.1方向导数与梯度

2.5.2梯度下降算法

2.5.3小结

2.6正态分布

2.6.1一个问题的出现

2.6.2正态分布

2.7目标函数推导

2.7.1目标函数

2.7.2求解梯度

2.7.3矢量化计算

2.7.4从零实现线性回归

2.7.5小结





第3章逻辑回归

3.1模型的建立与求解

3.1.1理解逻辑回归模型

3.1.2建立逻辑回归模型

3.1.3求解逻辑回归模型

3.1.4逻辑回归示例代码

3.1.5小结

3.2多变量与多分类

3.2.1多变量逻辑回归

3.2.2多分类逻辑回归

3.2.3多分类示例代码

3.2.4小结

3.3常见的分类评估指标

3.3.1二分类场景

3.3.2二分类指标示例代码

3.3.3多分类场景

3.3.4多分类指标示例代码

3.3.5小结

3.4目标函数推导

3.4.1映射函数

3.4.2概率表示

3.4.3极大似然估计

3.4.4求解梯度

3.4.5从零实现二分类逻辑回归

3.4.6从零实现多分类逻辑回归

3.4.7小结

第4章模型的改善与泛化

4.1基本概念

4.2特征标准化

4.2.1等高线

4.2.2梯度与等高线

4.2.3标准化方法

4.2.4特征组合与映射

4.2.5小结

4.3过拟合

4.3.1模型拟合

4.3.2过拟合与欠拟合

4.3.3解决欠拟合与过拟合问题

4.3.4小结

4.4正则化

4.4.1测试集导致糟糕的泛化误差

4.4.2训练集导致糟糕的泛化误差

4.4.3正则化中的参数更新

4.4.4正则化示例代码

4.4.5小结

4.5偏差、方差与交叉验证

4.5.1偏差与方差定义

4.5.2模型的偏差与方差

4.5.3超参数选择

4.5.4模型选择

4.5.5小结

4.6实例分析手写体识别

4.6.1数据预处理

4.6.2模型选择

4.6.3模型测试

4.6.4小结

第5章K近邻

5.1K近邻思想

5.2K近邻原理

5.2.1算法原理

5.2.2K值选择

5.2.3距离度量

5.3sklearn接口与示例代码

5.3.1sklearn接口介绍

5.3.2K近邻示例代码

5.3.3小结

5.4kd树

5.4.1构造kd树

5.4.2最近邻kd树搜索

5.4.3最近邻搜索示例

5.4.4K近邻kd树搜索

5.4.5K近邻搜索示例

5.4.6小结

第6章朴素贝叶斯

6.1朴素贝叶斯算法

6.1.1概念介绍

6.1.2理解朴素贝叶斯

6.1.3计算示例

6.1.4求解步骤

6.1.5小结

6.2贝叶斯估计

6.2.1平滑处理

6.2.2计算示例

6.2.3小结

第7章文本特征提取与模型复用

7.1词袋模型

7.1.1理解词袋模型

7.1.2文本分词

7.1.3构造词表

7.1.4文本向量化

7.1.5考虑词频的文本向量化

7.1.6小结

7.2基于贝叶斯算法的垃圾邮件分类

7.2.1载入原始文本

7.2.2制作数据集

7.2.3训练模型

7.2.4复用模型

7.2.5小结

7.3考虑权重的词袋模型

7.3.1理解TFIDF

7.3.2TFIDF计算原理

7.3.3TFIDF计算示例

7.3.4TFIDF示例代码

7.3.5小结

7.4词云图

7.4.1生成词云图

7.4.2自定义样式

7.4.3小结

第8章决策树与集成学习

8.1决策树的基本思想

8.1.1冠军球队

8.1.2信息的度量

8.1.3小结

8.2决策树的生成之ID3与C4.5

8.2.1基本概念与定义

8.2.2计算示例

8.2.3ID3生成算法

8.2.4C4.5生成算法

8.2.5特征划分

8.2.6小结

8.3决策树生成与可视化

8.3.1ID3算法示例代码

8.3.2决策树可视化

8.3.3小结

8.4决策树剪枝

8.4.1剪枝思想

8.4.2剪枝步骤

8.4.3剪枝示例

8.4.4小结

8.5CART生成与剪枝算法

8.5.1CART算法

8.5.2分类树生成算法

8.5.3分类树生成示例

8.5.4分类树剪枝步骤

8.5.5分类树剪枝示例

8.5.6小结

8.6集成学习

8.6.1集成学习思想

8.6.2集成学习种类

8.6.3Bagging集成学习

8.6.4Boosting集成学习

8.6.5Stacking集成学习

8.6.6小结

8.7随机森林

8.7.1随机森林原理

8.7.2随机森林示例代码

8.7.3特征重要性评估

8.7.4小结

8.8泰坦尼克号生还预测

8.8.1读取数据集

8.8.2特征选择

8.8.3缺失值填充

8.8.4特征值转换

8.8.5乘客生还预测

8.8.6小结

第9章支持向量机

9.1SVM思想

9.2SVM原理

9.2.1超平面的表达

9.2.2函数间隔

9.2.3几何间隔

9.2.4最大间隔分类器

9.2.5函数间隔的性质

9.2.6小结

9.3SVM示例代码与线性不可分

9.3.1线性SVM示例代码

9.3.2从线性不可分谈起

9.3.3将低维特征映射到高维空间

9.3.4SVM中的核技巧

9.3.5从高维到无穷维

9.3.6常见核函数

9.3.7小结

9.4SVM中的软间隔

9.4.1软间隔定义

9.4.2最大化软间隔

9.4.3SVM软间隔示例代码

9.4.4小结

9.5拉格朗日乘数法

9.5.1条件极值

9.5.2求解条件极值

9.5.3小结

9.6对偶性与KKT条件

9.6.1广义拉格朗日乘数法

9.6.2原始优化问题

9.6.3对偶优化问题

9.6.4KKT条件

9.6.5计算示例

9.6.6小结

9.7SVM优化问题

9.7.1构造硬间隔广义拉格朗日函数

9.7.2硬间隔求解计算示例

9.7.3构造软间隔广义拉格朗日函数

9.7.4软间隔中的支持向量

9.7.5小结

9.8SMO算法

9.8.1坐标上升算法

9.8.2SMO算法思想

9.8.3SMO算法原理

9.8.4偏置b求解

9.8.5SVM算法求解示例

9.8.6小结

第10章聚类

10.1聚类算法的思想

10.2kmeans聚类算法

10.2.1算法原理

10.2.2k值选取

10.2.3kmeans聚类示例代码

10.2.4小结

10.3kmeans算法求解

10.3.1kmeans算法目标函数

10.3.2求解簇中心矩阵Z

10.3.3求解簇分配矩阵U

10.3.4小结

10.4从零实现kmeans聚类算法

10.4.1随机初始化簇中心

10.4.2簇分配矩阵实现

10.4.3簇中心矩阵实现

10.4.4聚类算法实现

10.4.5小结

10.5kmeans++聚类算法

10.5.1算法原理

10.5.2计算示例

10.5.3从零实现kmeans++聚类算法

10.5.4小结

10.6聚类评估指标

10.6.1聚类纯度

10.6.2兰德系数与F值

10.6.3调整兰德系数

10.6.4聚类指标示例代码

10.6.5小结

10.7加权kmeans聚类算法

10.7.1引例

10.7.2加权kmeans聚类算法思想

10.7.3加权kmeans聚类算法原理

10.7.4加权kmeans聚类算法迭代公式

10.7.5从零实现加权kmeans聚类算法

10.7.6参数求解

10.7.7小结