大话机器学习（原理|算法|建模|代码30讲）

第1部分机器学习的数学理论理解

第1讲这个不确定的世界如何描述

1.1概率、几率及期望

1.1.1概念及定义

1.1.2概率和几率的关系

1.1.3期望值

1.2概率函数、概率分布函数和概率密度函数

1.2.1随机变量和普通变量的区别

1.2.2离散型随机变量和连续型随机变量

1.2.3离散型随机变量概率函数

1.2.4离散型随机变量概率分布

1.2.5离散型随机变量概率分布函数

1.2.6连续型随机变量的概率函数和分布函数

1.3条件概率、联合概率以及贝叶斯公式

1.3.1计算条件概率和联合概率

1.3.2贝叶斯公式的历史和现实含义

1.4本讲小结

第2讲数据的形态描述

2.1正态分布

2.2混合高斯分布

2.3伯努利分布及二项分布

2.4泊松分布

2.5指数分布

2.6幂律分布

2.7以上分布的总结和联系

2.8本讲小结

第3讲信息的数学表达

3.1自信息

3.2信息熵

3.3信息增益

3.4相对熵

3.5交叉熵

3.6基尼指数(不纯度)

3.7本讲小结

第4讲随机变量的相关性和重要性

4.1数值型变量之间的相关性

4.1.1协方差

4.1.2皮尔逊相关系数

4.2类别型变量之间的相关性

4.2.1互信息

4.2.2卡方值

4.3证据权重和信息值

4.3.1证据权重

4.3.2信息值

4.4本讲小结

第5讲抓住主要矛盾——降维技术理论

5.1主成分分析

5.2线性判别分析

5.3奇异值分解

5.4自编码器

5.5PCA、SVD和 AE 是亲戚

5.6傅里叶变换

5.7本讲小结

第6讲采样方法

6.1拒绝采样

6.2马尔可夫链蒙特卡罗采样

6.3MetropolisHastings采样

6.4吉布斯采样

6.5汤普森采样

6.6上采样人工合成数据策略

6.7本讲小结

第7讲抬头看路低头拉车的迭代方法

7.1迭代求解

7.2梯度下降法

7.3牛顿法及其改进算法

7.3.1泰勒展开式

7.3.2牛顿法

7.4Adam(Adaptive Moment Estimation)方法

7.4.1动量法(Momentum)

7.4.2RMSProp 方法

7.4.3最终方法

7.5本讲小结

第8讲经典最优化问题求解方法

8.1最小二乘估计

8.2最大似然估计

8.3最大后验概率

8.4期望最大化方法

8.5最大熵模型

8.6本讲小结

第2部分机器学习模型、方法及本质

第9讲机器学习的方法论

9.1总体方法论

9.1.1业务理解建模

9.1.2建立假设模型

9.1.3数据收集

9.1.4数据准备

9.1.5建模分析

9.1.6解释和模型评估

9.2建模分析的一般步骤

9.3模型和算法

9.3.1按学习方法区分

9.3.2按任务维度区分

9.3.3按模型的类型分

9.3.4模型算法和维度的对应

9.4本讲小结

第10讲数据准备

10.1厘清数据来源

10.1.1先有模型还是先有数据

10.1.2数据来源的类型

10.2数据的探索性分析

10.2.1主要工作内容

10.2.2主要步骤

10.3本讲小结

第11讲异常检测和处理

11.1什么是异常值

11.2异常检测面临的挑战

11.3异常的种类

11.4异常检测的应用领域

11.5异常检测的方法

11.5.1基于统计模型的异常检测

11.5.2基于深度学习的异常检测

11.6本讲小结

第12讲特征数据的预处理

12.1特征标准化

12.2连续变量离散化

12.2.1为什么要离散化

12.2.2如何进行离散化

12.3离散型特征处理

12.3.1数值化处理

12.3.2哑编码

12.3.3时间序列处理

12.4本讲小结

第13讲特征的选择、提取和构造

13.1为什么要进行特征的选择、提取和构造

13.1.1特征数量和模型性能的关系

13.1.2特征选择、提取和构造的主要原因

13.1.3其他非技术因素

13.2特征的选择

13.2.1过滤策略

13.2.2包裹策略

13.2.3嵌入策略

13.2.4三种策略的总结

13.3特征的提取和构造

13.3.1特征投影(降维)

13.3.2特征组合

13.4本讲小结

第14讲机器学习模型——逻辑回归和梯度提升决策树

14.1逻辑回归

14.1.1Logit的引入

14.1.2参数的求解过程

14.1.3模型的使用

14.1.4模型的本质

14.2梯度提升决策树

14.2.1梯度提升决策树的含义

14.2.2梯度提升决策树的实现过程

14.2.3梯度提升决策树例子及分析

14.2.4XGBoost

第15讲机器学习模型——概率图模型

15.1概述

15.2概率图模型族谱及特征

15.2.1特征一： 有向和无向

15.2.2特征二： 马尔可夫性质

15.2.3特征三： 判别式和生成式

15.2.4特征四： 序列型模型

15.2.5核心概念小结

15.3两个典型的概率图模型

15.3.1隐马尔可夫模型

15.3.2条件随机场(CRF)

第16讲机器学习模型——强化学习

16.1ε贪婪算法

16.2置信区间上界算法

16.3汤普森采样

16.3.1贝塔分布

16.3.2贝塔分布与二项式分布的共轭先验性质

16.3.3汤普森采样的具体过程

16.4共性问题

第17讲探索式学习

17.1概述

17.2模拟退火算法

17.3遗传算法

17.4蚁群算法

第18讲机器学习模型——人工神经网络

18.1神经网络的起源

18.2神经网络的开端

18.2.1最简单的神经网络结构——感知机

18.2.2多层感知机

18.3神经网络的崛起——反向传播神经网络

18.4神经网络的突破——深度学习

18.4.1图像识别的过程展示

18.4.2深度学习成功的关键

18.4.3深度学习的缺陷

18.5神经网络的实质——通用逼近定理

第19讲基于机器学习的推荐技术

19.1推荐的作用

19.2推荐采用的方法

19.2.1基于邻域的推荐方法

19.2.2隐语义模型推荐方法

19.2.3利用标签的推荐方法

19.2.4利用上下文信息推荐方法

19.2.5深度学习推荐方法

19.3推荐效果评测指标和维度

第20讲激活函数

20.1激活函数的作用

20.2激活函数的要求

20.3常用激活函数介绍

20.3.1Sigmoid函数

20.3.2tanh函数

20.3.3ReLU函数

20.3.4LeakyReLU函数

20.3.5ELU函数

20.3.6softmax函数

20.3.7常用激活函数的选择建议

20.3.8高斯函数

第21讲代价函数

21.1损失函数、代价函数和目标函数

21.2经验风险、期望风险和结构风险

21.3正则化的本质

21.4常用损失函数

21.4.1平均绝对误差和均方误差

21.4.2Huber损失

21.4.3对数损失

21.4.4对比损失/三元组损失(Triplet Loss)

21.5本讲小结

第22讲模型效果的衡量方法

22.1分类问题的模型效果衡量方法

22.1.1混淆矩阵

22.1.2FScore

22.1.3ROC及AUC

22.1.4KS值

22.2回归模型中的效果衡量方法

22.3模型的选择要素——偏差和方差

22.4交叉验证

22.5本讲小结

第23讲机器学习和人工智能展望

23.1当前人工智能技术本质的认识

23.1.1人工智能和机器学习的关系

23.1.2信息技术产业链条

23.2第三代人工智能的发展方向

23.2.1第一代和第二代人工智能的历史

23.2.2第三代人工智能要求

23.3人工智能的小数据、大任务范式

23.3.1一只乌鸦给我们的启示

23.3.2小数据、大任务范式

第3部分机器学习实例展示

第24讲垃圾邮件判断(朴素贝叶斯分类)

24.1问题描述

24.2算法详述

24.3代码详述

第25讲客户流失预测(高斯贝叶斯分类)

25.1问题描述

25.2算法详述

25.3代码详述

第26讲两个特殊硬币的投掷概率(期望最大化方法)

26.1问题描述

26.2算法详述

26.3代码详述

第27讲信用卡申请评分卡模型(WOE/IV逻辑回归)

27.1问题描述

27.2算法详述

27.3代码详述

第28讲用户忠诚度变化轨迹预测(隐马尔可夫模型)

28.1问题描述

28.2算法详述

28.3代码详述

第29讲产品的价格设定(强化学习)

29.1问题描述

29.2算法详述

29.3代码详述

第30讲数据智能平台

30.1数据智能包含哪些内容

30.1.1基础平台

30.1.2融合平台

30.1.3治理系统

30.1.4质量保证

30.1.5安全计算

30.1.6分析挖掘

30.1.7数据可视化

30.2产品化的数智平台

30.3本讲小结