推荐系统算法实践

目 录
第1部分 推荐系统的算法基础
第1章 数学基础\t2
1．1 线性代数\t2
1．2 概率与统计\t5
1．3 损失函数\t7
1．4 优化方法\t8
1．4．1 SGD\t8
1．4．2 动量\t8
1．4．3 Nesterov动量\t9
1．4．4 AdaGrad\t9
1．4．5 Adam\t10
1．4．6 L-BFGS\t10
1．4．7 梯度法和牛顿法的比较\t11
1．5 评价方法\t11
1．5．1 混淆矩阵\t11
1．5．2 ROC曲线\t13
第2章 推荐系统介绍\t17
2．1 推荐系统背景\t17
2．2 推荐系统的典型案例\t18
2．2．1 Amazon推荐\t19
2．2．2 Facebook推荐\t21
2．2．3 YouTube推荐\t22
2．3 推荐系统原理\t23
第3章 推荐算法工具\t26
3．1 Python Sklearn机器学习库\t26
3．1．1 Sklearn介绍\t26
3．1．2 Sklearn建模流程\t27
3．2 Spark MLlib机器学习库\t28
3．2．1 MLlib介绍\t28
3．2．2 MLlib建模流程\t29
3．3 TensorFlow\t31
3．3．1 TensorFlow介绍\t31
3．3．2 TensorFlow建模流程\t31
3．4 Notebook介绍\t32
3．4．1 Zeppelin Notebook介绍\t32
3．4．2 Jupyter Notebook介绍\t36
第2部分 推荐系统的召回算法
第4章 协同过滤――基于行为相似的召回\t40
4．1 协同过滤算法\t40
4．1．1 协同过滤推荐概述\t40
4．1．2 用户评分\t41
4．1．3 相似度计算\t41
4．1．4 推荐计算\t43
4．2 协同过滤推荐算法实现\t44
4．2．1 相似度计算及推荐计算\t47
4．2．2 协同推荐\t54
4．2．3 运行结果\t59
第5章 Word2vec――基于内容相似的召回\t65
5．1 Word2vec算法\t65
5．1．1 语言模型\t65
5．1．2 CBOW One-Word Context模型\t66
5．1．3 CBOW Multi-Word Context 模型\t71
5．1．4 Skip-Gram模型\t72
5．1．5 Hierarchical Softmax\t74
5．1．6 Negative Sampling\t74
5．2 Word2vec实例\t75
5．2．1 Spark实现\t75
5．2．2 TensorFlow实现\t80
第3部分 推荐系统的排序算法――线性模型
第6章 逻辑回归\t86
6．1 逻辑回归算法\t86
6．1．1 二元逻辑回归模型\t86
6．1．2 模型参数估计\t88
6．1．3 多元逻辑回归模型（Softmax回归）\t88
6．1．4 逻辑回归的网络结构\t89
6．1．5 梯度下降算法\t90
6．1．6 正则化\t91
6．2 逻辑回归实现\t93
6．2．1 Sklearn实现\t93
6．2．2 Spark实现\t98
6．2．3 TensorFlow实现\t108
6．2．4 效果总结\t114
第7章 因子分解机（FM）\t115
7．1 FM算法\t115
7．1．1 FM模型\t115
7．1．2 FFM模型\t118
7．1．3 FM模型的网络结构\t119
7．2 FM实现\t120
7．2．1 Sklearn实现\t120
7．2．2 TensorFlow实现\t122
7．2．3 效果总结\t128
第4部分 推荐系统的排序算法――树模型
第8章 决策树\t130
8．1 决策树算法\t130
8．1．1 决策树模型\t130
8．1．2 特征选择\t131
8．1．3 决策树的生成\t133
8．1．4 决策树的生成实例\t134
8．1．5 决策树的剪枝\t135
8．2 决策树的集成算法\t136
8．2．1 集成分类器\t136
8．2．2 随机森林\t137
8．2．3 GBDT\t137
8．3 决策树集成算法实例\t139
8．3．1 Spark实现\t139
8．3．2 Sklearn实现\t149
8．3．3 效果总结\t154
第9章 集成学习\t155
9．1 GBDT+LR算法\t155
9．1．1 背景\t155
9．1．2 GBDT+LR网络结构\t156
9．2 深度森林算法\t159
9．2．1 深度森林介绍\t159
9．2．2 级联森林\t160
9．2．3 多粒度扫描\t161
9．3 决策树集成分类器\t162
9．4 集成学习实例\t164
9．4．1 GBDT+LR实现\t164
9．4．2 深度森林实现\t167
9．4．3 效果总结\t175
第5部分 推荐系统的排序算法――深度学习模型
第10章 深度学习在推荐算法中的应用\t178
10．1 推荐模型的特点\t178
10．2 基于深度学习的推荐模型\t179
10．2．1 DNN优化高阶特征\t179
10．2．2 高阶特征交叉与低阶特征交叉\t181
10．2．3 特征交叉优化\t183
10．2．4 特征连接优化\t184
10．2．5 高阶特征交叉优化\t185
10．2．6 多样性的深度兴趣特征优化\t186
第11章 DNN算法\t189
11．1 人工神经网络算法\t189
11．1．1 神经元\t189
11．1．2 神经网络模型\t191
11．1．3 信号的前向传播\t191
11．1．4 误差的反向传播\t193
11．2 DNN优化方法\t195
11．2．1 优化参数\t196
11．2．2 Attention机制\t197
11．3 DNN实例\t198
11．4 运行结果\t205
第12章 Wide ＆ Deep模型\t206
12．1 Wide ＆ Deep模型概述\t206
12．1．1 Wide模型\t208
12．1．2 Deep模型\t209
12．1．3 模型联合训练\t210
12．2 Wide ＆ Deep系统实现\t211
12．2．1 推荐系统介绍\t211
12．2．2 系统流程\t212
12．2．3 训练数据的生成\t213
12．2．4 模型训练\t213
12．2．5 线上应用\t214
12．3 Wide ＆ Deep实例\t214
12．4 运行结果\t219
第13章 DeepFM模型\t225
13．1 DeepFM模型概述\t225
13．1．1 FM组件\t226
13．1．2 Deep组件\t228
13．1．3 模型对比\t229
13．2 DeepFM模型实例\t231
13．3 运行结果\t241
第14章 YouTube的深度神经网络模型\t243
14．1 YouTube推荐模型\t243
14．1．1 背景介绍\t243
14．1．2 召回模型设计\t245
14．1．3 排序模型设计\t250
14．2 YouTube实例\t252
14．3 运行结果\t256
第6部分 推荐系统的算法实践
第15章 实践――基于电商平台的商品召回\t260
15．1 背景介绍\t260
15．2 模型选择\t261
15．3 算法开发\t261
第16章 实践――基于逻辑回归的音乐评分预测\t266
16．1 背景介绍\t266
16．2 数据准备\t266
16．3 特征处理\t268
16．4 模型选择\t270
16．5 算法开发\t271
第17章 实践――Kaggle竞赛之Outbrain点击率预估\t275
17．1 背景介绍\t275
17．2 数据准备\t277
17．3 特征处理\t283
17．4 模型选择\t284
17．4．1 FFM\t285
17．4．2 XGBoost\t288
17．4．3 集成学习\t292
17．5 算法开发\t292
第18章 实践――基于深度学习的电商商品点击率预估\t297
18．1 背景介绍\t297
18．2 数据准备\t298
18．3 特征处理\t302
18．4 模型选择\t303
18．5 算法开发\t304
18．6 运行结果\t309
第19章 Notebook实践\t312
19．1 Sklearn中的LR实践\t312
19．2 TensorFlow中的LR实践\t316
19．3 Spark中的LR实践\t321
19．4 TensorFlow中的FM调试实践\t327
19．5 Spark中的协同过滤调试实践\t331