构建机器学习应用

目录
前言 .1
部分 让机器学习要找对方法
第1 章 从产品目标到机器学习框架 15
1.1 评估什么可行 16
1.1.1 模型 18
1.1.2 数据 26
1.2 探索机器学习编辑器开发方案 . 29
1.2.1 尝试全用机器学习完成：端到端框架 . 29
1.2.2 简方法：成为算法 31
1.2.3 中间地带：从自己经验学习 . 32
1.3 Monica Rogati：如何选择机器学习项目并安排其优先级 34
1.4 小结 37
第2 章 制定方案 38
2.1 度量成功 38
2.1.1 业务指标. 40
2.1.2 模型性能. 40
2.1.3 新鲜度和分布偏移 . 44
2.1.4 速度 46
2.2 评估范围和挑战 47
2.2.1 利用领域知识 47
2.2.2 站在巨人肩上 49
2.3 机器学习编辑器方案 . 53
2.3.1 编辑器初步方案 . 53
2.3.2 永远从简单模型入手 54
2.4 不断进步：从简单方法入手 55
2.4.1 从简易流水线入手 . 55
2.4.2 机器学习编辑器流水线 57
2.5 小结 59
第二部分 建成可用流水线
第3 章 搭建你的首条端到端流水线 63
3.1 简框架 63
3.2 机器学习编辑器原型 . 65
3.2.1 解析和清洗数据 . 65
3.2.2 文本分词. 67
3.2.3 生成特征. 67
3.3 测试工作流 . 69
3.3.1 用户体验. 70
3.3.2 建模结果. 70
3.4 机器学习编辑器原型评估 72
3.4.1 模型 73
3.4.2 用户体验. 74
3.5 小结 75
第4 章 获取初始数据集 76
4.1 数据集迭代 . 76
4.2 探索你的首个数据集 . 78
4.2.1 高效始于简单 78
4.2.2 洞察力和产品的关系 79
4.2.3 数据质量规则 80
4.3 标注数据，寻找趋势 . 87
4.3.1 总结性统计信息 . 87
4.3.2 高效探索和标注 . 90
4.3.3 成为算法 106
4.3.4 数据趋势 108
4.4 用数据指导特征和模型 . 109
4.4.1 创建特征，捕获模式 . 109
4.4.2 机器学习编辑器特征 . 113
4.5 Robert Munro：你如何寻找、标注和使用数据？ 114
4.6 小结 . 116
第三部分 模型迭代
第5 章 训练和评估模型 . 119
5.1 简合适模型 . 119
5.1.1 简易模型 120
5.1.2 从模式到模型 122
5.1.3 切分数据集 . 124
5.1.4 机器学习编辑器数据切分 130
5.1.5 判断模型表现 132
5.2 评估模型：超越准确率 . 135
5.2.1 对比数据和预测结果 . 135
5.2.2 混淆矩阵 136
5.2.3 ROC 曲线 137
5.2.4 校准曲线 139
5.2.5 用降维技术分析出错样例 141
5.2.6 Top-K 方法 . 142
5.2.7 其他模型 147
5.3 评估特征重要性 148
5.3.1 直接来自分类器 148
5.3.2 黑盒解释器 . 149
5.4 小结 . 152
第6 章 调试机器学习模型 . 153
6.1 软件实践 . 153
6.2 调试连接：可视化和测试 . 156
6.2.1 从一个样例开始 156
6.2.2 测机器学习代码 164
6.3 调试模型训练过程：让模型学习 . 169
6.3.1 任务难度 170
6.3.2 化问题 . 172
6.4 调试泛化能力：让模型有用 174
6.4.1 数据泄露 175
6.4.2 过拟合 175
6.4.3 思考手头任务 179
6.5 小结 . 180
第7 章 用分类器生成写作建议 181
7.1 从模型抽取建议 182
7.1.1 我们不用模型能实现什么？ 182
7.1.2 抽取全局特征重要性 . 184
7.1.3 利用模型打的分值 185
7.1.4 抽取局部特征重要性 . 186
7.2 模型对比 188
7.2.1 模型v 1：建议就像统计报告 189
7.2.2 模型v 2：模型更强大但建议更模糊. 189
7.2.3 模型v3：建议可理解 191
7.3 生成编辑建议 . 192
7.4 小结 . 197
第四部分 部署和监控
第8 章 部署模型的注意事项 . 201
8.1 数据使用注意事项 202
8.1.1 数据所有权 . 202
8.1.2 数据偏差 203
8.1.3 系统偏差 205
8.2 建模注意事项 . 205
8.2.1 反馈循环 206
8.2.2 模型更包容 . 207
8.2.3 思考预测背景 208
8.2.4 机器学习模型的对手 . 209
8.2.5 思考模型滥用和挪用风险 210
8.3 Chris Harland：交付实验 . 211
8.4 小结 . 214
第9 章 选择部署方案 215
9.1 服务端部署 215
9.1.1 流式应用或API 216
9.1.2 批量预测 219
9.2 客户端部署 221
9.2.1 部署到设备 . 222
9.2.2 用浏览器端交付 224
9.3 联邦学习：一种混合方法 . 225
9.4 小结 . 226
第10 章 搭建模型防护罩 228
10.1 故障应对举措 228
10.1.1 检查输入和输出 229
10.1.2 模型后盾 234
10.2 模型性能提高举措 . 238
10.2.1 扩展模型，服务多用户 . 238
10.2.2 模型和数据生命周期管理. 241
10.2.3 数据处理和有向无环图 . 244
10.3 寻求用户反馈 245
10.4 Chris Moody：赋予数据科学家部署模型的力量 248
10.5 小结 250
第11 章 监控和更新模型 251
11.1 监控可拯救系统 251
11.1.1 监控告知刷新率 . 252
11.1.2 监控模型，检测滥用行为 . 253
11.2 选择监控内容 254
11.2.1 性能指标 254
11.2.2 业务指标 256
11.3 机器学习系统的持续集成和交付 257
11.3.1 A/B 测试和实验 . 259
11.3.2 其他方法 262
11.4 小结 263