机器学习之路：Caffe、Keras、scikit-learn实战

第一篇 机器学习篇 第1 章 初识机器学习 .................................................................................... 2 1.1 机器学习——赋予机器“学习”的灵魂 ..................................................................... 2 1.1.1 小红帽识别毒蘑菇 ................................................................................................................... 2 1.1.2 三种机器学习问题 ................................................................................................................... 6 1.1.3 常用符号 .................................................................................................................................. 6 1.1.4 回顾 .......................................................................................................................................... 7 1.2 KNN——相似的邻居请投票 ........................................................................................ 7 1.2.1 模型原理 .................................................................................................................................. 7 1.2.2 鸢尾花卉数据集（IRIS） ....................................................................................................... 9 1.2.3 训练模型 .................................................................................................................................. 9 1.2.4 评估模型 ................................................................................................................................ 12 1.2.5 关于KNN ............................................................................................................................... 14 1.2.6 运用KNN 模型 ...................................................................................................................... 15 1.2.7 回顾 ........................................................................................................................................ 16 1.3 逻辑分类I：线性分类模型 ........................................................................................ 16 1.3.1 参数化的模型 ........................................................................................................................ 16 1.3.2 逻辑分类：预测..................................................................................................................... 18 1.3.3 逻辑分类：评估..................................................................................................................... 22 1.3.4 逻辑分类：训练..................................................................................................................... 23 1.3.5 回顾 ........................................................................................................................................ 24 1.4 逻辑分类II：线性分类模型 ....................................................................................... 24 1.4.1 寻找模型的权重..................................................................................................................... 24 VI ∣ 机器学习之路——Caffe、Keras、scikit-learn 实战 1.4.2 去均值和归一化..................................................................................................................... 31 1.4.3 实现 ........................................................................................................................................ 33 1.4.4 回顾 ........................................................................................................................................ 34 第2 章 机器学习进阶 .................................................................................. 35 2.1 特征工程 ...................................................................................................................... 35 2.1.1 泰坦尼克号生存预测 ............................................................................................................. 35 2.1.2 两类特征 ................................................................................................................................ 38 2.1.3 构造非线性特征..................................................................................................................... 41 2.1.4 回顾 ........................................................................................................................................ 45 2.2 调试模型 ...................................................................................................................... 46 2.2.1 模型调试的目标..................................................................................................................... 46 2.2.2 调试模型 ................................................................................................................................ 49 2.2.3 回顾 ........................................................................................................................................ 52 2.3 分类模型评估指标 ...................................................................................................... 53 2.3.1 混淆矩阵系指标..................................................................................................................... 53 2.3.2 评估曲线 ................................................................................................................................ 58 2.3.3 回顾 ........................................................................................................................................ 61 2.4 回归模型 ...................................................................................................................... 61 2.4.1 回归与分类 ............................................................................................................................ 61 2.4.2 线性回归 ................................................................................................................................ 62 2.4.3 波士顿房价预测..................................................................................................................... 66 2.4.4 泰坦尼克号生存预测：回归预测特征年龄Age .................................................................. 69 2.4.5 线性模型与非线性模型 ......................................................................................................... 72 2.4.6 回顾 ........................................................................................................................................ 73 2.5 决策树模型 .................................................................................................................. 73 2.5.1 信息与编码 ............................................................................................................................ 74 2.5.2 决策树 .................................................................................................................................... 76 2.5.3 对比线性模型和决策树模型的表现 ..................................................................................... 77 2.5.4 回顾 ........................................................................................................................................ 79 2.6 模型融合 ...................................................................................................................... 80 2.6.1 融合成群体（Ensamble） ..................................................................................................... 80 2.6.2 Bagging：随机森林（Random Forest） ............................................................................... 82 目录 ∣ VII 2.6.3 Boosting：GBDT ................................................................................................................... 83 2.6.4 Stacking .................................................................................................................................. 86 2.6.5 泰坦尼克号生存预测：小结 ................................................................................................. 93 2.6.6 回顾 ........................................................................................................................................ 94 第3 章 实战：股票量化 .............................................................................. 95 3.1 第一步：构造童话世界 .............................................................................................. 95 3.1.1 股票是什么 ............................................................................................................................ 95 3.1.2 当机器学习与量化交易走在一起 ......................................................................................... 96 3.1.3 构造一个童话世界 ................................................................................................................. 96 3.1.4 回顾 ...................................................................................................................................... 100 3.2 第二步：应用机器学习 ............................................................................................ 100 3.2.1 构建特征数据 ...................................................................................................................... 100 3.2.2 回归预测股票价格 ............................................................................................................... 103 3.2.3 分类预测股票涨跌 ............................................................................................................... 108 3.2.4 通过决策树分类，绘制决策图 ........................................................................................... 112 3.2.5 回顾 ...................................................................................................................................... 114 3.3 第三步：在真实世界应用机器学习 ........................................................................ 114 3.3.1 回测 ...................................................................................................................................... 115 3.3.2 基于特征的交易预测 ........................................................................................................... 119 3.3.3 破灭的童话——真实世界的机器学习 ............................................................................... 122 第二篇 深度学习篇 第4 章 深度学习：背景和工具 ................................................................. 126 4.1 背景 ............................................................................................................................ 126 4.1.1 人工智能——为机器赋予人的智能 ................................................................................... 126 4.1.2 图灵测试 .............................................................................................................................. 126 4.1.3 强人工智能 vs 弱人工智能 ............................................................................................... 127 4.1.4 机器学习和深度学习 ........................................................................................................... 128 4.1.5 过度的幻想 .......................................................................................................................... 128 4.1.6 回顾 ...................................................................................................................................... 129 VIII ∣ 机器学习之路——Caffe、Keras、scikit-learn 实战 4.2 深度学习框架简介 .................................................................................................... 129 4.2.1 评测方式 .............................................................................................................................. 130 4.2.2 评测对象 .............................................................................................................................. 131 4.2.3 深度学习框架评测 ............................................................................................................... 131 4.2.4 小结 ...................................................................................................................................... 135 4.3 深度学习框架快速上手 ............................................................................................ 135 4.3.1 符号主义 .............................................................................................................................. 135 4.3.2 MNIST .................................................................................................................................. 136 4.3.3 Keras 完成逻辑分类 ............................................................................................................ 138 4.3.4 回顾 ...................................................................................................................................... 141 4.4 Caffe 实现逻辑分类模型 ........................................................................................... 141 4.4.1 Caffe 训练MNIST 概览 ...................................................................................................... 142 4.4.2 Caffe 简介 ............................................................................................................................. 144 4.4.3 准备数据集 .......................................................................................................................... 145 4.4.4 准备模型 .............................................................................................................................. 146 4.4.5 模型训练流程 ...................................................................................................................... 149 4.4.6 使用模型 .............................................................................................................................. 149 4.4.7 Caffe 的Python 接口 ........................................................................................................... 150 4.4.8 回顾 ...................................................................................................................................... 151 第5 章 深层学习模型 ................................................................................ 152 5.1 解密生物智能 ............................................................................................................ 154 5.1.1 实验一：大脑的材料 ........................................................................................................... 154 5.1.2 实验二：探索脑皮层的功能区域 ....................................................................................... 156 5.1.3 实验三：不同的皮层组织——区别在于函数算法 ........................................................... 158 5.1.4 实验四：可替换的皮层模块——神经元组成的学习模型 ............................................... 161 5.1.5 模拟神经元 .......................................................................................................................... 162 5.1.6 生物结构带来的启发 ........................................................................................................... 163 5.1.7 回顾 ...................................................................................................................................... 164 5.2 DNN 神经网络模型 ................................................................................................... 164 5.2.1 线性内核和非线性激活 ....................................................................................................... 164 5.2.2 DNN、CNN、RNN ............................................................................................................. 165 5.2.3 逻辑分类：一层神经网络 ................................................................................................... 166 目录 ∣ IX 5.2.4 更多的神经元 ...................................................................................................................... 167 5.2.5 增加Hidden Layer（隐层） ................................................................................................ 168 5.2.6 ReLu 激活函数 ..................................................................................................................... 170 5.2.7 理解隐层 .............................................................................................................................. 171 5.2.8 回顾 ...................................................................................................................................... 172 5.3 神经元的深层网络结构 ............................................................................................ 172 5.3.1 问题：更宽 or 更深 ........................................................................................................... 172 5.3.2 链式法则：深层模型训练更快 ........................................................................................... 173 5.3.3 生物：深层模型匹配生物的层级识别模式 ....................................................................... 175 5.3.4 深层网络结构 ...................................................................................................................... 177 5.3.5 回顾 ...................................................................................................................................... 178 5.4 典型的DNN 深层网络模型：MLP .......................................................................... 178 5.4.1 优化梯度下降 ...................................................................................................................... 179 5.4.2 处理过拟合：Dropout ......................................................................................................... 181 5.4.3 MLP 模型 ............................................................................................................................. 182 5.4.4 回顾 ...................................................................................................................................... 185 5.5 Caffe 实现MLP ......................................................................................................... 185 5.5.1 搭建MLP ............................................................................................................................. 185 5.5.2 训练模型 .............................................................................................................................. 189 5.5.3 回顾 ...................................................................................................................................... 190 第6 章 学习空间特征 ................................................................................ 191 6.1 预处理空间数据 ........................................................................................................ 192 6.1.1 像素排列展开的特征向量带来的问题 ............................................................................... 192 6.1.2 过滤冗余 .............................................................................................................................. 194 6.1.3 生成数据 .............................................................................................................................. 195 6.1.4 回顾 ...................................................................................................................................... 198 6.2 描述图片的空间特征：特征图 ................................................................................ 199 6.2.1 图片的卷积运算................................................................................................................... 199 6.2.2 卷积指令和特征图 ............................................................................................................... 201 6.2.3 回顾 ...................................................................................................................................... 206 6.3 CNN 模型I：卷积神经网络原理 ............................................................................. 206 6.3.1 卷积神经元 .......................................................................................................................... 207 X ∣ 机器学习之路——Caffe、Keras、scikit-learn 实战 6.3.2 卷积层 .................................................................................................................................. 208 6.3.3 多层卷积 .............................................................................................................................. 211 6.3.4 回顾 ...................................................................................................................................... 216 6.4 CNN 模型II：图片识别 ........................................................................................... 216 6.4.1 连接分类模型 ...................................................................................................................... 216 6.4.2 猫狗分类 .............................................................................................................................. 217 6.4.3 反思CNN 与DNN 的结合：融合训练 .............................................................................. 221 6.4.4 深度学习与生物视觉 ........................................................................................................... 222 6.4.5 回顾 ...................................................................................................................................... 224 6.5 CNN 的实现模型 ....................................................................................................... 224 6.5.1 ImageNet 简介 ...................................................................................................................... 224 6.5.2 Googlenet 模型和Inception 结构 ........................................................................................ 226 6.5.3 VGG 模型 ............................................................................................................................. 228 6.5.4 其他模型 .............................................................................................................................. 231 6.5.5 回顾 ...................................................................................................................................... 232 6.6 微训练模型（fine-tuning） ....................................................................................... 232 6.6.1 二次训练一个成熟的模型 ................................................................................................... 232 6.6.2 微训练在ImageNet 训练好的模型 ..................................................................................... 233 6.6.3 回顾 ...................................................................................................................................... 239 第7 章 Caffe 实例：狗狗品种辨别 ........................................................... 240 7.1 准备图片数据 ............................................................................................................ 240 7.1.1 搜集狗狗图片 ...................................................................................................................... 240 7.1.2 清洗数据 .............................................................................................................................. 241 7.1.3 标准化数据 .......................................................................................................................... 242 7.1.4 回顾 ...................................................................................................................................... 243 7.2 训练模型 .................................................................................................................... 243 7.2.1 生成样本集 .......................................................................................................................... 244 7.2.2 生成训练、测试数据集 ....................................................................................................... 245 7.2.3 生成lmdb ............................................................................................................................. 246 7.2.4 生成去均值文件................................................................................................................... 247 7.2.5 更改prototxt 文件 ................................................................................................................ 247 7.2.6 训练模型 .............................................................................................................................. 249 目录 ∣ XI 7.2.7 回顾 ...................................................................................................................................... 249 7.3 使用生成的模型进行分类 ........................................................................................ 249 7.3.1 更改deploy.prototxt ............................................................................................................. 249 7.3.2 加载模型 .............................................................................................................................. 250 7.3.3 回顾 ...................................................................................................................................... 257 第8 章 漫谈时间序列模型 ......................................................................... 258 8.1 Embedding .................................................................................................................. 259 8.1.1 简单的文本识别................................................................................................................... 260 8.1.2 深度学习从读懂词义开始 ................................................................................................... 261 8.1.3 游戏：词义运算................................................................................................................... 264 8.1.4 回顾 ...................................................................................................................................... 264 8.2 输出序列的模型 ........................................................................................................ 265 8.2.1 RNN ...................................................................................................................................... 265 8.2.2 LSTM .................................................................................................................................... 266 8.2.3 并用人工特征和深度学习特征——一个NLP 模型的优化历程 ...................................... 268 8.2.4 反思：让模型拥有不同的能力 ........................................................................................... 270 8.2.5 回顾 ...................................................................................................................................... 273 8.3 深度学习：原理篇总结 ............................................................................................ 273 8.3.1 原理小结 .............................................................................................................................. 273 8.3.2 使用建议 .............................................................................................................................. 275 第9 章 用深度学习做个艺术画家——模仿实现PRISMA ........................... 277 9.1 机器学习初探艺术作画 ............................................................................................ 278 9.1.1 艺术作画概念基础 ............................................................................................................... 278 9.1.2 直观感受一下机器艺术家 ................................................................................................... 279 9.1.3 一个有意思的实验 ............................................................................................................... 280 9.1.4 机器艺术作画的愿景 ........................................................................................................... 281 9.1.5 回顾 ...................................................................................................................................... 282 9.2 实现秒级艺术作画 .................................................................................................... 282 9.2.1 主要实现思路分解讲解 ....................................................................................................... 283 9.2.2 使用统计参数期望与标准差寻找mask .............................................................................. 290 XII ∣ 机器学习之路——Caffe、Keras、scikit-learn 实战 9.2.3 工程代码封装结构及使用示例 ........................................................................................... 299 9.2.4 回顾和后记 .......................................................................................................................... 302 附录A 机器学习环境部署 ......................................................................... 303 附录B 深度学习环境部署 ......................................................................... 307 附录C 随书代码运行环境部署 .................................................................. 312