机器学习：基于约束的方法

译者序
前言
练习说明
第1章整体情况
11为什么机器需要学习
111学习任务
112环境的符号和子符号表示
113生物和人工神经网络
114学习的协议
115基于约束的学习
12原则和实践
121归纳的令人困惑的本质
122学习原则
123时间在学习过程中的作用
124注意力机制的聚焦
13实践经验
131度量实验的成功
132手写字符识别
133建立机器学习实验
134试验和实验备注
14机器学习面临的挑战
141学习观察
142语言理解
143生活在自己环境中的代理
15注释
第2章学习原则
21环境约束
211损失函数与风险函数
212约束引发的风险函数的病态
213风险最小化
214偏差——方差困境
22统计学习
221最大似然估计
222贝叶斯推理
223贝叶斯学习
224图形模式
225频率论和贝叶斯方法
23基于信息的学习
231一个启发性的示例
232最大熵原理
233最大相互信息
24简约原则下的学习
241简约原则
242最小描述长度
243MDL与正则化
244正则化的统计解释
25注释
第3章线性阈值机
31线性机
311正规方程
312待定问题和广义逆
313岭回归
314原始表示和对偶表示
32包含阈值单元的线性机
321谓词阶数和表示性问题
322线性可分示例的最优性
323无法分离的线性可分
33统计视图
331贝叶斯决策和线性判别分析
332逻辑回归
333符合贝叶斯决策的独立原则
334统计框架中的LMS
34算法问题
341梯度下降
342随机梯度下降
343感知机算法
344复杂性问题
35注释
第4章核方法
41特征空间
411多项式预处理
412布尔富集
413不变的特征匹配
414高维空间中的线性可分性
42最大边际问题
421线性可分下的分类
422处理软约束问题
423回归
43核函数
431相似性与核技巧
432内核表征
433再生核映射
434内核类型
44正则化
441正则化的风险
442在RKHS上的正则化
443最小化正则化风险
444正则化算子
45注释
第5章深层结构
51结构性问题
511有向图及前馈神经网络
512深层路径
513从深层结构到松弛结构
514分类器、回归器和自动编码器
52布尔函数的实现
521“与或”门的典型实现
522通用的“与非”实现
523浅层与深层实现
524基于LTU的实现和复杂性问题
53实值函数实现
531基于几何的计算实现
532通用近似
533解空间及分离表面
534深层网络和表征问题
54卷积网络
541内核、卷积和感受野
542合并不变性
543深度卷积网络
55前馈神经网络上的学习
551监督学习
552反向传播
553符号微分以及自动求导法则
554正则化问题
56复杂度问题
561关于局部最小值的问题
562面临饱和
563复杂性与数值问题
57注释
第6章约束下的学习与推理
61约束机
611学习和推理
612约束环境的统一视图
613学习任务的函数表示
614约束下的推理
62环境中的逻辑约束
621形式逻辑与推理的复杂度
622含符号和子符号的环境
623t范数
624ukasiewicz命题逻辑
63扩散机
631数据模型
632时空环境中的扩散
633循环神经网络
64算法问题
641基于内容的逐点约束
642输入空间中的命题约束
643线性约束的监督学习
644扩散约束下的学习
65终身学习代理
651认知行为及时间流动
652能量平衡
653焦点关注、教学及主动学习
654发展学习
66注释
第7章结语
第8章练习答案
附录A有限维的约束优化
附录B正则算子
附录C变分计算
附录D符号索引