目录
第1章引言
1.1大数据对机器学习的挑战
1.2分布式优化算法国内外研究现状
1.3本书研究内容
1.4参考文献
第2章交替方向乘子法
2.1凸优化
2.1.1凸集
2.1.2凸函数
2.1.3优化问题
2.1.4凸优化问题
2.2对偶
2.2.1拉格朗日对偶函数
2.2.2对偶函数和共轭函数
2.2.3对偶问题
2.2.4鞍点
2.2.5对偶上升法
2.2.6对偶分解性
2.3交替方向乘子法
2.3.1增广拉格朗日乘子法
2.3.2交替方向乘子法
2.3.3全局变量一致性优化
2.4参考文献
第3章稀疏回归
3.1Lasso问题
3.2ADMM求解Lasso问题
3.3Lasso问题的一般求解
3.4Lasso问题的全局一致性求解
3.4.1基于样本划分的Lasso问题
3.4.2基于特征划分的Lasso问题
3.5参考文献
第4章Huber回归
4.1Huber损失在稀疏鲁棒性编码中的应用
4.1.1基于回归分析的一般分类框架
4.1.2稀疏编码
4.1.3Huber损失函数
4.2Huber损失的一般化求解
4.3Huber损失的并行求解
4.3.1基于特征划分的Huber函数
4.3.2基于样本划分的Huber函数
4.4参考文献
第5章交替方向乘子法在图像处理中的应用
5.1基于交替方向乘子法的全变差模糊图像恢复
5.1.1图像退化模型
5.1.2ADMM算法图像恢复推导过程
5.2基于交替方向乘子法的遥感图像融合
5.2.1基于变分框架的图像融合方法
5.2.2基于增强稀疏结构一致性的遥感图像融合
5.2.3实验结果与分析
5.3参考文献
第6章加权Huber约束稀疏表达的鲁棒性算法
6.1Sigmoid权重
6.2加权Huber约束稀疏编码
6.2.1权重的初始值
6.2.2迭代条件
6.2.3查询样本类别判断
6.3算法鲁棒性分析
6.4算法的迭代步骤及其子问题划分
6.4.1ADMM求解子问题
6.4.2计算复杂度分析
6.4.3收敛性和收敛率分析
6.5加权Huber约束稀疏编码算法实验
6.5.1实验设置
6.5.2弱遮挡的人脸识别
6.5.3强遮挡的人脸识别
6.5.4图像的重构
6.5.5运行时间
6.5.6参数与识别率
6.5.7实验结果与分析
6.6本章小结
6.7参考文献
第7章自适应加权Huber约束稀疏表达的鲁棒性算法
7.1自适应权重
7.2自适应加权Huber约束编码的模型
7.3自适应加权Huber约束稀疏编码的模型
7.3.1自适应权重更新
7.3.2自适应权重初始值
7.3.3迭代条件
7.3.4查询样本分类
7.4算法鲁棒性分析
7.5算法的迭代步骤及子问题分析
7.5.1ADMM求解子问题
7.5.2计算复杂度分析
7.5.3收敛性和收敛率分析
7.6自适应加权Huber约束稀疏编码算法实验
7.6.1实验设置
7.6.2弱闭塞的人脸识别
7.6.3强闭塞的人脸识别
7.6.4运行时间
7.6.5参数分析
7.6.6实验结果与分析
7.7本章小结
7.8参考文献
第8章极大不相关多元逻辑回归
8.1引入极大不相关约束的意义
8.2极大不相关多元逻辑回归算法
8.2.1基于多元逻辑回归算法的改进
8.2.2求解算法时间复杂度分析
8.3极大不相关多元逻辑回归算法实验
8.3.1数据集介绍
8.3.2人工数据集和公开数据集实验结果
8.3.3极大不相关神经网络算法实验
8.4大规模极大不相关多元逻辑回归算法
8.4.1极大不相关多元逻辑回归的一致性求解算法
8.4.2极大不相关多元逻辑回归的共享求解算法
8.4.3求解算法时间复杂度分析
8.5分布式极大不相关逻辑回归算法实验
8.5.1运行环境与数据集介绍
8.5.2一致性求解算法的实验对比
8.5.3共享求解算法的实验对比
8.6本章小结
8.7参考文献
第9章快速稀疏多元逻辑回归
9.1稀疏多元逻辑回归串行求解算法
9.1.1迭代重加权最小二乘法
9.1.2快速稀疏多元逻辑回归算法
9.2快速稀疏多元逻辑回归算法实验
9.2.1实验设置
9.2.2优化算法实验及分析
9.2.3传统算法实验及分析
9.3稀疏多元逻辑回归并行求解算法
9.3.1多元逻辑回归的一致性优化求解
9.3.2多元逻辑回归的共享优化求解
9.3.3求解算法收敛性分析
9.3.4求解算法计算复杂度分析
9.4SPSMLR算法和FPSMLR算法实验
9.4.1实验设置
9.4.2样本划分实验及分析
9.4.3特征划分实验及分析
9.4.4大规模算法实验及分析
9.5本章小结
9.6参考文献
第10章CoCoA框架下的Lasso回归分布式求解
10.1CoCoA框架介绍
10.1.1框架应用的两种问题形式
10.1.2各节点求解的子问题
10.1.3CoCoA总体计算框架
10.2CoCoA框架下求解Lasso回归
10.3CoCoA框架下求解Lasso回归实验
10.3.1实验设置
10.3.2实验结果与分析
10.4本章小结
10.5参考文献
第11章CoCoA框架下的稀疏多元逻辑回归分布式求解
11.1稀疏多元逻辑回归
11.2稀疏多元逻辑回归分布式求解
11.3CoCoA框架下求解稀疏多元逻辑回归实验
11.3.1实验设置
11.3.2实验结果与分析
11.4本章小结
11.5参考文献