对偶理论及应用

目录
前言
第1章 优化理论的基本概念 1
1.1 引例 1
1.2 优化问题的一般形式 2
1.2.1 优化问题 2
1.2.2 多目标优化 2
1.3 优化算法 4
1.3.1 线性搜索 4
1.3.2 信赖域法 6
1.3.3 下降方向 7
1.4 算法的收敛性与收敛速度 8
1.4.1 收敛性 8
1.4.2 收敛速度 9
1.5 凸集和凸函数 9
1.5.1 凸集 10
1.5.2 凸函数 13
1.5.3 梯度、Hessian矩阵和Taylor公式 17
1.5.4 凸函数的判别 19
1.6 优化问题的分类 21
1.6.1 凸优化问题 22
1.6.2 凹优化问题 22
参考文献 22
第2章 优性条件 25
2.1 无约束问题的优性条件 25
2.2 约束问题的优性条件 27
2.2.1 约束问题优性条件的几何意义 27
2.2.2 KKT条件 30
参考文献 33
第3章 对偶理论 34
3.1 拉格朗日对偶 34
3.1.1 惩罚法的基本思想 34
3.1.2 原问题与对偶问题之间的关系 36
3.1.3 鞍点与大小问题 47
3.2 基本算法 50
3.2.1 次梯度算法 50
3.2.2 原对偶算法 54
3.3 增量拉格朗日方法 55
3.4 交替方向数乘法 60
3.5 扩展对偶理论及算法 64
参考文献 70
第4章 网络资源分配中的对偶应用 74
4.1 网络效用大化的基本思想 74
4.1.1 网络效用大化的应用背景 74
4.1.2 Kelly的原始模型 76
4.1.3 网络效用大化的基本模型和分布式算法设计 78
4.2 效用与效用函数设计 83
4.2.1 效用的定义 83
4.2.2 效用函数的设计 85
4.3 网络效用大化模型扩展 96
4.3.1 无线网络效用大化模型 97
4.3.2 云计算中网络效用大化模型 101
4.3.3 有限信道状态的效用大化模型 103
4.3.4 其他网络效用大化模型 105
参考文献 106
第5章 无线传感器网络功率控制中的对偶应用 113
5.1 无线传感器网络中联合功率控制和速率调整 113
5.1.1 应用背景及问题的提出 114
5.1.2 系统模型 116
5.1.3 基于对偶分解的分布式算法 120
5.1.4 有反馈噪声的分布式算法 124
5.1.5 数值计算与仿真验证 126
5.2 无线网络中基于ADMM的分布式功率控制算法设计 129
5.2.1 应用背景 130
5.2.2 系统模型 131
5.2.3 效用函数为凹的分布式功率控制 132
5.2.4 效用函数为非凹的分布式功率控制 135
5.2.5 仿真实验 140
参考文献 144
第6章 机器学习中的对偶应用 148
6.1 感知器算法 148
6.1.1 感知器的定义 148
6.1.2 感知器的表征能力 149
6.1.3 感知器学习策略 151
6.1.4 感知器学习原始算法 152
6.1.5 感知器学习对偶算法 153
6.2 支持向量机 154
6.2.1 动机与基本概念 154
6.2.2 线性可分支持向量机 155
6.2.3 软间隔大化 158
6.3 主成分分析 163
6.3.1 主成分分析的概念 163
6.3.2 主成分分析算法 166
参考文献 168