数学优化

目录
总序
前言
第1章 引言 1
参考文献 6
第2章 线性规划 7
2.1 线性规划问题背景 7
2.2 线性规划数学模型 9
2.3 线性规划求解方法 10
2.3.1 单纯形法 10
2.3.2 内点算法 11
2.4 线性规划的发展方向 12
2.5 线性锥优化 16
2.6 线性锥优化对偶理论 17
2.7 线性锥优化的求解方法 18
2.7.1 内点算法 18
2.7.2 其他方法 19
2.8 线性锥优化发展方向 19
参考文献 22
第3章 非线性优化 25
3.1 概述 25
3.2 无约束优化 25
3.2.1 共轭梯度法 26
3.2.2 拟牛顿法 26
3.2.3 信赖域方法 27
3.3 约束优化 29
3.3.1 KKT 定理和对偶理论 29
3.3.2 乘子法 29
3.3.3 逐步二次规划方法 30
3.3.4 内点算法 31
3.4 总结与展望 32
参考文献 33
第4章 整数规划 37
4.1 线性整数规划 37
4.2 非线性整数规划 40
4.3 非线性整数规划算法 42
4.4 整数规划展望 46
参考文献 46
第5章 组合优化、复杂性与近似算法 48
5.1 概述 48
5.2 关键科学问题与研究发展趋势 50
5.2.1 装箱问题 50
5.2.2 旅行商问题 51
5.2.3 斯坦纳树问题 53
5.2.4 设施选址问题 54
5.2.5 k-平均问题 55
5.2.6 次模*大化问题 57
5.2.7 图划分问题 59
5.2.8 计算复杂性 60
5.3 重要理论、方法的应用及展望 61
参考文献 68
第6章 全局优化 73
6.1 概述 73
6.2 历史与现状 73
6.3 前景展望 75
6.3.1 全局*优性基础理论研究 76
6.3.2 全局优化算法研究 76
6.3.3 应用问题驱动的全局优化算法研究 80
参考文献 81
第7章 无导数优化 84
7.1 概述 84
7.2 无导数优化的源流与发展 84
7.2.1 直接搜索方法 85
7.2.2 基于模型的方法 86
7.3 无导数优化的发展方向与挑战 87
7.3.1 针对噪声问题的算法和理论 87
7.3.2 针对大规模问题的算法 87
7.3.3 无导数优化在数据科学和机器学习领域的应用 89
7.3.4 实用软件开发与实际问题求解 89
参考文献 89
第8章 非光滑优化和扰动分析 93
8.1 非光滑优化 93
8.1.1 非光滑分析的综述 93
8.1.2 非光滑优化算法的综述 96
8.1.3 目前的研究热点和思考 98
8.2 扰动分析 99
8.2.1 概述 99
8.2.2 目前的研究热点和思考 101
参考文献 102
第9章 变分不等式与互补问题 105
9.1 概述 105
9.2 发展与现状 106
9.3 展望与挑战 111
参考文献 113
第10章 鲁棒优化 115
10.1 概述 115
10.2 研究历史 115
10.3 研究现状及发展趋势 116
10.3.1 鲁棒优化的基础模型 117
10.3.2 概率约束条件及目标 117
10.3.3 概率分布本身的不确定性 118
10.3.4 直接从数据出发的鲁棒决策模型 118
10.3.5 鲁棒优化在其他领域的应用 119
10.4 求解器的开发及应用 119
参考文献 120
第11章 向量优化 123
11.1 简介 123
11.2 概述 124
11.3 研究现状与未来研究方向 125
11.3.1 向量优化问题的解定义及其性质研究 125
11.3.2 向量优化问题的标量化方法 127
11.3.3 向量变分不等式及向量均衡问题研究 128
11.3.4 向量优化问题的算法研究 129
11.3.5 随机与不确定多目标优化问题研究 130
11.3.6 非线性标量化函数与机器学习研究 131
参考文献 132
第12章 多项式优化 134
12.1 概述 134
12.2 多项式优化理论 135
12.3 多项式优化算法 137
12.4 发展趋势和展望 140
12.4.1 多项式优化中的凸性 140
12.4.2 Lasserre 层级 SOS 松弛方法的分析 140
12.4.3 多项式优化近似算法设计与分析 140
12.4.4 大规模多项式优化数值算法 141
12.4.5 分式多项式优化 141
12.4.6 基于二阶锥松弛的松弛层级 141
参考文献 141
第13章 张量优化 144
13.1 概述 144
13.2 发展与现状 145
13.3 展望与挑战 149
参考文献 151
第14章 矩阵优化 154
14.1 矩阵优化概述 155
14.1.1 国内外研究发展现状 155
14.1.2 发展趋势和展望 159
14.2 低秩稀疏矩阵优化问题 160
14.2.1 国内外研究发展现状 161
14.2.2 关键问题和挑战 167
14.2.3 未来发展建议 169
参考文献 171
第15章 流形约束优化 176
15.1 流形约束优化简介 176
15.2 流形约束优化应用 177
15.2.1 球约束模型 177
15.2.2 线性特征值计算 178
15.2.3 非线性特征值计算 179
15.2.4 低秩矩阵优化 180
15.2.5 在整数规划中的应用 181
15.2.6 冷冻电镜 181
15.2.7 在深度学习中的应用 181
15.3 流形约束优化算法 182
15.4 流形约束优化分析 184
15.4.1 测地凸优化 184
15.4.2 自洽场迭代的收敛性 185
15.4.3 正交约束优化的全局*优解 185
15.4.4 *大割问题 185
15.4.5 正交约束的小 Grothendieck 问题 186
15.5 关键问题和挑战 186
15.5.1 基础理论性质 186
15.5.2 流形约束的有效表达 186
15.5.3 非标准流形约束问题的处理 187
15.5.4 计算驱动的模型和算法 187
15.5.5 优化算法的微分方程形式 187
15.6 未来发展建议 188
15.6.1 特殊结构的模型和算法 188
15.6.2 重点问题/重点应用的研究 188
15.6.3 随机算法和随机分析 188
15.6.4 流形学习 189
15.6.5 软件包的发展 189
参考文献 190
第16章 双层优化 195
16.1 概述 195
16.2 应用背景 196
16.2.1 电力市场里的应用 196
16.2.2 城市道路交通中的应用 197
16.2.3 经济管理方面的应用 199
16.3 研究现状 200
16.3.1 理论方面 200
16.3.2 算法方面 201
16.4 前景展望 203
16.4.1 乐观双层优化 204
16.4.2 悲观与部分合作双层优化 204
16.4.3 多目标双层优化 204
16.4.4 混合整数双层优化 204
16.4.5 不确定信息下的双层优化 204
16.4.6 双层纳什均衡问题 205
16.4.7 双层集值优化问题 205
16.4.8 MPEC 及其相关课题 205
参考文献 205
第17章 经典随机优化方法 208
17.1 历史进展 208
17.2 典型随机优化方法 211
17.2.1 经典模型 211
17.2.2 两类方法 212
17.3 目前的研究热点及其思考 214
参考文献 215
第18章 梯度法 217
18.1 光滑梯度法 217
18.1.1 单调梯度法 217
18.1.2 非单调梯度法 219
18.2 确定型梯度法 221
18.2.1 由问题的显式结构驱动的梯度型方法设计 221
18.2.2 由问题的隐式结构驱动的梯度型方法分析 223
18.3 随机梯度法 224
18.3.1 自适应学习率的随机梯度型方法 225
18.3.2 梯度方差缩减的随机梯度型方法 225
18.3.3 高阶随机梯度型方法 226
18.4 问题与挑战 227
参考文献 227
第19章 算子分裂法与交替方向法 231
19.1 概述 231
19.2 Forward-Backward 分裂算法 232
19.3 Douglas-Rachford 分裂算法 233
19.4 研究热点 235
参考文献 238
第20章 分布式优化 241
20.1 研究背景 241
20.2 主要研究内容 243
20.2.1 代数层面的并行化 244
20.2.2 模型层面的并行化 245
20.3 前沿方向 247
20.3.1 ADMM 方法的改进 247
20.3.2 PBCD 方法的改进 247
20.3.3 PSC 方法的改进 248
20.3.4 异步计算 248
20.3.5 困难问题的分布式/并行求解 248
20.4 发展趋势 249
20.4.1 结合具体的热点问题 249
20.4.2 结合不同的并行硬件 249
20.4.3 分布式优化平台开发 249
20.4.4 与新兴科技的结合 250
20.5 本章小结 250
参考文献 251
第21章 人工智能优化 254
21.1 概述 254
21.2 人工智能中的优化方法的历史与现状 256
21.2.1 数据再表达中的优化方法 256
21.2.2 判别学习中的优化方法 258
21.2.3 强化学习的*优化理论与算法 259
21.2.4 机器学习中的一般优化模型与算法 260
21.3 前景展望 264
21.3.1 样本数据的生成和选择理论 264
21.3.2 数据再表达中的优化模型、求解及理论研究 265
21.3.3 机器学习中的一