首先,本书在内容选择上坚持“经典”与“前沿”并重。一方面,系统全面地讲述了无约束和有约束 化问题的常用求解方法,包括负梯度方法、牛顿方法、拟牛顿方法、共轭梯度方法、罚函数方法等。另一方面,加入近几年在数据科学领域受到广泛关注的一些新型一阶 化方法,例如随机梯度下降方法、小批量随机梯度下降、动量方法、Nesterov加速梯度方法、Adam方法等。特别地,本书着重讲述了在数据科学中广泛使用的正则 化问题,并介绍其求解方法,包括坐标下降方法、近端方法和交替方向乘子方法。 其次,本书注重理论和实践相结合。主要的 化方法均配有详细例子加以解释和阐述,并在章的 一节进行数值实验,通过几个典型的 化问题展示 化方法的实际数值表现,有助于读者对方法性能建立起直观感受。