数值优化(6)——拟牛顿法:SR1,BFGS,DFP,DM条件

上一节笔记：

…​

在优化算法系列中，我们将转向深入探讨无约束优化的最后一大块：拟牛顿法。这一部分将重点放在方法的介绍和理解上，因为理论证明会逐渐减少，尽管部分理论不完整，但这正是优化学科实用价值的体现。理论研究的减少并不意味着忽视实践，恰恰相反，关注实际效果是必要的。

首先，我们回顾割线法，它是拟牛顿法的起源，通过考虑导函数的割线而非切线来寻找优化方向。接着是SR1方法，即对称秩一更新，其核心思想是每次迭代更新矩阵时，尽量保持变化最小。我们介绍了如何通过特定条件找到更新矩阵，并探讨了SR1方法的局限性和其与海塞矩阵的关系。

然后是BFGS方法，一个著名的拟牛顿算法。BFGS与SR1类似，但处理 最小变化 的方式不同，其更新矩阵的构造涉及到一个定理，确保更新后的矩阵保持对称正定。我们详细解释了定理背后的逻辑，并给出了BFGS的更新公式。

BFGS方法的全局收敛性和局部收敛性都有理论保证，而当遇到非凸问题时，需要采取修正策略，如部分更新或添加额外的凸性。最后，我们简要提到了DFP方法和Broyden族，以及统一拟牛顿方法的DM条件，这些条件为拟牛顿法的超线性收敛速度提供了保障。

总的来说，拟牛顿法通过避免计算海塞矩阵的逆，简化了计算，保持了超线性收敛速度，对于优化的实际应用非常关键。本节内容涵盖了算法、理论和应用的结合，展示了优化方法的实用性和多样性。