0%

以最速下降法求解无约束非线性规划问题

可解决的问题(应用):

  1. 找最值(最优化)
  2. 线性拟合(找一线尽量过所有点/差最小)

最小二乘法 只能用作 线性拟合

解决的问题:

​ 最速下降法解决的是无约束优化问题,而所谓无约束优化问题就是对目标函数的求解,没有任何的约束限制的优化问题,

比如求最小值: \(\min f(x)\) ,其中 : \(f: R^n \rightarrow R\)

求解这类问题: (1)最优条件法 (2)迭代法

最优条件法:

​ 指当函数存在解析形式,能够通过最优性条件求解出显式最优解。

对于无约束最优化问题,如果 \(f(x)\) 在最优点 \(x^*\) 附近可微,那么 \(x^*\) 是局部极小点的必要条件为: \[ df(x^*) = 0 \] 我们常常通过这个必要条件求极小值点,再验证是否是极小值点,当上述方程可以求解时,无约束优化问题基本就解决了

实际中,此方程往往难于求解,这就引出了第二类方法:迭代法

阅读全文 »