最优化方法

刘建军

目录

  • 1 第一单元 数学规划基础
    • 1.1 序言
    • 1.2 数学规划基础
  • 2 第二单元 线性规划
    • 2.1 线性规划简史
    • 2.2 线性规划模型
    • 2.3 线性规划图解法及软件求解
    • 2.4 线性规划基本定理
    • 2.5 线性规划的标准形
    • 2.6 标准形线性规划的解
    • 2.7 单纯形法原理
    • 2.8 单纯形法算法步骤及程序实现
    • 2.9 表格单纯形法
    • 2.10 人工变量求解线性规划问题
  • 3 第三单元 对偶规划及灵敏度分析
    • 3.1 对偶规划
    • 3.2 对偶单纯形法
    • 3.3 灵敏度分析
    • 3.4 线性规划-内点法
    • 3.5 整数线性规划
  • 4 第四单元 无约束非线性优化
    • 4.1 非线性优化概论
    • 4.2 一维搜索算法
    • 4.3 梯度类算法
      • 4.3.1 最速下降法
      • 4.3.2 牛顿法与修正牛顿法
      • 4.3.3 拟牛顿法(DFP+BFGS)
      • 4.3.4 共轭梯度法(FR)
      • 4.3.5 最小二乘法
      • 4.3.6 梯度类算法比较实验
      • 4.3.7 梯度算法历史注记
    • 4.4 直接类算法
      • 4.4.1 模式搜索法(Hooke Jeeves)
      • 4.4.2 单纯形加速法
      • 4.4.3 无约束优化算法比较实验
  • 5 第五单元 约束非线性优化
    • 5.1 KKT点及程序实现
    • 5.2 罚函数法(SUMT)
    • 5.3 可行方向法
    • 5.4 二次规划(QP)
    • 5.5 约束优化软件求解
  • 6 第六单元 多目标规划
    • 6.1 多目标规划原理
    • 6.2 多目标的四个求解技巧
    • 6.3 目标规划方法
    • 6.4 多目标规划应用实例
  • 7 第七单元 动态规划
    • 7.1 动态规划基本概念和原理
    • 7.2 动态规划应用
  • 8 第八单元  现代优化算法
    • 8.1 现代优化算法概论
    • 8.2 禁忌搜索算法(Taboo Search, TS)
      • 8.2.1 禁忌搜索算法原理
      • 8.2.2 禁忌搜索算法步骤与参数设置
      • 8.2.3 禁忌搜索算法的应用
    • 8.3 模拟退火算法(Simulated Annealing, SA)
      • 8.3.1 模拟退火算法物理背景
      • 8.3.2 模拟退火算法步骤与数学模型
      • 8.3.3 模拟退火算法应用案例
    • 8.4 遗传算法(Genetic Algrithm, GA)
      • 8.4.1 遗传算法生物学背景
      • 8.4.2 遗传算法流程用简单实例
      • 8.4.3 改进遗传算法改进与应用
    • 8.5 粒子群算法(Partical Swarm Optimization, PSO)
      • 8.5.1 粒子群算法原理及实现
      • 8.5.2 粒子群算法应用实例
模拟退火算法(Simulated Annealing, SA)

    模拟退火算法(Simulated Annealing,SA)最早的思想是由N. Metropolis 等人于1953年提出。

    1983 年,S. Kirkpatrick 等成功地将退火思想引入到组合优化领域。

 

    它是基于Monte-Carlo迭代求解策略的一种随机寻优算法,其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初温出发,伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解,即在局部最优解能概率性地跳出并最终趋于全局最优。模拟退火算法是一种通用的优化算法,理论上算法具有概率的全局优化性能,目前已在工程中得到了广泛应用,诸如VLSI、生产调度、控制工程、机器学习、神经网络、信号处理等领域。

    模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性,从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法。