最优化问题设计与理论——数学规划

最优化问题

• 一般形式
  

• 标准形式
  

最优化问题分类

• 经典优化（静态优化问题）
  • 有无约束函数分为有约束的最优化问题和无约束的最优化问题。比较经典的拉格朗日乘子法。
  • 根据目标函数和约束函数的函数类型分类：线性最优化问题（整数规划、0-1规划）、非线性最优化问题、二次规划、多目标规划。
• 现代优化（动态优化问题）
  • 动态规划与最优控制问题 组合优化问题
• 静态优化
• 动态优化

最优解得概念及算法

可行域与可行解

最优解

• 局部最优解我们可以理解为在高中阶段认为函数中的极大值极小值，在某一个范围内，可能由于学习率步长的原因，暂时没法跳出这个局部最优点。

• 全局最优解一定是局部最优解，但是局部最优解不一定是全局最优解
• 全局最优就相当于以前的针对容许域内的最小值，局部最优相当于极小值点。

范数

• 计算

• 作用：衡量向量的大小

• 定义：
  

• 0 范数:非0 个数的大小

• 1范数：求取的绝对值

• 2范数：相当于欧式距离，常用

• 无穷范数：求取最大值 max

• p级范数

最优解及相关概念

• 可行方向和下降方向
• 可行方向
  
• 下降方向
  • 
  • 一般我们取负梯度，都可以选取下降的方向，然后获取正确的收敛方向。

最优解算法的概述

• 算法思想
• 陈陈：寻找最优化问题的最优解，往往需要知道的就是要知道：往哪个方向走（方向），走多远（步长）。
• 常见的终止准则
  

如何对一个算法进行评价

• 通用性：符合一类算法的计算要求。
• 稳定性 ：计算不能过分繁琐，不能消耗过多事件。
• 工作量较小：计算复杂度和空间复杂度最好小一点。