最优化问题的求解方法分类
最优化方法 不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。反之,某些最优化方法可适用于不同类型的模型。最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。①解析法：这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。②直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。此时可采用直接搜索的方法经过若干次迭代搜索到最优点。这种方法常常根据经验或通过试验得到所需结果。对于一维搜索(单变量极值问题)，主要用消去法或多项式插值法；对于多维搜索问题(多变量极值问题)主要应用爬山法。③数值计算法：这种方法也是一种直接法。它以梯度法为基础，所以是一种解析与数值计算相结合的方法。④其他方法：如网络最优化方法等(见网络理论)。
根据函数的解析性质，还可以对各种方法作进一步分类。例如，如果目标函数和约束条件都是线性的，就形成线性规划。线性规划有专门的解法，诸如单纯形法、解乘数法、椭球法和卡马卡法等。当目标或约束中有一非线性函数时,就形成非线性规划。当目标是二次的,而约束是线性时，则称为二次规划。二次规划的理论和方法都较成熟。如果目标函数具有一些函数的平方和的形式，则有专门求解平方和问题的优化方法。目标函数具有多项式形式时，可形成一类几何规划。
最优解的概念 最优化问题的解一般称为最优解。如果只考察约束集合中某一局部范围内的优劣情况，则解称为局部最优解。如果是考察整个约束集合中的情况，则解称为总体最优解。对于不同优化问题，最优解有不同的含意，因而还有专用的名称。例如，在对策论和数理经济模型中称为平衡解；在控制问题中称为最优控制或极值控制；在多目标决策问题中称为非劣解（又称帕雷托最优解或有效解）。在解决实际问题时情况错综复杂，有时这种理想的最优解不易求得，或者需要付出较大的代价，因而对解只要求能满足一定限度范围内的条件,不一定过分强调最优。50年代初,在运筹学发展的早期就有人提出次优化的概念及其相应的次优解。提出这些概念的背景是：最优化模型的建立本身就只是一种近似，因为实际问题中存在的某些因素，尤其是一些非定量因素很难在一个模型中全部加以考虑。另一方面，还缺乏一些求解较为复杂模型的有效方法。1961年H.A.西蒙进一步提出满意解的概念，即只要决策者对解满意即可。
最优化方法的应用 最优化一般可以分为最优设计、最优计划、最优管理和最优控制等四个方面。①最优设计:世界各国工程技术界,尤其是飞机、造船、机械、建筑等部门都已广泛应用最优化方法于设计中，从各种设计参数的优选到最佳结构形状的选取等，结合有限元方法已使许多设计优化问题得到解决。一个新的发展动向是最优设计和计算机辅助设计相结合。电子线路的最优设计是另一个应用最优化方法的重要领域。配方配比的优选方面在化工、橡胶、塑料等工业部门都得到成功的应用,并向计算机辅助搜索最佳配方、配比方向发展(见优选法)。②最优计划:现代国民经济或部门经济的计划，直至企业的发展规划和年度生产计划，尤其是农业规划、种植计划、能源规划和其他资源、环境和生态规划的制订,都已开始应用最优化方法。一个重要的发展趋势是帮助领导部门进行各种优化决策。③最优管理：一般在日常生产计划的制订、调度和运行中都可应用最优化方法。随着管理信息系统和决策支持系统的建立和使用，使最优管理得到迅速的发展。④最优控制：主要用于对各种控制系统的优化。例如，导弹系统的最优控制，能保证用最少燃料完成飞行任务,用最短时间达到目标;再如飞机、船舶、电力系统等的最优控制，化工、冶金等工厂的最佳工况的控制。计算机接口装置不断完善和优化方法的进一步发展，还为计算机在线生产控制创造了有利条件。最优控制的对象也将从对机械、电气、化工等硬系统的控制转向对生态、环境以至社会经济系统的控制