应用最优化方法及MATLAB实现2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

应用最优化方法及MATLAB实现PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1最优化方法的发展历史1

1.2最优化问题举例3

1.3最优化问题的数学模型及相关概念7

1.3.1最优化问题的数学模型及三要素7

1.3.2可行点、非可行点、可行域7

1.3.3其他形式优化问题的转化8

1.4最优化方法的分类8

1.5最优化方法的算法基本结构9

1.6最优化算法的评价指标10

第2章 无约束优化问题的基本概念与理论11

2.1梯度信息11

2.1.1梯度向量11

2.1.2 Hesse矩阵11

2.1.3 Hesse矩阵的正定、半正定、负定、半负定、不定性质及判定12

2.1.4梯度向量与Hesse矩阵的关系13

2.2 Taylor展开式与函数逼近13

2.2.1一维函数的Taylor展开式13

2.2.2多维函数的Taylor展开式13

2.2.3多维函数的一阶与二阶Taylor展开式14

2.3极值点与稳定点14

2.3.1极值点14

2.3.2稳定点15

2.4凸集、凸函数与凸优化16

2.4.1凸集16

2.4.2凸函数和凹函数16

2.4.3凸函数的相关性质17

2.4.4函数凹凸性的判定18

2.4.5凸优化问题的定义21

2.4.6凸优化问题的判定准则21

2.5无约束优化问题的最优性条件22

2.5.1一阶必要条件22

2.5.2二阶必要条件23

2.5.3二阶充分条件23

2.6下降方向24

习题24

第3章 精确一维搜索方法25

3.1精确一维搜索介绍25

3.1.1一维搜索在最优化方法中的地位25

3.1.2精确一维搜索的问题描述与基本原理25

3.1.3区间消去思想25

3.1.4精确一维搜索方法的分类26

3.2对分搜索法27

3.2.1对分搜索法的原理27

3.2.2对分搜索法的实现难点27

3.2.3对分搜索法的计算步骤27

3.2.4对分搜索法的流程图28

3.2.5对分搜索法的MATLAB程序29

3.2.6实例测试31

3.3三点等间隔搜索法33

3.3.1等间隔搜索原理33

3.3.2三点等间隔搜索法的原理34

3.3.3三点等间隔搜索法的计算步骤34

3.3.4三点等间隔搜索法的流程图35

3.3.5三点等间隔搜索法的MATLAB程序35

3.3.6实例测试38

3.4 Fibonacci搜索法39

3.4.1对称区间消去原理39

3.4.2对称区间消去法的缩减率特点40

3.4.3 Fibonacci搜索法的原理40

3.4.4 Fibonacci搜索法的实现难点41

3.4.5 Fibonacci搜索法的计算步骤42

3.4.6 Fibonacci搜索法的流程图42

3.4.7 Fibonacci搜索法的MATLAB程序43

3.4.8实例测试46

3.5黄金分割法48

3.5.1黄金分割法的基本原理48

3.5.2黄金分割法与Fibonacci搜索法的关系48

3.5.3黄金分割法的计算步骤49

3.5.4黄金分割法的流程图50

3.5.5黄金分割法的MATLAB程序51

3.5.6实例测试52

3.6三点二次插值法54

3.6.1三点二次插值法的原理54

3.6.2四种不同的区间消去情况55

3.6.3三点二次插值法的计算步骤56

3.6.4三点二次插值法的流程图56

3.6.5三点二次插值法的MATLAB程序57

3.6.6实例测试60

习题61

第4章 非精确一维搜索方法62

4.1非精确一维搜索介绍62

4.1.1非精确一维搜索方法的优势62

4.1.2非精确一维搜索的问题描述与基本原理62

4.1.3更新步长区间的两点抛物线插值方法63

4.2 Armijo非精确搜索方法63

4.2.1 Armijo条件63

4.2.2 Armijo非精确搜索方法的计算步骤64

4.2.3 Armijo非精确搜索方法的流程图64

4.2.4 Armijo非精确搜索方法的MATLAB程序65

4.2.5实例测试67

4.3 Goldstein非精确搜索方法69

4.3.1 Goldstein条件69

4.3.2 Goldstein非精确搜索方法的计算步骤70

4.3.3 Goldstein非精确搜索方法的流程图71

4.3.4 Goldstein非精确搜索方法的MATLAB程序72

4.3.5实例测试74

4.4 Wolfe非精确搜索方法75

4.4.1 Wolfe条件75

4.4.2 Wolfe非精确搜索方法的计算步骤76

4.4.3 Wolfe非精确搜索方法的流程图77

4.4.4 Wolfe非精确搜索方法的MATLAB程序77

4.4.5实例测试80

4.5强Wolfe非精确搜索方法81

4.5.1强Wolfe条件81

4.5.2强Wolfe非精确搜索方法的计算步骤82

4.5.3强Wolfe非精确搜索方法的流程图83

4.5.4强Wolfe非精确搜索方法的MATLAB程序83

4.5.5实例测试86

习题88

第5章 基本多维无约束优化方法89

5.1多维无约束优化方法介绍89

5.1.1多维无约束优化方法的地位89

5.1.2多维无约束优化问题的描述89

5.1.3多维无约束优化的方法分类89

5.1.4算法的收敛准则90

5.2最速下降法90

5.2.1最速下降法的原理90

5.2.2最速下降法的特点91

5.2.3最速下降法的计算步骤92

5.2.4最速下降法的流程图93

5.2.5最速下降法的MATLAB程序93

5.2.6实例测试95

5.3牛顿法97

5.3.1牛顿法的原理97

5.3.2牛顿方向的特点97

5.3.3牛顿法的实现难点98

5.3.4牛顿法的计算步骤99

5.3.5牛顿法的流程图99

5.3.6牛顿法的MATLAB程序100

5.3.7实例测试101

5.4高斯牛顿法104

5.4.1高斯牛顿法的原理104

5.4.2高斯牛顿法的实现难点105

5.4.3高斯牛顿法的计算步骤105

5.4.4高斯牛顿法的流程图106

5.4.5高斯牛顿法的MATLAB程序106

5.4.6实例测试108

习题109

第6章 高级多维无约束优化方法111

6.1共轭梯度法111

6.1.1向量组共轭的相关概念与定理111

6.1.2共轭方向法的基本原理112

6.1.3共轭梯度法的基本原理113

6.1.4共轭梯度法的性质114

6.1.5共轭梯度法的计算步骤114

6.1.6共轭梯度法的流程图115

6.1.7 Dai-Yuan共轭梯度法的MATLAB程序116

6.1.8 Hager-Zhang共轭梯度法的MATLAB程序117

6.1.9实例测试119

6.2拟牛顿法121

6.2.1拟牛顿法的基本思想121

6.2.2校正矩阵的构造方法122

6.2.3 DFP校正公式123

6.2.4 DFP拟牛顿法的性质123

6.2.5 Sherman-Morrison公式及BFGS校正公式124

6.2.6 DFP/BFGS拟牛顿法的计算步骤125

6.2.7 DFP/BFGS拟牛顿法的流程图125

6.2.8 DFP拟牛顿法的MATLAB程序126

6.2.9 BFGS拟牛顿法的MATLAB程序128

6.2.10实例测试130

习题132

第7章 带约束优化问题的基本概念与理论133

7.1约束的分类及对求解的影响133

7.1.1带约束优化问题的定义133

7.1.2约束的分类133

7.1.3约束对可行域的影响134

7.1.4带不等式约束优化问题的可行方向135

7.2带约束优化问题的最优性条件137

7.2.1几个重要概念137

7.2.2一阶必要条件137

7.2.3 KKT条件的几何解释139

7.2.4 KKT条件的拉格朗日函数表达形式140

7.2.5二阶必要条件140

7.2.6二阶充分条件141

7.2.7对比无约束优化问题的最优性条件141

7.3凸优化问题的性质142

7.4凸优化问题的对偶性145

7.4.1凸优化问题的拉格朗日对偶问题145

7.4.2原问题与对偶问题之间的理论联系147

7.5带约束优化问题的算法思想148

7.5.1代入消去思想148

7.5.2积极集思想149

7.5.3内点逼近思想150

7.5.4序列子问题逼近思想150

习题150

第8章 线性规划问题的单纯形法152

8.1线性规划问题的模型及基本理论152

8.1.1线性规划在优化中的地位152

8.1.2线性规划问题的标准形式及转换方法152

8.1.3标准型线性规划问题解的相关概念153

8.1.4线性规划问题解的基本定理154

8.1.5线性规划问题最优解的可能情况154

8.1.6线性规划问题的图解法155

8.1.7线性规划问题的穷举法155

8.1.8线性规划问题的单纯形法156

8.1.9单纯形法的难点156

8.2决策变量非负线性规划问题的单纯形法157

8.2.1问题形式157

8.2.2决策变量非负线性规划问题单纯形法的基本原理157

8.2.3通过两阶段法获取初始可行基159

8.2.4两阶段改进型单纯形法的实现难点160

8.2.5两阶段改进型单纯形法的计算步骤162

8.2.6两阶段改进型单纯形法的流程图163

8.2.7两阶段改进型单纯形法的MATLAB程序164

8.2.8实例测试173

8.3决策变量有界线性规划问题的单纯形法176

8.3.1决策变量有界的标准型线性规划问题及转换方法176

8.3.2决策变量有界问题的解的相关概念177

8.3.3问题形式177

8.3.4决策变量有界问题单纯形法针对的基本原理178

8.3.5通过两阶段法获取初始可行基182

8.3.6两阶段改进型单纯形法的计算步骤183

8.3.7两阶段改进型单纯形法的流程图184

8.3.8实例测试185

8.4对单纯形法的进一步讨论188

8.4.1两类标准型线性规划问题的关系188

8.4.2线性规划问题的退化情况188

8.4.3单纯形法的收敛性189

8.4.4从凸优化的角度看线性规划问题189

8.4.5从积极集思想看单纯形法190

8.4.6实现单纯形法时的其他注意事项190

习题190

第9章 线性规划问题的内点法192

9.1内点法的相关概念与基本原理192

9.1.1内点法与单纯形法192

9.1.2线性规划问题的对偶问题与对偶间隔192

9.1.3内点与中心路径194

9.1.4内点法的基本原理196

9.2原-对偶可行路径跟踪法196

9.2.1问题形式196

9.2.2原-对偶可行路径跟踪法的基本原理197

9.2.3原-对偶可行路径跟踪法的计算步骤201

9.2.4原-对偶可行路径跟踪法的流程图201

9.2.5原-对偶可行路径跟踪法的MATLAB程序201

9.2.6实例测试205

9.3原-对偶非可行路径跟踪法208

9.3.1原-对偶非可行路径跟踪法的基本原理208

9.3.2原-对偶非可行路径跟踪法的计算步骤211

9.3.3原-对偶非可行路径跟踪法的流程图211

9.3.4原-对偶非可行路径跟踪法的MATLAB程序211

9.3.5实例测试215

9.4带预测校正的原-对偶路径跟踪法218

9.4.1带预测校正的原-对偶路径跟踪法的基本原理218

9.4.2带预测校正的原-对偶路径跟踪法的计算步骤221

9.4.3带预测校正的原-对偶路径跟踪法的流程图222

9.4.4实例测试222

习题226

第10章 二次规划问题的积极集法228

10.1二次规划问题介绍228

10.1.1二次规划问题的标准形式及在优化中的地位228

10.1.2凸二次规划问题229

10.2等式约束凸二次规划问题的解法229

10.2.1问题形式229

10.2.2基于SVD分解转化为无约束问题230

10.2.3基于QR分解转化为无约束问题231

10.2.4基于KKT条件求解232

10.2.5等式约束凸二次规划问题的解法比较232

10.2.6等式约束凸二次规划问题的QR分解法计算步骤233

10.2.7等式约束凸二次规划问题的QR分解法流程图233

10.2.8等式约束凸二次规划问题的QR分解法MATLAB程序233

10.2.9实例测试235

10.3凸二次规划问题的积极集法236

10.3.1问题形式236

10.3.2凸二次规划的积极集法原理236

10.3.3利用辅助线性规划问题寻找初始可行点237

10.3.4“构造问题”与最优解的判断准则237

10.3.5“构造问题”的“等价问题”238

10.3.6待求问题、“构造问题”、“等价问题”之间的关系239

10.3.7寻找使目标函数值更优的可行点240

10.3.8凸二次规划问题的积极集法的计算步骤241

10.3.9凸二次规划问题的积极集法的流程图241

10.3.10凸二次规划问题的积极集法MATLAB程序242

10.3.11实例测试246

习题249

第11章 二次规划问题的内点法250

11.1原-对偶非可行路径跟踪法250

11.1.1凸二次规划问题的内点法250

11.1.2凸二次规划问题的对偶问题与对偶间隔250

11.1.3原-对偶非可行路径跟踪法的基本原理252

11.1.4原-对偶非可行路径跟踪法的计算步骤255

11.1.5原-对偶非可行路径跟踪法的流程图255

11.1.6原-对偶非可行路径跟踪法的MATLAB程序255

11.1.7实例测试259

11.2带预测校正的原-对偶路径跟踪法262

11.2.1带预测校正的原-对偶路径跟踪法的基本原理262

11.2.2带预测校正的原-对偶路径跟踪法的计算步骤265

11.2.3带预测校正的原-对偶路径跟踪法的流程图265

11.2.4实例测试266

习题269

第12章 序列二次规划方法271

12.1从序列无约束优化到序列二次规划271

12.2等式约束非线性优化问题的局部SQP方法272

12.2.1问题形式272

12.2.2拉格朗日函数以及相关记号272

12.2.3用牛顿法解待求问题的KKT条件273

12.2.4 KKT条件的线性化274

12.2.5 SQP方法的基本思想274

12.2.6二次规划子问题的进一步讨论275

12.2.7等式约束非线性优化问题的局部SQP方法计算步骤275

12.2.8等式约束非线性优化问题的局部SQP方法流程图276

12.2.9等式约束非线性优化问题的局部SQP方法MATLAB程序276

12.2.10实例测试278

12.3一般非线性优化问题的局部SQP方法282

12.3.1问题形式282

12.3.2拉格朗日函数以及相关记号283

12.3.3 KKT条件的线性化284

12.3.4二次规划子问题的进一步讨论285

12.3.5一般非线性优化问题的局部SQP方法计算步骤286

12.3.6一般非线性优化问题的局部SQP方法流程图286

12.3.7一般非线性优化问题的局部SQP方法MATLAB程序286

12.3.8实例测试289

12.4扩展为全局SQP方法的难点及对策292

12.4.1扩展局部SQP方法的难点292

12.4.2拉格朗日函数Hesse矩阵的BFGS近似292

12.4.3使二次规划子问题有唯一解293

12.4.4效益函数与全局收敛性293

12.4.5二次规划子问题的可行性保证295

12.4.6 Maratos效应的克服295

12.5一般非线性优化问题的全局SQP方法298

12.5.1非线性优化问题的全局SQP方法298

12.5.2非线性优化问题的全局SQP方法计算步骤298

12.5.3非线性优化问题的全局SQP方法流程图299

12.5.4实例测试299

习题303

参考文献305

附录 优化程序基本调用方法及参数说明309