半定规划问题的两种数值解法
青岛大学
硕士学位论文
半定规划问题的两种数值解法
姓名:薛丹
申请学位级别:硕士
专业:计算数学
指导教师:田志远
20100530
摘要
本文研究非线性半定规划问题的最优性条件和数值解法。全文包括三个部分。
第一章介绍了半定规划有关的基本知识和最优性理论,对于含等式约束的一类非光滑半定规划问题证明了其一阶必要性条件和二阶的充分和必要性条件。
第二章针对一般非凸半定规划问题,给出了一个非线性Lagrange函数,讨论了函数在KKT点的性质,推广了Lagrange乘子法。分析了算法的收敛性,并给出了与罚参数相关的解的误差估计,在适当的条件下,当罚参数大于某一阈值时,算法产生的点列收敛到KKT点。数值算例也说明了算法的可行性和有效性。
第三章将标准形式的半定规划进行转化,给出了求解较大规模半定规划问题的解析中心割平面算法,证明了算法的收敛性定理,并用实际算例验证了算法的有效性。算法的执行或者有限步终止,或者产生一个收敛到解的点列。
关键词:半定规划;最优性条件;非线性Lagrange算法;解析中心;割平面
Abstract
andnumericalmethodsofnonlinearsemidefiniteOptimalitvconditions
thefollowingthreepans・programmingwerestudiedinthispaperwhichincluded
Thefirstcharterdescribedthebasicknowledgeofsemidefiniteprogramming,
nextoutlinedoptimalityconditions,whichwerepreparedfortheLagrangemethodinthe
chapter,andonthisbasis,wederivedoptimalityconditionsforaclassofnon-smoothsemidefiniteprogrammingproblemwithequalconstraints・
Inthesecondchapter,anonlinearLagrangefunctionforgeneralnonconvex
semidefiniteprogrammingwas
function
basedonongiven.WeanalyzedthecharacteristicofthisLagrangetheKKTpoint.Undersomeconditions,thelocalconvergenceofthemethodathisfunctionWasprovedthatthereexiststhresholdofthepenaltyparameter
whensuchthatthesequenceproductsofthealgorithmlocallyconvergetotheKKTpoint
thepenaltypar锄eterismorethanthethreshold.Besides,theerrorboundofthesolutionswiththepenaltyparameterwasestimated.Numericalexamplesalsodemonstratedtheexecutionandeffectiveness.
Inthethirdchapter’anforsolvinganalyticcentercuttingplanemethodwasgiven
thelarge.scalesemidefiniteprogramming.Theconvergenceofthismethodwasproved,andeventuallythepracticalexampleWasreported.
Keywords:Semidefiniteprogramming;optimalityconditions;Lagrangemethod;analyticcenter;cuttingplane
学位论文独创性和知识产权权属声明
学位论文独创性声明
本人声明,所呈交的学位论文系本人在导师指导下独立完成的研究成果。文中依法引用他人的成果,均已做出明确标注或得到许可。论文内容未包含法律意义上已属于他人的任何形式的研究成果,也不包含本人已用于其他学位申请的论文或成果。
本人如违反上述声明,愿意承担由此引发的一切责任和后果。
论文作者签名:≮军骨日期:Hp年l|[月巾
学位论文知识产权权属声明
本人在导师指导下所完成的学位论文及相关的职务作品,知识产权归属学校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时,署名单位仍然为青岛大学。
本学位论文属于:
保密口,在
不保密叼。
(请在以上方框内打“√’’)
论文作者签名:年解密后适用于本声明。脊再I日期:wJD年叶月)7日
日期:年月日导师签名:
(本声明的版权归青岛大学所有,未经许可,任何单位及任何个人不得擅自使用)
引言
己I吉J口J
半定规划是半正定矩阵上的线性规划。近二十年来半定规划的理论和算法取得了很大的进展,广泛应用于组合优化,系统工程和电子工程等领域,它已逐渐成为数学规划领域中一个非常活跃的研究方向。
20世纪60年代,由R.Bellman和i.Fan[291构造了一个半定规划问题,他们考虑将线性规划中的向量变量用矩阵变量代替,并且给出了对偶理论以及强对偶理论成立的一个J下则条件。20世纪70年代初,Donath和Hoffman,Cullum和w01fe把一些难的图分割问题转化为一个特征值优化问题求解,而这个问题的求解又可以转化为半定规划问题。二十多年里半定规划问题一直没有受到关注,主要是由于半定规划的可行集不再是多面体,并且没有适用的单纯形法。内点法问世以后,对半定规划领域的研究才逐渐火爆起来,使得半定规划获得了飞速的发展。1992年,Nesterov,Nemirovsky,A1izadeh与Kamath,Karmarkar独立的把LP的内点法推广到半定规划,使内点法成为求解半定规划问题的主要算法。
半定规划问题的标准形式是
rainC・x
S1.越=b
X≥0.
其中∥表示玎×刀对称矩阵集合。鄙表示以×,z半正定矩阵集合。X≥0表示X∈掣。C・x表示tr(CrX)。月是S”一尺‘的线性映射,可以认为月是由后个线性函数构成的,约束魁=b等价于后个线性约束乃-X=6f,f=1,…Jj}.
近些年来国内外对于半定规划的研究主要集中在线性半定规划的研究上,上个世纪末本世纪初,半定规划问题的研究又被推广到非线性半定规划问题上,即线性或非线性目标函数受到(非线性)矩阵不等式和(或)向量不等式约束的优化问题
minf(x)
J.,.日(力≥0且办(z)=0(1)其中f:R”jR,日:R”专畔(群是由聊×肌的半定矩阵组成的空间)和h:R”一Rp.
青岛人学硕十学位论文
这种半定规划问题主要来自最优结构设计、最优鲁棒控制、鲁棒反馈控制设计等领域,由于线性半定规划不能给出满意模型的优化问题而且非线性半定规划才刚刚起步,它的发展还很不成熟,因此研究求解非线性半定规划的算法无疑是有重要意义的。Shapiro14I通过锥的性质给出了非线性半定规划一阶和二阶最优性条件,
ForsgrenI’1采用非线性规划的最优性条件分析的技巧也讨论了非线性半定规划的最优性条件。无论在线性规划中还是在非线性规划中,罚函数法和对数函数法对算法的研究起着重要的作用。Mosheyev,Zibulevsky提出了一类惩罚/障碍乘子方法用于求解约束为线性矩阵不等式的非线性半定规划问题。Burer,Monteiro,zhang考虑将一类特殊的半定规划转化为非线性规划进行求解。Jarre,Ringertz采用障碍方法求解非线性半定规划。然而,障碍方法要求迭代初始点是严格可行的内点,这一要求在实际中往往很难满足。为克服上述方法的不足,Hestens与Poweu各自独立提出了近似增广Lagrange函数,来求解具有等式约束的非线性优化问题,最初的乘子法是基于二次增广Lagrange函数建立的,这一方法的优点在于克服了早期罚函数的病态问题以及收敛速度慢等弱点。后来Glad研究了对增广Lagrange函数中的Lagrange乘子的不同的更新方法的收敛性质。Boggs&Tone(1980)引入了一类新的乘子法,发展了对偶理论,构造了一类新的惩罚函数并建立了精确罚函数和乘子法的联系。随着将增广Lagrange法和非线性Lagrange乘子法从非线性规划推广到半定规划中去,Lagrange算法成为解非线性半定规划的最有效的方法之一。
Lagrange算法主要研究由标准半定规划问题转化而来的半定规划问题(1),非线性Lagrange函数是经典Lagrange函数的变形,半定规划问题的经典的Lagrange函数是
三(x,U,矿)=f(x)-<U,日(x)>+<V,办(x)>.
此Lagrange函数提供了一种从约束优化问题到无约束问题求稳定点的转换,它是刻画最优化特征以及构造最优化算法的基本工具。
半定规划的一个增广Lagrange函数为
驰姗f)_胁冲√u一半)h2圳2】+<m∽>+譬.
实际生活中遇到的半定规划问题大多数是非线性的,包括非光滑半定规划,非
引言
凸半定规划等,本文研究非线性半定规划的一些数值方法。在第一章,我们探讨了一类非光滑半定规划的最优性条件。第二章,在满足非凸半定规划最优性条件的基础上,我们给出了一般形式的非线性Lagrange函数,讨论了函数在KKT点的性质,给出了非线性Lagrange算法,在适当的条件下,证明了当罚参数大于某一阈值时,算法具有局部收敛性,并给出了与罚参数相关的解的误差估计。数值算例验证了算法的可行性和有效性。第三章将标准形式的半定规划问题进行转化,给出了可以用于求解较大规模半定规划问题的解析中心割平面算法,证明了算法的收敛性,实际算例表明了算法的有效性。
本文中常用到的符号如下:
矩阵A≥0表示A是一个半正定矩阵。令R眠”表示mx以的矩阵构成的空间。对于向量口,b∈R”,我们定义内积<口,b>=arb,对于矩阵么,B∈RM,内积为<A,B>=A・B=vec(B)7’vec(A)=tr(B7’么),(其中vec(A)表示由A的列向量组成的行2×1的向量,护(么)代表矩阵彳的迹),本文中相应的向量范数取2.范数,矩阵范数
qlBa12B…aI"B
取F.范数。符号圆表示矩阵的克罗内克积A圆B=嘭1B呸2B…a2。B,它是一
%lB%2B…%。B
个刀2×疗2矩阵。符号V,厂(x)表示/(x)在x处的梯度,而V2,f(x)=V,(V,厂(x)).V,乃(x)表示办(x)在x处的梯度,V。曩(x)表示其第i行。其中E(x)=胡(x)/屯是m×m的偏微分矩阵。我们由此定义m2×刀的矩阵讲(x)/锄:=[vet(Hi(x)),…,vec(乜(x))】.
第一章最优性条件
弟一早取饥。l土氽’I十第一章最优性条件
1.1基础知识
目前许多专家和学者正致力于非线性半定规划(NLSDP)的研究,尤其是对于大规模(NLSDP)的研究,讨论了其最优性条件。相关学者对非凸半定规划【11和非光滑半定规划131的最优性条件作出了突出贡献,本章对已有理论进行推广,证明了带有等式约束和不等式约束的一类非光滑半定规划问题的最优性条件。
我们考虑下面的半定规划问题
minf(x)
s2.日(x)≥0且办(x)=0(2)
其中H:R”一算(算是由mxm的半定矩阵组成的空间)和h:R”一只尸,且它们是二次可微的。f:R”专R,是连续可微的,并且V,f(x)是局部Lipschitz的。定义1.1[31设f(x)是连续可微函数,如果存在三使得
lim。2f(x+td)-f(x),-t<Vf(x),d>.:L,
则称三为f(x)在z关于方向d的二阶Peano导数,记为刀(x;d).
上下Peano导数分别定义为
抛炉li嚷渺2坐盟丛半盥业,
硝Ix;d)-limmsupf‘O2—f(x—+td—)-—f(xr)-t—<V—f(x),d>.Z
设问题(2)的可行点为X‘,即H(x‘)≥OHh(x‘)=0,定义m×m阶正交矩阵Q,O=(g,Q)其中g的列向量形成H(x+)列生成空间的一组基,Q的列向量构成H(x+)零空间的一组基。矩阵Q依赖于点x‘,Q不一定唯一。
设%,%分别是矩阵Q与02的列向量的维数,Sm为mxm阶对称矩阵空间。定义集合111
S(A,x’)={M:M∈S”,m,,=O如果3占>0,对于使%(x)=0的任意x,有
青岛人学硕十学位论文
IX--X+11<,/;其中么是从R”到s”的二次连续函数。
B(A,x。)={M:M∈S”,mq=0如果f,/属于与S(A,x。)相关的连通图的不同连通分支)。
则有
S(A,x’)∈8(A,x‘).
令x充分接近x+,使得研1H(x)Qi>0。对称矩阵疗(x)定义为
疗(工)=日(x)一H(x)QI(Q[H(x)Qi)一QfH(x),
则Fl(x)为局部可行矩阵。下面给出疗(x)的相关性质。
引理1.1如果彳和B是半正定对称矩阵,则爿B有实的非负特征值。特别地,有tr(AB)≥0.
引理1.2【11设H(x‘)≥0成立,则fl(x‘)=0,对于充分接近x’且满足骈’H(x)Q>0的点x,有讲疗(x)=o;疗(x)≥o当且仅当日(x)≥o.
引理1.3【11设H(x’)≥O成立,则下面关系式成立
疗(x・)Q1:o;醒掣盟鲮:醇翌盟Q,㈦,2,…,刀.
引理1.4Ⅲ设日(x・)≥o成立,则矩阵鹾掣Q,f:l,2,…,刀.生成空间{Q;MQz:M斛肌.)},当且仅当矩阵掣小1,2,…以生成{9-.2Q乒MQ2醇:M∈s(B,x’)).
由上面疗(x)的性质可知,在x+的某个邻域内,问题(2)等价于下面问题
min厂(x)
sJ.疗(x)≥0
办(x)=0.Ox,Ox,
设x‘是问题(2)的可行点,对于充分接近x+且满足QrH(x)Q,>0的点X定义局部半定Lagrange函数:
L(x,U,y)=f(x)-<U,Ⅳ(x)>+<V,办(x)>.
第一章最优性条件
1.2一类非光滑半定规划问题的最优性条件
为引出最优性条件,先给出以下定义和定理:
定义1.2131满足H(x’)≥0的点x+被称为一个正则点,如果
(a)
(b)矩阵醇型婺垒Q,江1,2,…,门,生成空问{醇MQ:M∈s(疗,x’)}姒j{醒’朋鲮:M∈s(疗,x‘))中存在一个正定矩阵。
定义1.3t31问题(2)的一个可行点x’∈R”称为稳定点或KKT点,如果存在U+∈s7,V+∈Rp使得在点(x‘,u+,矿+)处满足下面条件:
(a)掣圳.掣巾州x+矿V’,川,…儿CⅨfLⅨ,
(b)U’H(x’、)=0,U‘≥0.
定理1.1Ill设x’是问题(2)的一个正则点和局部极小点,则存在矩阵
U‘∈{Q醴嵫醇:U∈B(f-1,z’)),V‘∈R尸使得
掣-tr(-OH,(x')U+)叩烈x’矿V’,H,…儿吼JCⅨ,
U‘H(x‘)=0,U+≥0.
下面给出此类非光滑半定规划的一阶最优性条件:
定理1.2假设x‘∈R”是问题(2)的一个可行点,存在矩阵u+∈{Q2醒’嗡g:U∈B(fJ,X‘)),V’∈RP满足
掣-tr(掣u・)巾鲰x.))~V,川,…,咒;L珥fC珥,
U‘H(x‘、)=0,U‘≥0.
而且声,』(x)是凹函数,i=1,…,刀,j=l,…,刀(E,J(x)代表矩阵疗(x)的元素),h(x)是凸函数,那么x+是问题(2)的一个局部极小点。
证明由条件知局部半定Lagrange函数
三(x,U,V)=/(x)一<U,ft(x)>+<V,厅(x)>是凸函数,由次微分的定义知
0∈比(x’,U‘,V’),零向量是函数三(x,U,V)在点(x‘,U+,y’)处的次梯度,因此任给可行点Y,有
青岛人学硕十学位论文
L(y,U+,V’)2三(x+,U’,V+)+<O,y—x+>,即
厂(J,)一<U’,ffI(y)>十<y‘,办(y)>
≥f(x+)一<U’,g(x’)>+<y’,h(x’)>+<0,y-x’>
因为x+满足H(x’)≥0,h(x’)=0,由引理1.2知g(x’)=0.由Y的可行性知疗(y)≥0,办(J,)=0,由引理1.1知<U’,fI(y)>≥0.因此对于任意可行点Y,下面不等式成立
厂(y)≥f(x’).
从而可知x’是问题(2)的一个局部极小点。
为引出二阶最优性条件先给出一个引理:
引理1.5¨1设d∈R”,g是从R”到S肿的二次连续函数。Q是m×m阶J下交矩阵,分块形式为O=(Q口,Q)。如果点x+的某邻域中的点满足,g(x)Qo=0,并且如果m×m阶矩阵诒(x‘)/缸,i=l,…,胛生成空间{QgT』Ⅵ场场1’:M∈S(g,x+)),则存在占>0以及一个二次可微连续函数x(,),Vt∈(一占,s)满足
石(o)=z’,石’(o)=d且g(z(啪=g(石‘)+∑d。(ag(x’)/Ox,)t.
引理1.6…设g是从尺”到S”的二次连续函数,假设x’,d。和f‘满足g(x’)=O,g(x’+f㈨d)≥o,f‘≥o,lIdk|I=1,!觋f‘=o,!i—md。=d+,则有
兰笺墨狐乞瓠ij
定理1.3设x’是问题(2)的一个正则点和局部极小点,则存在矩阵U’∈{02讲v02醇:U∈B(g,x‘)),V’∈R尸,满足下列关系式:
吼f掣叫掣∽巾胤x+))7’‘V,㈦,…,丹;L珥j
U‘H(x’)=0,U‘≥0.
Jj.Vd叭肌喜埘掣Q2_o,(V姒x.))‰帅有
互:(x+,u+,V’;d)≥0.
证明定理1.1知存在矩阵u+∈{02谚崛讲:U∈B(/-I,x’)),V‘∈RP,满7
———————————————————————————————————一一足弟~覃最优性条什
警卸(掣∽书朋x.))y小】,.一…
U‘H(x’)=0,U‘≥0.
现假设d∈R”满足:
喜醇掣Q删巾崩x.)),删.
根据引理1.3有,疗(x+)Ql=o;型娶立:瑶望挚立鲮,江,,…,厅.x,。0x二—。。。。
矿警纠删警c嘲蚓’警喇警Q.毗拭等价于髟掣鳓一o,又由于Q为正贿则喜警删.因为x’是个J下则点,由引理1.5知,存在s>O以及一个二次可微连续函数x(f),舯《啦z‘一,(o)卸柚籽吲唱晡眦))-肌w喜警如。,厅(z(嘞=办(x‘)+喜V,曩(x’)谚f=(Vxh(x‘))7’衍=。.设G(,):厂(x(泖,因为x+是局部极小点,所以有
G’(O)=Vf(x‘)7’d=0,
g(o;d):lim.inf2G(O+td)-G(O),-t<VG(0),d>.,4,0fz
=易(x‘;d)+夥(x’)7’,(0)
由Peano导数
鲜(o;1):lim.i.nf2G(0+t)-G(0),-t<VG(0),1>.‘,山O—z
:liminf2
t‘Of(x(t))-f(x*)-tVf(x')rx'(O).●2
:lim.inf2
,山0f(x++x(t)-x’)-f(x’)-t<Vf(x’—),x'(—0)>・28
青岛人学硕十学位论文
也mi。nf(2巡业型丝孚型巡型坠+
2丝!旦!丛生型坚丝堕竺燮)t‘
删咄x'(O))+lim川inf(2竺竺生竽竺竺,川—————LF———一)删o).“o)“嘧f2掣t2≥鬈(x(o);
兵甲
f、l0时,孝山0,x(77)—争x(0).=职^~uJ,ox’(o))+W(x(o))r,(o),x(刁)∈(x(。)+反,(o),x(。)+∥(。)+it2,(跏孝∈(。,,).
同理,鲜(o;一1)≥墨(x(o);一一(o))+夥(x(o))r,(o),因此有
_Gp一(o;d)=Z又x’;d)+V厂(x‘)7’x’(o)≥o.
又由于,对于r∈(-c,s)有疗(x(f))=0,因此
塑盟Q!:o,一d2/4(x(O):o.即一d2fl(x(O))=势掣+芸警㈣=。
带入u’得,护(d2/-I讲(x。(O))-u+)
=窆1=1蜘./=1
由乃(x(f))=o,c鬻∽哆+嘉护c警∽邶瑚得掣=o,了d2h(x(O)=o.带入y’得,dtact‘(1.2)d7’(J。@V‘r)V,(vecV,厅(x))d+V‘71V。h(x)x”(O)=0.(1.3)
9
’第一章最优性条什
由(1.1),(1.2)和(1.3)式得:
舭m耵Fn仰)一窆i=1赫j=l(鬻∽吒一骞护(警∽羽)
一d7’(LoV.r)V,(vecV,厅(x))d—V”V,h(x)x”(O)≥0.
由Peano导数定义可得
跏’删’娜啊Ⅳ^即)一喜驴(警∽羽)+v*rvxh(x矿(0))瑚x‘w’娜芬等却(警∽+V'rVx删们)>0因为秒(x‘)/叙,:护(型垒垒u‘)一(v,厅,(x’))ry’,歹:l,…,刀,故锻一。。
髟(x’,u’,V’;d)≥o.
定理1.4设X+是问题(2)的一个正则点和KKT点,即存在矩阵U。∈{QQ;’吆鳞:U∈B(疗,x+)},V‘∈Rp,使得
u+H(x+):0,u+≥O和可(x‘)/aI:u+・—cg—H=(一x')一(v。矗(x+))7’矿‘,f:1,…,刀.且对于任意的{d∈彤,d≠0.喜zQr望墓竽Q2=。且(V。办(x.))7’d=。),有2(x+,u+,V’;d)>0,则x‘是问题(2)的严格局部极小点。
证明假设定理条件成立,但x‘并不是局部极小点,则存在一点列{∥),对于Vk有矿≠x’,!im,。x。=x’,且满足日(∥)≥o,h(x‘)=o但厂(∥)≤厂(x’),令扩2网Xk--X*,记矿=z‘删,则对于每个七都蚓矿lI=1,,★≠。一…lim,★=。・由于每个d‘都包含于一个紧集,不失一般性,可以假设对于d。∈R”,有limd。=d+.
正—’∞
由H(x‘)≥0,根据引理1.2,当k充分大时,有疗(≯)≥0。由U‘存在性,表明tr(/3(x‘)U‘)≥0.10
青岛人学硕十学位论文
微分得:科(,)=喜驴(学【,‘)衫啪)=喜喜咖(掣∽《.
当,=0时,因为U’H(x‘)=0所以U‘为H(x。)的零空问中的矩阵。又因为Q为H(x+)的列生成空间中的基,因此讲u‘=0,则
椰)=喜护(掣∽矽=喜护(掣∽棚,
当t=t‘时,
啪兮能(0)+譬硝(oktk)>o∥∈(0,1).
f(x‘+tkdk)川x‘)=tkV,弛yd‘+譬墨(z++孝ktkdk;dk)<0,艮(o,1).因为h(x。)=0,有h(x‘+,‘d‘)=h(x‘+,‘d。)一h(x‘)
纠V以zV。+譬(办l"Vx2h(z+∥砌w‘=。,尹∈(0,1).结合以上式子得,当k充分大时:
r奢警叫警∽讽驰yn露
由U‘,V+的性质,上式右边第一个式子为0,则可得一窆i=l窆J=l取学∽徊
~窆t=l兰j=l啊学∽删
£:(x+,U-,V‘;d)≤0.+牛职x・+fktkdk;dk)+华(们rV2h(x‘∥心Wt华g(x・+孝ktkdk;dk)一华(内rV2h(x‘∥心wt令k-9'oo,则(1.4)
第一章最优性条件
当f。一o,纯(,‘)≥0,贝,lj☆li.m。inf僦(O)≥o.NNy‘一y+所以有,
…lim(p;(o)=新警∽蛐
因为h(x‘+,‘d‘)=0,(1.5)Y‘专Y’得
d.rV慨耐)7’d+(1zk)22h(x‘∥灯)d‘=。,所以Vxh(x‘)7‘d+=。.
此外,已知x+是KKT点,贝IJ
棚)=和挚M叱m+)rdk_Vxh(x*)7以
所以,我们有jim科(0)≤0,
片—,vo
结合(1.5)式有
由引理1.3,剿㈣=势挚×一o.
b.州窆j=lc驰v..j∥mc喜挚×=窆j=l驴c挚×一o.
业%由引理1.6得因为U‘≥0,则再由引理1.3得,警终,狐桦群铷从而有,矿1/2喜型墓≯1胆巧≥0.因为此矩阵是对称半正定矩阵,且因此有桫胆喜掣∽叫(喜(掣阶。,
耖啦挚即巧一o.,:lCⅨ,
Q的列构成H(x’)零空间的一组基,且U’和U讹l/的生成空间相同,因此a的
12
青岛人学硕十学位论文
列的生成空问与u.1/2的列的生成空间相同。因此窆蜴’型癸;运彳:o,由(1.4)l=lu‘’
式可知与题设矛盾,则x’是问题(2)的严格局部极小点。
本章讨论了一类含有有等式约束和不等式约束的非光滑半定规化问题.把现存的结果扩展到约束是结构稀疏矩阵的情况,证明了一类含等式约束的非光滑半划问题的一阶必要性条件和二阶的充分性和必要性条件。13
第二二章一个1卜线性Lagrange乘子法
第二章一个非线性Lagrange乘子法
2.1非凸半定规划问题
本章讨论一般非凸半定规划问题
(NCSDP)min厂(x)
s.t日(x)≥0且向(x)=0(3)
R,,其中f:R”HR,H:R”I---)s7(s7是由mxm的半定矩阵组成的空间),h:R”H
且它们是二次可微的,这罩不要求f(x)是凸函数。
本章将求解非线性规划问题的非线性Lagrange方法推广到解决非凸半定规划中去,给出一个非线性Lagrange函数来求解非凸半定规划。
设非凸半定规划问题(3)的Lagrange函数为
L(x,U,矿)=f(x)-<U,H(x)>+<V,办(x)>,
(x‘,矿,y‘)为问题(3)的KKT点,即满足
掣圳・(掣)巾烈x‘))7一V,㈦,…,咒CⅨjCⅨ,
U+H(x’)=0,U‘≥0.
在下面的讨论中要用到下列假设条件120l
(a)严格互补条件成立:即rank(H(x+))=,.,rank(U’)=m—r.
(b)二阶充分条件成立:
对删础附.)_悱驯喜zEr警E=咀(V崩x.))饥0),
有下面不等式成立
a7’V2L(x",U‘,V‘)d+d7’J(x’,U’)d>0.
其中E∈R”‘””,其m一,.个列向量构成H(x‘)零空问的一组标准正交基,
J(x,U)=(Jo)=2(an(x)/Ox)7’(Uo【日(x)】一)(aH(x)/Ox),
厶:2u・掣【日(jc)】--_OH(x),屯jf:1,…,玎.。
OX,0%:(c)n(x‘)在x+处是Lipschitz的,即存在占>0及盯>0,对于任意
青岛人学硕十学位论文
z∈B(x’,占)={=Illx—z’8<占,x∈R”),都有1]H(x)-H(x’)8s盯忙一x‘l,若rank(H(x’))=,.,当占充分小时,对任意x∈B(x+,£),有rank(H(x))=,且H(x)≥0.2.2非线性Lagrange函数及其性质
对于非凸半定规划(3),我们给出了一个非线性Lagrange函数
F(x,u,y,f)=厂(x)+寻驴(u(J『一P一一洲“’))+<y,办(x)>+吾。厅(x)112,f>o.
下面讨论F(x,U,V,,)的一些性质。
引理2.1130l设(x’,U+,V’)为问题(3)的KKT点,则存在mxm标准讵交阵Q=cEF,,满足日cx‘,=Q(三三)QT且u‘=Q(言3)97’,
其中A=diag(a,)∈Rr,r,q>0,i=l,…,厂;B=diag(Oj)∈Rtnirtm-f,bj>0,/=1,…,m-r.由Q一=Q71得EE7’+阿7‘=厶,且日(x+)=FAF7’,U‘=EBE7’.
引埋2.2171令D∈R",是对称矩阵,W∈R切,T=diag(t,)∈R“,其中‘>0,i=1….,Z,若由Wy=0可得Y7’Dy≥0,则存在岛>0,使得对于即>‰,D+pW7’研是J下定矩阵。
定理2.1设M(x,U,V,f)=Ue一删硼7圩‘。’(,+,2日(x)2)~,N(x,U,V,f)=V+th(x),若(x‘,U‘,V+)为问题(3)的KKT点,则有
M(x+,U’,y+,t)=U‘
证明Ⅳ(x。,U’,矿‘,,)=V’Vt>0.由引理2.1可得
M(x’,U‘,y’,f)=U—e棚胛∽(,+f2H(x’)2)一1
《B
钮IoQ丁Q(名7罟]Q7’cQ(名7兰)Q71,。1
《B
钮Lo旧驮≮7跏r圳
15这罩召=diag(e一棚嘲‘,’)∈S7,0=diag(1+t2E(x+)2)∈S7,Fh亍:h(x‘)=0,从而有Ⅳ(x+,U’,矿,,)=V++th(x’)=矿.
第二章一个1r线性Lagrange乘子法
定理2.2若(x+,U‘,V’)为问题(3)的KKT点,则
F(x’,U+,y‘,,)=£(x+,U’,V+)=f(x’).
证明瞰‘,旷吒,)_m.)+÷删。巧~wⅣ)))+<旷№.)>+扣x.)J12冈为U’H(x‘)=0,所以U‘(,一e一删卸州。’’)=0,再由h(x。)=0可知
,(x‘,U+,y‘,,)=£(工+,U’,V’)=/(x’).
定理2.3若(z‘,U‘,V’)为问题(3)的KKT点,,则
V,F(x+,U+,矿‘,f)=0,Vt>0.
证明V。F(x,U,V,t)
=Vxf(X)一÷肛(V,(Ue一咖脚“’))+f(V,办(x))7’办(x)+(V,办(x))7’V
=V,f(x)-(OH(x)/Ox)7’vec(M(x,U,V,,))+(V,办(x))71N(x,U,V,f)
由L(x,U,y)的定义得,V,L(x,U,y)=V。厂(x)一(汨(x)/锄)7’vec(U)+(V,乃(x))rV.因此,V,F(x+,U’,Vii9f)
=V,f(x+)-(OH(x+)/Ox)7’vec(M(x*,【,’,矿。,,))+(V。h(x’))7’Ⅳ@’,U。,y+,,)=V,f(x’)-(OH(x’)/Ox)7’vec(U’)+(V,h(x‘))7’V’
=V,三(.)r+,U+,V’)=0.
定理2.4如果条件(a)一(c)成立,则存在,o>0,当f>>-to时,V2F(x",U’,旷,f)是严格正定的。
证明02F(x,U,V,f)/融叙,
:职小M(删∥咖(掣)+,fr(掣脚n%)掣)锻iOXi0%O'xj
+(V,(V,忽(x)))rN(x,U,V,f)+f(V,红(x)),V。办,(x),f,J=l,…,胛.
贝0V:F(x,U,V,f)=V2xf(x)一(厶o(vecM(x,U,V,f))r)V,vec(OH(x)/Ox)
+(厶@N(x,U,V,f)7’)V,vec(V,办(x))+f(V,办(x))7’V,办(x)
+t(OH(x)/Ox),((M(x,U,V,f)(,+,2何(x)2)一。(,+2日(石))7’oL)(a日(x)/a力由L(x,U,y)的定义得16
青岛人学硕一卜学位论文
V:L(x,U,y)=V:/(x)一(厶圆(vecU)7)V,vec(aH(x)/Ox)+(I.圆Vr)V,vec(V,办(x))贝|JV,2,Lx,U’,y‘,f)=V,2厂(x’)一(L圆(vPcM(x’,U‘,y’,f))7)V,vec(OH(x’)/Ox)+(厶oⅣ(x+,u+,y’,f)7)V,vec(V,h(x’))+,(V,h(x+))7V,h(x‘)
+t(OH(x’)/Ox)7’((M(x’,U‘,y+,,)(,+,2H(x’)2)-’(,+2H(x’))pL)(aH(x‘)lax)
=V2L(x",U‘,V‘)+f(a阿(x’)/Ox)r((U+(,+,2H(x‘)2)一1(,+2H(x’)))7’oL)(aH(x+)/ax)+,(V。h(x+))7’V,h(x’)
=V,2从x,U‘,V‘)+,(御(x’)/Ox)7’(EBE7、o厶)(御(x+)/ax)
+t(OH(x+)/Ox)7’((,+f2H(x’)2)一(1+2H(x’”圆L)(柳(x‘)/Ox)+t(v,h(x’))71V,h(x‘)=V2L(x",U’,V+)+,(阳(x’)/Ox)7’(EBEro(皿7’+肝7’))(拊(x’)/Ox)
+t(OH(x‘)/Ox)7’((,+,2H(x’)2)‘1(I+2H(x’))@乇)(胡(石+)/Ox)+t(v,h(x‘))71V,h(x’)=V:三(x’,u+,V’)+f(a日(x‘)/ax)7’(EBEro髓7’)(a日(x+)/ax)
+t(OH(x‘)/Ox)r(EBEr@FF,)(阴(x’)/反)
+t(OH(x‘)/Ox)r((,+f2H(x+)2)一(1+2H(x’))圆L)(拊(x‘)/ax)+,(V,h(x+))7’V,h(x’)=V:£(x‘,u+,V‘)+f(汨(x+)/ax)7’(EoE)(曰@L一,)(E7圆E71)(aH(工+)/Ox)
+(a日(x‘)/Ox)7’(U’@(tFF7’一2FA一1F7’))(aH(x‘)/觑)+J(z‘,U+)
+t(OH(x‘)/舐)7’((,+,2H(x’)2)叫(I+2H(x’))oL)(谢(x’)/ax)“(V,h(x‘))71V,h(x’)由于H(x+)≥0,(V,h(x‘))7’V,h(x+)≥0,且f>0所以
t(OH(x‘)/Ox)71((,+f2H(x+)2)。1(I+2H(x。))oL)(掰(z+)/Ox)
+,(V。h(x‘))7’V,h(x+)≥0
由引理2.1得,J(_)f‘,U‘)=2(OH(x‘)/ax)7’(U‘0FA。1F7’)(阳(z’)/0x).
因此jf’>0,当t>t’时有,
VZF(x",u’,y+,f)>-V:三(x’,u’,V’)+,(x‘,U‘)
+t(OH(x‘)/Ox)r(EQE)(B圆L一,)(E7’圆E7’)(a日(x+)/ax)
由引理2.2知存在to>九当t>fo时,V2xF(X",U‘,y’,,)是严格正定的。
2.3基于非线性Lagrange函数的乘子法及其收敛性
基于第2.2节给出的非线性Lagrange函数
第二二章一个1卜线性Lagrange乘子法
,(x,u,y,,):/(x)+ltr(U(1__e-”clan,/4(x)))+<矿,向(x)>+委lI向(x)02”
tZ”
可以得到如下求解半定规划问题(3)的乘子法。
算法
第1步.给定占>0,to>0,Uo∈贮,Vo∈R,,k:=0.
第2步・求xk2argm,。∥inF(x,“,K,气)・
第3步.若0以Ⅳ(坼)0≤s,eig(H(xk))≥一s,肛(碗)lI≤s则停止,xk是问题(3)的一个局部极小点;否则,转第4步。
第4步.更新Lagrange乘子
%+l=以P一枷’IⅣ‘以’(,+气2H(xk)2)~,圪+l=圪+气办(坼),tk+l=10tk.
第5步.后:=k+l,返第2步。
下面研究算法的收敛性。在证明收敛性定理之前,先给出引理。
引理2.3(Bertsekas第二隐函数定理)[71:设S是尺卅”的一个开子集,j是R”的一个紧致子集,g:S—R”是S上的P次连续函数,P≥0.假设V。g(x,Y)存在且在S上连续,歹满足(i,力∈S,g(i,歹)=0,且对所有的i∈j,V,g(i,歹)是非奇异的,那么存在占>O,万>0,和函数矽:S(i;s)寸s(y,万)使得矽在S(2;s)上P次连续,且对所有舅∈j,歹=矽(i),对所有x∈S(牙;s),g(x,痧(x))=0。如果x∈S(i;g),Y∈(夕,万)且g(x,Y)=0,那么Y=矽(x)是唯一的。而且如果P≥l,那么对于所有x∈S(2;tr),有V矽(x)=一V,g(x,矽(x))【V。g(x,≯(x)】~.
定理2.5设(x+,u‘,y’)为问题(3)的KKT点,且假设条件(a),(b)和(C)成立,则存在s>0,万>0,仃>0,to>O使得对于Vt>to,
VU∈B(u’,万)={uIIIu-u‘8<万,u∈s”),
VV∈曰(y‘,仃)={vIIIv—V’0<仃,V∈Rp),下列结论成立:
青岛人学硕十学位论文
(1)存在向量羹=圣(u,V,,)=argmin{F(x,U,V,f)lx∈B(x+,s))
使得V,(叠,U,V,f)=0;
(2)对于(1)中的曼以及矩阵肪=M(曼,U,V,,),力=J7V(量,U,V,f),有估计式
max{卜x.|J,ll肪一U.JI’I卜y’蚣叫阻矿)一(u‘,旷)|I,
其中c>0于,无关。
证明t殳函数Q:Rn×Rm一,,m一,×尼p×Rm,m×尼p×R+—》Rn+(m一,)2+p
、咿(z)+(£滴(z)/£玟)7‘vef(月)一(阴(石)/£次)7’vec(^夕(z,U,V,,))
一(a厅(x)/Ox)rvec(厨l(x,U,y,f))+(V向(x”7’丁
Q(x,R,T,U,V,f)=
vec(R)一vec(M(x,U,V,,))
三丁一!Ⅳ(x,u,Mtt
其中露(x,U,V,,)=ErM(x,U,V,t)E,霄(x)=ErH(x)E.
则Q(x+,B,y+,U+,y+,,)=0,其中B如前面定义。
令Q,,Q2,Q3分别表示Q的第一行,第二行和第三行。
则V,Q。(x,U,V,,)
=V:厂(x)+(厶@(wc(尺))71)V,vec(OH(x)/Ox)一(OH(x)/Ox)71V,vec(M(x,U,V,f))一(厶圆(vecM(x,U,V,,))7’)V,vec(OH(x)/Ox)一(OB(x)/Ox)7’V,vec(M(x,U,V,f))一(厶o(vec-Q(x,U,矿,f))7’)V,vec(OH(x)/Ox)+(I.or,)V,vec(V,厅(x)),
V。(R)Ql(x,U,V,f)=(a日(x)/苏)7,V7'Q1(x,U,V,t)=(V,办(x))r,VxQ2(x,U,V,f)一Vxvec(M(x,U,y,咖
V7’Q2(x,U,V,f)=O,V,Q3(x,U,V,,)=一(V芹办(x”r,V州)Q2(x,U,V,f)=‘…)z,V雠(尺)Q3(x,U,V,,)=0,VrQ3(x,u,M=1fI,.
因此,当f>0时,可得
第二章一个1卜线性Lagrange乘子法
V舭(n7’Q(x,月,丁,u,y,,)lⅣ∥咖.’,)=
。,二≯@’’■;t矗)-t(V(atT(x)/Ox)vec(M坝(xx。',≯黑(鳓㈣71限№.))7’+
一U‘,y’,,))、~7¨~’
一V,wc(露(x’,U‘,y’,,))‘…,zO
一V,h(x‘)0≮Ip
假设(口,∥,y)∈R”×R‘m一,’2×R,,使得(V,,眦(月),7.f2(x,R,T,U,y,f))(口,∥,7)71=0,即{V;F(x‘,u’,y‘,f)一t(V,办(x’))71V,办o‘)一(捐(x‘)/氖)rV,vec(厨(z‘,u‘,V‘,,)))口
+f折(x‘)lOx)7∥+(V,h(x‘))7’7=0,
・咧厨(x‘,u‘,矿力)口+k):∥=o,吧m’)口+詈‘y-o.
从而得到V,2¨x,U+,y+,t)a=0.由定理2.5可知存在to>0,当f≥,o时,V:,(x’,u‘,y+,,)>0,所以口=0,于是(口,∥,y)=0.因此当f---to时
V,.眦(R”Q(x。,B,y‘,U’,矿‘,,)是非奇异的。
令‘>气,fl是足够大的数,由第二隐函数定理,存在正数占,万,盯,和定义在s={(u,矿,,)II|u—U+8<万,陟一矿’Il<盯,岛≤fs‘)上的唯一连续可微函数量(u,y,t)fHdR(U,V,f),T(U,V,f)使得对所有的(U,V,,)∈S满足
ma)({Il圣(u,矿,t)-x‘0,IIR(U,y,f)一BlI,|I丁(u,y,t)-V‘lI)≤占,
而且Q(j(U,V,f),R(U,V,f),T(U,V,f),U,y,f)=0,
由Q的定义可知,对于v(u,V,,)∈S,有V,F(圣,U,V,,)=O其中曼=曼(U,V,f).
INNNt≥to时,V:F(x+,U*9V*9,)是正定的,则由Banach扰动定理‘71,存在正数占,万,仃对任意x∈B(x+,占)={x∈R”,11x—x.II<s),
青岛人学硕十学位论文
UeB(u+,万)={u∈S”tllU—U+0<万)以及y∈B(y’,09={v∈RP)11v—y’ll<o-},V,2F(x,U,V,f)是正定的。选择充分小的J下数s,艿,盯,使得曼∈B(x+,£),则量是F(x,U,V,,)在S(x’,占)上的唯一局部极小点,结论(1)得证。
下面证明(2):
令IQ=M(孟c,U,V,,),力=Ⅳ(叠,U,V,f).由V,F(圣,U,V,f):0及M(圣,U,V,,)和Ⅳ(曼,U,V,f)的定义可得:
V,f(Yc(U,V,,))一(a日(量(u,V,f))/苏)厂wc衍+(V,办(曼))7’前
z(u,V,f)=!衍一!Ue一删锄删(j’(,+f:H(圣)z)一-’。=0.
tt
昙力一I.v一办(曼(u,y,f))lt
分别对Z(U,V,t)的各行关于x,vec(U),V求导得
X
Vj,。(厨汹Z(U,V,t)v聊(u沙vec(M)+V。(£,沙z(u,V,f)=0.
N
即e(u,V,t)w(U,V,,)71+缈(U,V,,)=0.
00
其中缈(【,,V,t)=一詈V州,M(x,u,%)I扁o
O
Vvec(U)舅(U,V,,)V矿戈(U,V,,)
w(U,V,f)=Vm(u)vecM
~。c∞、NV矿vecM~yN
沙(U,V,f)
第二章一个非线性Lagrange乘子法
V:三(圣(u,V,,),力,力)一(a日(圣(u,V,,))/a譬)7(V,h(D(U,V,,)))71
。(尬。州拊(戈(叫,,))/反)7’
一V,悄u,㈨)
量(U,V,f)一x。
由于詈L:0l。ip化c(力一U’)
力一矿‘叠(U,V,,)一叠(u+,y‘,,)f1=Ivec{M(J(U,V,r),U,V,,)一M(叠(u‘,矿’,,),Ⅳ‘,V*9,))I【Ⅳ(曼(u,V,f),U,V,,)一Ⅳ(曼(u‘,y‘,,),u‘,y‘,,)J
=fwcu‘+pcu—u‘,,y‘+pcy—y‘,,,,U-U*)dp
=一f矽cu’+Jcu—u。,,矿’+Jc矿一y+,,,,一缈cu’+pcu—u+,,矿‘+pcy—y‘,,,,U-U*]dp根据≯(U,V,f)的定义,可以证明:当t>to时,≯(U‘,矿,,)是非奇异的。根据Banach扰动定理‘71,Vt≥to和VU∈B(U’,万)以及V矿∈B(y’,仃),矽(U,V,,)一1存在且存在Ⅳl>o,使得眵(u,y,,)一0≤M
一由假设条件(c)知存在Ⅳ2>o,对所有(U,V,,)∈B(U+,万)×B(矿,盯)×(气,‘),有
p”锄胛‘j’(,+f2日(曼)2)。’8≤Ⅳ2.又因为lfV。(u)vec(u)0为一个常数,则存在Ⅳ3>o,使劁Vvec(U)M(x,U,y,,)叫|<Ⅳ3.
令U(p)=U++p(U—U‘),矿(p):V++p(V—V‘),则由上面所述得:
柳嚣0
k.M,一=ll—f矽c【,cp,,矿cp,,,,。1妒cucp,,ycp,,,,(影二笋]dp0
≤Ⅳ-8f妒cucp,,yc户,,,,(孑二≯)dp0
青岛人学硕十学位论文
≤Ⅳ。4f(。。1VmⅢ)M。’:≥二乒;√)LJ(u—u。]dp0
sⅣ1f-1(吲Iu—U‘l|2+IIV—V’112)172(令c=max(N。N3,Ⅳ1))
≤“一1(6u—U‘02+0y—y+02)¨2≤订。1lI(u,矿)一(u’,矿’)4,
C与f的选取尢夭。
由以上定理可得当s≥o时,假设f≥f。,U∈B(U’,万)={uIIIu—U+0<万,U∈S”),y∈召(y+,盯)={vlllv—y‘ll<盯,y∈尺p),黾,玑,圪,f。分别是算法产生的点列,当Jj}专o。tk-->oo,则有(黾,Uk,圪)一(x+,U+,y’),0%Ⅳ(K)0专p+-(x')ll--o,eig(H(x,))--->P辔(日(x+))≥o,忙(吒)0专肛(x‘)0=o;s>o且有限步终止则由算法知得到问题的近似最优解。当g=O且算法在有限步终止,则%为问题的最优解。2.4数值计算实例
考虑非凸半定规划问题
min#+Z+2《+《一5五一5%一21x3+7x4
而+恐
0
sd.O0OH(x)=一2昀而0
而
0五00X2+x3≥OO0
fxt+霹+#+《+五一而+而一黾一81
办(x)=l彳+2x22+《+2《一而一确一9I=0
【彳+《+《+2_一t一昀一5J
此算例的精确解为(o12一1)r.
第二二章一个非线性Lagrange乘子法
在本章的算法中取s=10。6,‰=/4,%=(1
表2.1
而II)r得计算结果如下恐
1.13712247852710屯毛t=】00.215272882480401.95523379691386—0.90736671706169
t=102—0.014923410843040.987224457403892.00228467337646
2.00998207807714—1.00745655687209—0.98766021153169t=103—0.01478574253700
—0.000106159354941.00159335722455t=1041.000017382769172.00007280809122—0.99990609285860
取s=10巧,Uo=/4,vo=(o0o)7’得计算结果如下
表2.2
而恐恐兄
t=100.065318767902831.054297187403002.02774115996274—0.93942007236542t=1020.05883327294584
—0.000511063750050.991865664494531.95834458340975—1.04996448536084t=103
t=1040.999860015388841.000040295743262.000281171292972.00033981452680—0.99978528804095—0.00051402452360—0.9995893l333338通过计算得到问题的近似解,且计算结果是满意的,这体现了算法是可行和有效的。
第三章半定规划l'uJ题的解析中心割甲面法
第三章半定规划问题的解析中心割平面法
3.1半定规划问题的转化
本章研究半定规划的解析中心割平面算法,此算法可以求解较大规模的半定规划问题。
考虑标准形式的半定规划问题
rainC・X
(4)s.f.丑Ⅳ=b
X≥0.
它的对偶问题为
maxbry
(5)s.f.月ry+S=C
S≥0.
其中S”表示刀×即对称矩阵集合。霹表示疗x刀半正定矩阵集合。X≥0表示x∈&,C・x表示tr(c7’x).月是S”一月。的线性映射,可以认为月是由k个线性函数构成一的,约束魁=6等价于七个线性约束月・x=6,,i=1,…,k.月ry等价于∑:。只月.
由于凸约束X≥0等价于
秽x,a=B分・x20。\6∈B。
其中召为{∥:8∥0:≤1}.
所以问题(4)和(5)可以转化为半无限线性规划
rainC・X
(6)s7.月X=b
pTXj|Bj之0,Ⅵp∈B
青岛人学硕+学位论文
maxbry
(7)s.t.月ry+8=C
9isp≥0,、p∈B.
为了研究上述问题我们首先考虑下面的有限线性规划(LDR)和(LPR).
给定有限集合{屈,汪1,2,…m),(LDR)是下面问题
maxbry
量
s1.1二yj87Ajpisp?Cpi(LDR)
J=l
,=1,2,…,m.
minC・(∑一屈屈71)
f=l
s1.A匹xlol戳、)=b(LPR)
,=l
‘≥0,f=1,2,…,朋,
在本章中需要以下假设[121:
假设1矩阵月,f_1,2…七在S”中线性无关。
假设2存在常数a>0,使得栅,若满足胚=b,则有tr(X)=口.
若半定规划的原始可行集有界则可以满足此假设。
引理3.1存在唯一的向量夕,满足月7’夕=I.
证明由假设2知,由七个线性约束月eX=匆,汪l,2,…,七.可得tr(X)=,oX=gl,故必定存在向量夕=(Yl,Y2,…虬)7’,使得∑竺。只月=,,即月r夕=,,由假设1知夕是唯一的。
任给问题(5)的可行解Y,由于V2>O,在J,一砂点其对偶松弛矩阵
S=C一月7’(),一五夕)=C一月ry+2I>0,因此点Y一砂是问题(5)的严格可行解,所以假设2保证了问题(5)有严格可行解,从而保证在最优解处的强对偶性,对偶间隙等于零,问题(4)和(5)的最优值相等。
定理3.1[121令y‘和X+,分别是(LDR)和(LPR)的最优解,
第三章半定规划问题的解析中心割平面法
则(1)矩阵x‘=∑t+屈屈7’是问题(4)的可行解。
l=l
(2)令S‘=C一月丁Y‘,我们有x+・S‘=0而且如果S’≥0,则有X+S‘=0且X’是
问题(4)的最优解。
3.2解析中心割平面法及其收敛性
割平面算法的思想是对于歹∈R‘,或者有歹∈Y,或者由它可生成分离超平面,
由此确定半空间
{y∈R‘l屈r(月rY)fl,≤屈rc屈,0屈0:=1),i=l,2,…,m.
其中】,={y∈R‘Is=C一月ry≥0)={YeR2I九瓤(月7’y-C)<0)是问题(5)可行集,
它是凸集。其中届,屐…成是矩阵月丁罗一C正的特征值对应的特征向量。
以上朋个割平面中最有效的割平面确定秒∈R‘I∥71(月rY)fl≤∥rc∥,忪0:=1),
其中∥是丸戤(月7’y-c)对应的特征向量。
解析中心割平面算法是选择解析中心作为下一个迭代点,
令w,={y∈R。l∥c屈一∥’(月丁Y)fl,≥o,0屈0:=l,,=l,2,…,-,),_的解析中心是下面
问题的解
max∑(∥c屈一∥(夕r),)屈)
f=l
sJ・Y∈■・
解析中心割平面算法算法如下:
第0步给定m个初始向量{届,屈…,尾),g>0,B,,B。.
k
第1步
计算令jf=1,wo={少∈R‘I∑屈,只月,届≤屈7’c屈,t=l,2…,埘,.,-lmaxbry
七
s1.∑p?yiApt§p?C线t=、,2’..‘,m.
得最优解J,J,B。=min{b7’yJ,B。}.27
青岛人学硕+学位论文
第2步计算乃=以。(月rY7-c),若乃≤o,则B,=max{b7’yJB,),转第5步,否
则转第3步。
第3步令yj=yj一九J5),B|=max{bTyJB|、.
第4步计算乃对应的单位特征向量玩+,,令
Q』:{y∈彤Iflm+jrCflm+厂圭成+,7’∥月尾+,≥o,0成+川:=1),_=_一。uQJ,
z‘=max
s.t・解线性规划问题bryY∈■・
最优解为y7,令战=min{z*,B。).
第5步若lB。-B,I≤s,停止,YJ为近似最优解,否贝JJj=j+l,令Y。=一一t的解
析中心,转第2步。
在本章给出的假设下,构造的算法有如下收敛性结果:
定理3.2(收敛性定理)若算法有限步终止得到Y‘,则Y。即为问题(5)的最
优解;若不有限步终止,则由算法可得到无穷点列{Y,),其任意极限点歹都为问题
(5)的最优解。
证明若算法有限步终止得到Y‘,根据算法知Y‘即为问题(5)的最优解。
若z。,10无穷点列{y’),由假设知{y7)有界,故存在收敛子列{yt),使得觑li+m。y岛=歹,
这个子列不妨设为{y‘),对于少对应的对偶松弛矩阵为S。,相应使得!鳃∥=S,
九;。(s‘)对应的单位特征向量为展,同理使得!骢展.=万,由算法知M满足
孱一l7’c孱一l一展_lT(月7’Y‘)孱一1≥0,即屈~lrs‘展一l=展一l厦一l7’・S。≥0,因为
厦一l展一l7’oS‘=展一1展一I7’oS扣1+屈一I反一Io(S‘-S七一1)≥0,令k—00得71
历7’・i+历7’o(S一一百)≥0,所以k(箩)=历7’・i≥0,歹为问题(5)的可行解。
设问题(5)的最优值为∥+,则6r儿≥∥‘,取极限有br罗≥∥+,又因为歹为问题(5)28
第三章半定规划问题的解析中心割平面法
的可行解故67’歹≤∥’,所以6丁歹=∥’,即歹为问题(5)的最优解,得证。
由定理可得,当占=0时,IB。-B,I=o,算法有限步终止,B。=B,,得剑最优解;
占>0时,算法可得到无穷点列{虮),其任意极限点歹都为问题的近似最优解。
3.3数值结果
我们将本算法用于求解最大割问题的过程中。在解决最大割问题中一般求解下
列半定规划问题,得到最大割问题的上界。设图G(V,P)的顶点集为矿(1,2…胛),(f,力
表示顶点为,,J的边,割集为S,q,表示边f,J,的权。
max
sJ.C・XA・x=1,i=1,2…,刀.
X≥0.
其中4表示A(i,i)=1,其余位置皆为0的方阵,
z={二1f三;专s,令国=(%)…,x∈Rn,。诹(x)∈R“”表示由x中元素为对角
元素的矩阵,旃昭是Diag的逆运算,e表示元素全是1的列向量。令
三=Diag(coe)一∞,则c=百L,x=砌7’.
上述半定规划的对偶问题是
min已7’甜
盯.∑%4一S=c』JJJ
,二1
S≥0.
令Y=一“,得maxery
姒∑y,A+s=一C
S≥0.
从而可以将上述半定规划问题转化成本文研究的半定规划问题,运用上述割平面算
法来求解最大割问题的上界。29
青岛大学硕十学位论文
取占=10“对于无权图上述半定规划的计算结果如下表:
表3.1
迭代次数
n=2
n=5
n=lOU一上9.646261721618643e-0078.396421380396646e一0082.768795321905770e—007最优值O.500000002560501.250000000000692.50000000001693j=5j=11j=25
上述数值结果表明本文的算法是有效的。30
结论
结论
本文研究了两类非线性半定规划问题一非光滑半定规划和非凸半定规划。第一章推广了一类含等式约束的非光滑半定规划的最优性条件,第二章给出求解非凸半定规划的新的非线性Lagrange函数,研究了函数的性质,并给出相应的算法,证明了算法的局部收敛性,给出了与罚参数相关的解的误差估计。第三章给出了可以用于求解较大规模半定规划问题的解析中心割平面算法,并证明了算法的收敛性,实际算例表明了算法的有效性。
本文给出了求解非凸半定规划的新的Lagrange乘子算法,在数值算例中得到了较好的结果,但算法在收敛性条件等方面还需进一步改进。
实际中往往是大规模半定规化问题,由于内点算法在求解大规模问题时的局限性,本文给出了解析中,O害Jl平面算法,达到求解大规模半定规划问题的目的,可还有许多不足之处,提高求解大规模半定规划问题算法的收敛速率和精度应做进一步讨论。31
参考文献
参考文献
1ForsgrenA.ConditionsforNonconvexSemidefiniteOptimalityProgramming.
Mathematical
2Programming.2000(88):105—128.OptimalityConditionsforNonsmoothZhaoWH,GaoY.First—OrderSemidefinite
Programming.ORTransactions.2006(3):1—9.
3赵文会,高岩.C1,1半定规划的二阶最优性条件.数学物理学报.2008(28):155—163.
4ShapiroA.FirstandSecondorderanalysisofNonlinearSemidefiniteProgramming.
MathematicalProgramming.1997(77):301—320.
5李成进,孙文瑜.非凸半定规规划的J1.义Fakars弓I理及最优性条件.高等学校计算数学学
报.2008(30):184—192.
6王炜,朱琳琳,任咏红.求解约束规划的一个非线性Lagrange函数.辽宁师范大学学报(自然
科学版).2009(9):265—269.
7BertsekasDP.ConstrainedOptimizationandLagrangeMultiplierMethods.NewYork:
AcademicPress.1982.
8PolyakR.Log—SigmoidMultipliersMethodinConstrainedOptimization.Annalsof
Operations
9Research.2001(101):427—460.C.SemidefinitePrograms:NewSearchDirections,Smoothing—Type
onKanzowC,NagelMethods,andNumericalResults.SIAMJournal
10RuckmannJJ,ShapiroA.AugmentedOptimization.2002(13):1—23.programming.NewLagrangiansinsemi—infinite
York:Springer—Verlag.2007.
11HelmbergC.InvitedReviewSemidefiniteProgramming.JournalofOperationalResearch.
2002(137):146—482.
12Sivaramakrishnan
SemidefiniteKK,MitchellJE.PropertiesofaCuttingPlaneMethodforProgramming.2007.
CenterCuttingPlaneMethodfor13FangSC.AnAnalytic
VariationalSolvingSemi—InfiniteInequalityProblems.JournalofGlobalOptimization.2004(28):141—
152.32
青岛人学硕十学位论文
14SheraliH,BaearamPF.EnhancingRLTrelaxationsviaanewclassofsemidefinite
cuts.JournalofGlobalOptimization.2002(22):233—261.
15王新辉,刘三阳,刘红卫.半定规划的割平面算法及其应用.西安电子科技大学学报(自然科
学版).2004(31):140—143.
16ElhedhliS,GoffinJL.Theintegrationof
withinaaninterior—pointcuttingplanemethodbranch—and—pricealgorithm.NewYork:Springer—Verlag.2003.
17贺素香,张立卫.非线性约束优化问题的一个修正Lagrange算法.数学物理学报.2006,
26(1):49—62.
18ZhangLW.LiuYJ.ConvergenceanalysisofanonlinearLagrangealgorithmfor
nonlinearprogrammingwithinequalityconstraints。JournalofAppliedMathematics
&Computing.2003(13):1—10.
19蒋耀伟.半定规划及其应用研究[学位论文].两安电子科技人学.2009.
20田嫒.半定规划问题的Lagrangian算法的研究.青岛人学.2009.
21SunOF,SunJ,ZhangLW.TherateofconvergenceoftheaugmentedLagrangianmethod
forsemidefiniteprogramming.JournalofMathematicalProgramming.2008
(114):349—391.
22LiuYJ,ZhangLW,LiuMJ.Convergenceanalysisof
forsemidefiniteprogramming.OR
theanonlinearLagrangealgorithmnonconvexTransactions.2007,11(4):5—14.AugmentedLagrangianinNonlinear23SunJ,ZhangLW,WuY.Propertiesof
SemidefiniteOptimization.JournalofOptimizationTheoryandApplications.
2006(129):437—456.
24HuangXX,YangXQ.ANonlinearLagrangianApproachtoConstrained
Optimizationprograms.SIAMJournalonOptimization.2001(11):1119—1144.
25薛丹,田志远,于贻丹.半定规划的解析中心割平面法.青岛大学学报(自然科学版).
2009(22):37—40.
26FletcherF.Semidefinitematrixconstraintsinoptimization.SIAMJControlOptim.
1985(23):493—513.
27HuangXX,YangXQ,TeoKL.Lower—OrderPenalizationApproach
33toNonlinear
.参考文献
SemidefiniteProgramming.JournalofOptimizationTheoryandApplications.
2007(132).
28BellmanR,andFanK.Onsystemsof1inearinequalitiesinHermitianmatrixvariables.
In:Convexity,proceedingsofsymposiainPureMathematics.AmericanMathematical
Society.1963(7)卜11.
29BonnansJF,ShapiroA.PerturbationAnalysisofOptimizationProblems.NewYork:
Springer—Verlag.2000.
30袁亚湘,孙文瑜.最优化理论与方法.科学出版社.1997.3l张贤达.矩阵分析与应用.清华大学出版社.2004.
攻读学位期问的研究成果
攻读学位期间的研究成果
研究生期间发表的文章:
1薛丹,田志远,于贻丹.半定规划的解析中心割平面法.青岛大学学报(自然科学版).V01.22No.42009.12.
2于贻丹,田志远,薛丹.一个新的填充函数算法.青岛大学学报(自然科学版),V01.23No.22010.6.35
致谢
致谢
本文是在导师田志远教授的悉心指导下由本人独立完成的,从论文的选题、设计到丌题报告乃至论文的最终完成,都倾注了导师的大量心血和劳动。导师严谨的学风,高度的责任感和奉献精神,深深地影响了我,为我树立了榜样!在论文完成之际,由衷的感谢FFl老师您对我的教诲。
感谢青岛大学数学科学学院和我硕士研究生课程任课教师给予我的无私帮助和指导,谢谢您们对我的关怀和帮助,在这里请接受我诚挚的谢意。
感谢同学们对我的深厚友情和帮助。
衷心感谢在百忙之中抽出时间审阅本论文的专家教授,感谢答辩委员会的各位老师和专家们对我的论文提出的宝贵建议,为我今后的学习和研究开拓了思路。
最后,感谢我的家人对我的无私奉献,感谢所有关爱我的人们!
薛丹2010年4月27日