思维进化算法的收敛性研究
维普资讯 http://www.cqvip.com第3 8卷第 3期 太原理工大学学报 V0 I 8 No 3 l3 . M a 20 v 0720 0 7年 5月 J OURNAL OF TAI AN YU UNI VERS TY I OF TECH NOLOGY 文 章 编 号 : 0 — 43 2 7) — 8 — 4 1 07 9 2( 00 03 01 9 0 思 维 进 化 算 法 的收 敛 性 研 究 谢 克 明, 高廷 玉 , 谢 琚 ( 原 理 工 大学 信 息 工 程 学 院 , 太 山西 太 原 0 0 2 ) 3 0 4 摘 要 : 据 自 然 遗 传 机 制 的 本 质 , 分 形 的 角 度 出 发 , 过 引 入 自 相 似 度 量 因 子 对 思 维 进 化 依 从 通算 法 作 了 改 进 。 利 用 分 形 数 学 理 论 证 明 了 思 维 进 化 算 法 在 最 优 解 搜 寻 过 程 中 存 在 自相 似 性 。 利 用 压 缩 映 射 原 理 进 一 步 研 究 了 算 法 在 自相 似 下 的 收 敛 性 , 出 在 满 足 收 敛 性 的 同 时 , 通 过 引 进 自相 指 可 似 度 量 因 子 来 离 线 估 计 收 敛 的 快 速 性 , 可 利 用 自相 似 度 量 因 子 和 离 线 收 敛 速 度 的 关 系 来 改 进 算 并法 , 避 免 陷入 局 部 极 小 解 。 以 关 键 词 : 相 似 性 ; 维 进 化 算 法 ; 敛 性 ; 线 估 计 自 思 收 离中图分 类 号 : TP1 1 8 文献标 识码 : A 最 优化 无论 在 理论 上 还 是 在 实 际应 用 中 , 直 一 是许 多学者 所研 究 和 追 求 的 目标 。近 些 年来 , 化 进 计算等一 些优 化算 法在 实 际许 多领域 里都 有广 泛 的 应 用 , 决 了许多 优化 问题 , 解 尽管 进化 算法 已有 不少 的理论研 究 , 化 算 法对 生 物 演 化 的模 拟基 本 上 还 进 是 形式 的 , 未 深 入 到 生 物 演 化 内部 规 律 的 模 拟 。 还 解 为复杂 系 统 的演 化过 程 , 过 对 标 准遗 传 算 法 输 通出的适应 值 序列 发 现 , 遗传 算 法 在 寻 优 过程 中存 在 自相 似性 现象 , 自相 似性 程 度 随 着算 法 由全 局 搜 且 索 到局部 搜索 的转 变有 降低 的趋 势 。这一发 现揭 示 了遗 传算 法作 为复 杂 系 统 演 化 所具 有 的运 行 规律 , 有助 于我们 更 好地 理 解 算 法 的 动态 运 行 过 程 , 改 并目前 国内在理论 上 的研 究 成果 有 : 遗传 算 法 的搜 索 机制 _ : 传算 法是 由选择 、 叉 与变异 操作 重 复作 1遗 J 交 用 而定义 的种群 迭 代过程 。交 叉算 子 作用仅 限 于 当 前种 群所 决定 的极 小 模 式 , 变 异算 子 作 用 突破 极 而进 现有 的遗传算 法 。受 该 文献 的启 发 , 文 从 分形 本 的角度 出发 , 用 分形 数 学 理 论 来证 明思 维 进 化算 利法在搜 索 全局最 优解 的过 程 中存在 自相 似性 。并指 出在满 足 收敛性 的 同时 , 过 引进 自相 似 度 量 因子 通小模 式 的限制使 搜 索扩 大到更 大 的空 间 , 因此 , 择 选和交叉 的作用是 在 “ 空 间 ” 搜 索 , 变 异 的作 用 子 上 而来离线 估 计收敛 的快 速性 。 是不 断地 改变“ 子空 间” 从 而 扩大搜 索 范 围( , 原则 上 可 以扩 大整 个空 间 ) 交互 作 用 的选 择 、 叉 和 变 异 , 交1 思维 进 化 算 法 自相 似 性 思 维进 化算 法 作 用机 制 _ 主要 是 两 个 算 子 即 : 3 三者结 合构 成遗 传算 法 的完整 搜索 机制 。 如 果说 选 择 与 交叉 算 子 是 局部 搜 索算 子 , 则变 异算子 可认 为是 全局 搜 索算 子 ( 因为 它 的 作 用 是不 可低估 的 , 特别 是 , 保 证 收 敛 性 的 角度 , 遗传 算 从 在 法的运 行初期 应 用 大 的变 异 概 率 , 在 运 行后 期 应 而 用 小 的变异概 率显 然是有 利 的 。 趋 同和 异化算 子 。趋 同算 子主要 按 照正态 分布方 式 来 寻局 部最优 解 , 化算 子 一 方 面 在 全空 间范 围 内 异 对各 局 部最优 解 竞争 ; 另一 方 面配 合 趋 同操 作 加 快 收敛 到全 局 最 优解 。在 这样 一 个 相 互 作 用 的机 制 下, 最终得 到全 局 最优解 , 该算 法 在优 化方 面 已得 到 了很好 的应 用 _ 。 4 ]文献 [ ] 遗 传优 化 算 法 从 复 杂 自适 应 系统 的 2将角 度作 了研究 , 出 了整 个 算 法 的运 行 过 程便 可 理 指收 稿 日期 : 0 6 1 -6 2 0 — I0 现 以二进制 编 码对思 维进 化算 法 收敛性 作初步 研究 。 基 金 项 目: 育 部 高 等 学 校 博 士 学 科 点 专 项 科 研 基 金 资 助项 目(0 6 10 5 ; 西省 自然 科 学 基 金 资 助 项 目( 0 5 0 7 教 2 0 1 20 ) 山 2013) 作者 简 介 : 克 明 (9 4 ) 男 , 授 , 士 生 导师 , 谢 14一 , 教 博 主要 研 究 领 域 为 知 识 工 程 、 能 信 息 处 理 与 智 能 控 制 , T 10 5 — 6 18 1 智 ( e) 3 1 0 4 1 维普资讯 http://www.cqvip.com太 原 理 工 大 学 学 报 第 3 卷 81 1 问 题 的 数 学 描 述 。关集 , : 即 D ( z) ( )一 ( , ) ( ) Y ∈ z, V z, () 4 候选 解 和候选 解空 间 : 谓 候选 解 X, 所 即是 长 度为 z 0和 1字 符 串 , 称 候选 解 ; 称 作 候 选 解 的 简 z 的链 长 , 选 解 的 全体 记 作 Q= { , }, 为 候 选 候 0 1 称解空间。 称 为一个 相似 , 压缩 比 c 是相似 比嘲 。 就 受 思 维进 化 算法 搜 索 最优 解 机 制 的启 发 , 整 将解 和解 空 间 : 谓 N- 是 指 由 N 个 候 选 解 组 所 解 成 的集合 ( 选解 允 许 重复 ) 简 称 解 。N 称 作 解 规 候 , 模 , Q 一{ 称 x一 ( , … , ) X X X , X , ∈Q(≤ N) }为 解 空 间 。 个 寻优 过程 分为 两个 部 分 , 即局 部 意 义 下 的 全局 搜 索 和全局 意 义下 的局 部 搜 索 , 此 认 为在 全 局 意 义 据 下 的局部 搜 索 ( 空 间 ) 子 中包 含 局部 最 优 解 , 而在 作 局部 意 义下 的全局 搜 索( 空 间) 全 时要 考虑加 重 变异 算 子 的作 用 , 在这个 过 程 中 , 存在 自相 似性 。 定义 1 T : Q 一Q, T 是 随机趋 同映 射 。 称 定 义 2 T : Q, 丁 Q— 称 d是 随 机异 化 映射 , 其 作 用 方 式 为独 立地 以概 率 P a改 变个 体 分 量 取 值 。 P 称作 异化转 移概 率 。 定 理 1 任 给两 个体 x, y∈Q, P{ a x) 有 T ( 一 Y} = 3 ( 一P ) x 其 中 d X, 表 示 x 与 1 d卜 ’ n, ( y)定 理 3 算 法在 全 局 搜 索最 优 解 的 过 程 中 , 存 在 自相 似 性 。 证 明 : 明 过程 中 的符 号 沿 用 上述 定 义 所指 的 证意 义 。个 体 空 间上 的任 意个 体 x y ∈Q 。在 全 , 局 搜索 最优解 过 程 中 , 通过 趋 同机制 , : 则 X = T ( ) X 一 T ( ) d x , d y 。 y 之 间 的 Ha mmig 离 , n 距 即 l dXy 一 ∑ ~Y I ( ,) 。 I 1 = ( 1 )再 通过 异化操 作 可得 : d( x , X ) : c X X 。 Td Td ) d( , ) () 5 证 明 : 然该模 型服 从 B r o l 概率 模 型 。每 显 en ul i其 中 d X, 表 示 X 与 y之 间 的 Ha ( y) mmig距 离 , n C个 基 因 的变 异是 相 互 独 立 的 , T ( :Y} a P{ a x) =P , 个 数是 d X, ; T ( ≠Y} ( y) P( d X) =1 一P ; 数 是 z d个 —为下确 界 。下面来 证 明上 式 的结 果 。设 x 为 全局 最 优个体 , 虑三 角形 模型 , 任意 x 考 对 ≠x ∈Qd 丁d , a ( X1 T X d X1 X2 ( , )一 d X, ) 由 B ro l 概率 模型 可得 : ( y , en ul i P{ a X)一 Y}一 T(3 ’(一P) ‘y 1 x’ d H 定 理 1得证 。 ( 为基 因个 数 ) z . () 2 dX (X 】, ) : X X 。 d 2 ) 。 ( , ㈤ 定理 2 设 丁 d为 趋 同算 子 , 对 于 任 意 x 则 ∈ Q ( 一 1 2 …) Y 忌 , , , ∈Q, 中 y 其 是 全 局 最 优 解 , 令c一 ,或 , 显然 O c 1 < < 。若有 X — X ∈Q, 么 考 虑 C在 单 那 位 区间 中取 值 。 由定 义 4可 知变 异 算 子 丁 为种 群 d 空 间 Q 的 自相似 映射 , 即进 化算 法 在 全局 搜 索 最 优 解过 程 中 , 存在 自相 似 性 。顺 便 指 出 以下 称 C为 自 相 似度 量 因子 。 有 : T ( k 一y 一1 证 明参见 文 献[ ] P{ d X ) ) ( 3 中定理 1 的证 明) 引用 此 定 理是 为 了说 明趋 同算 子 的遍历 性 , 从 而保证 有能 力搜 索到 全局最 优解 。 定义 3 设 M 是一 个 紧度 量 空 间 , M—M 是 :一个 压缩 映射 , M 中任 意 的两个元 素 z, 对 Y成立 D( z , ) ≤ ( ) ( )c ( ) D z, 0< C≤ 1 。 () 3 2 自相 似 性 下 的 收敛 性 目前对 进化 算法 收敛性 的研究Ⅲ 基本 上有 两 大 类 : 类 是 进 化 算 法 的 马 氏链 模 型 ; 类 是 Vo e 一 一 s— Le is 型 。表 面 上 这 两 类 的方 法 似 乎 是 有 限 状 ipn 模态与无 限状态 之 分 , 研究 的方 法 大 相 径庭 。对 于 但式 中 , 为距 离算 子 。称 使得 一 切 使 上 述 不等 式都 D 成立 的值 C的下 确 界为压缩 比 。假如 一个 压 缩 映射 把 M 中的 任何 一个 子 集 都 变 换 成 为 一 个 几 何 相 马 氏链 模 型 主 要 采 用 转 移 概 率 与 极 限 理 论 ; 于 对维普资讯 http://www.cqvip.com第 3 期 谢 克 明 等 : 维进 化算 法 的 收 敛 性 研 究 思11 9 Vo eL e is 型 主要 采 用 不 动 点 理 论 , 有 浓 厚 s— i n 模 p 具可知, 自相似 性下 的思 维 进化 算 法 在 搜 索最 优 解 过 程 中是 收敛 的 。 的几何 色彩 。本 文 从分 形 的角 度 出发 , 用 分 形 数 利 学 理论 证 明 自相 似性 进化 算法 的收 敛性 。 定 理 4 ( 缩 映射原 理)设 ( D) 一个 完备 压 E, 是 度 量空 间 , E— E是 E 上 的一 个 压缩 映射 。则存 W: 在 唯一 的不 动 点 X 即 W( 一X , X ) 。并 且 对 于任 意 点 X∈E, 序列 { z : 1 2 … } 敛 到 X . W ( ) 一 , , 收 定 3 自相 似 性 度 量 因子 与 离 线 收敛 速 度 ( 快速 性) 的估 计 把从 搜索 初始 点开 始直 到收敛 到不 动点 为止 作 为搜 索 的整个 过 程 , 即为 自相似 函数 迭代 系统 , 么 那就 可 以利 用 自相 似度量 因子 来对 收敛 速度作 离线 性 能估 计 。 理 的证 明参见 文献 [ ] 5。自相 似分 形 可 以被 看作 一类 迭代 函数 系统 的不 变集 。 设 自相似 函数 迭代 系统 { T , 5 … , }其 Q; 5 T , T , 中 自相似 度量 因子 为 ( 一1 2 … , , 么 在搜 , , N) 那 索 最优 解 的过程 中 , 离线 收敛 速度 的估 计为 : N 定 义 4 所 谓 迭 代 函数 系统 是 指 : 度 量 空 间 紧M 到 自身 的一组 压 缩 映射 { : M— M ; 1 2 … , 一 , , S ∑ c 一I ,’ 一( 8 )1 N} 使得 : , D( ( , ( )≤ cD ( y) z) ) j z, O< ≤ 1 ,VX, Y∈ M , J一 1 2, , , … N. () 7 因0< c < 1 , (. 一1 2 … , ), ,, N 令 可得 : C i mi{,J: 1 2 … , , : nc, , , N} C 一 ma { , 一 1, … , , m xc, 2, N} N () 9 记为 { ; , , , } 称 { ; , , , } 自 M z … . M z … 是 相 似 的 , 函数 迭代 系 统 的 每个 压 缩 映 射 都 是 自相 则似的。 定 理 5 设 { ; ,z … , } M , 是拥 有 压 缩 因子 Ci 一 I c<C… <S ∑ m ’() 1 OJ一 1 从 上 式 中可 以看 出 自相 似 因 子 越 接 近 1 离 线 , 平 均 收敛 速度 就越 快 , 就是 说 , 也 在进行 最优 解搜索 的过 程 中 , 两步 进行 搜索 : 分 局部 意义 下 的全 局搜 索 中, 自相似 因子 接 近 零 , 找局 部 最 优 解 ; 局 意义 寻 全 下 的局 部 搜索 中 , 自相似 因 子接 近 1 寻 找全 局 最优 , 解 。这样 , 在具 体 的搜索 过程 中 , 以先设 置较 小 的 可 自相似 因子 , 寻求 局部 最优 解 , 了避 免 陷入局 部极 为 小 , 全局 搜索 中再设 置 较大 的 自相 似 因子 , 加快 在 来 收敛 速 度 的同 时 , 保证 了全 局最 优解 的实 现 。 c的迭 代 函数 系 统 , 变 换 : — M 是 完 备 空 间 则 M( , 上具 有压 缩 因子 的压缩 映射 , M D) 即 D( z) ( )≤ c z, ( , ) D( ), ∈ A V X, 它存 在 的唯一 不动点 ∈M 满 足 m — l i m ( ), ∈ M . z X 称该不 动点 为该 迭 代 函数 系统 的吸 引 子 , 就 是一 也个 分形 。定 理 的证 明参 见文 献 [ 3 6。4 结 束 语 通 过 对 进 化 算 法 搜 索 最 优 解 过 程 中两 个 阶 段 ( 部意 义下 的全 局搜 索和全 局 意义下 的局 部搜索 ) 局 定 理 6 自相似 性下 的思 维进 化算 法是 收敛 的 证 明 : 在 寻 优 过程 中每 次循 环 搜 索 时 变异 映 设 射 为 T (一1 2 …) 由第 二 部 分 的结 论 可 知 , , , , 映射 T (=1 2 … ) , , 是种群 空 间 Q—Q 的压 缩 映射 , 描 记 述这 一寻优 过程 的数 学表 示为 :Q, j T , } 么 { T , 3… 那的分 析 , 用 分形数 学 理 论 证 明 了算 法在 最 优 解 搜 利寻过 程 中存 在 自相 似性 。同时利用 压缩 映射 原理 进 一步研 究 了算法 在 自相 似 下 的收 敛 性 , 指 出 了 自 并 这是 一迭 代 函数 系统 。又 T ( =1 2 …) 自相 似 i , , 是性压 缩映射 , 知 { , j … } 自相 似性 的 。而 可 Q; T , 是Ha mmig距 离 : n f 相 似 度量 因子 与离线 收敛 速度 的关 系 。这些结 论不 仅 为进 一 步 对 进 化 算 法 的理 论 性 研 究 提 供 了新 思 路 , 且对 进化算 法 在某一 具体 问题 的实 现 中 , 以 而 可 利 用 自相似 度量 因子 和离线 收敛 速度 的关 系来 改进 算 法 的有 效 性 , 以及 避 免 陷入 局 部 极 小 解有 着 指 导 意 义。 dXy 一∑ 『 『 , ( ,) X— , y∈Q x £ 1 = 在 种群空 间 P上 可 以构 成 完备度 量 空间 。 由定理 5 维普资讯 http://www.cqvip.com12 9 太 原 理 工 大 学 学 报 第 3 8卷 参 考文 献 : E i 徐宗本 , l 张讲社 , 郑亚林.计算智 能中的仿生学 : 理论与算法[ . M] 北京 : 科学出版社 ,0 3 20 . [ 3 张 伟 , 智 铭 , 树 刚 , .遗 传算 法 中 的 自相 似 现 象 [] 控 制 与 决 策 ,2 0 , 9 5 :0 —0 ・ - 2 吴 李 等 J. 0 4 1 ( ) 5 65 9 [ ] w agCh a— n , i Kemig C n egn eo w Evlt n r o uig A gr h i o t u u tt pc J . 3 n u nl g Xe - n . o v re c faNe oui ayC mp t loi m nC ni o sSaeS ae ] o o n t n E Co mpu e a h, 0 2 ,7 1) 2 — 7 t rM t 2 0 9( : 7 3 [3 - 4Xi - n e Ke mi g,Du Yo g g i u e - i Ap l a i n o h i d Ev l to — s d M a h n a ni g i i t r - to Ca n — u ,S n Ch ng y . p i to ft e M n — o u in Ba e c i e Le r n n M x u e Ra i l cclt n0 a Maei sC met C . n Po edn so h ol C n rs n Itlg n o to n tmain uai fR w tr 1 e n [ ] o a I rce ig fte3dW r o geso n e ietC nrl dAuo t r d l a o2 0: 3 — 3 . 00 1 2 1 4 薛 M] 北 科 1 9. E 3 谢 和平 , 秀 谦 .分 形 应 用 中 的数 学 基 础 与 方 法 [ . 京 : 学 出 版社 ,97 5 吴 M] 北 科 20. [ 3 李 水 根 , 纪 桃 .分 形 与小 波 E . 京 : 学 出 版 社 ,0 2 - 6 孙 M] 国防 工 业 出 版 社 , 0 0 20. E 3 周 明 , 树栋 .遗 传 算 法 及 应 用 [ .北 京 : 7 Re e r h o he Co v r e c f M i d Ev l to a y Al o ih s a c n t n e g n e o n o u i n r g r t m XI - n ,GAO n - u , E J n E Ke mi g Ti g y XI u ( ol e f I f r t n E g ne i g o U C l g n o mai n ie r f T T・T i u n 0 0 2 ,C i a e o o n ay a 3 0 4 hn )Ab t a t B s d o h s e c f t e n t r l g n t c a im , mi d e o u i n r l o sr c : a e n t e e s n e o h a u a e e i me h n s c n v l t a y ag — o rt m si D o e .Fr m h s e to r c a ,t e a g rt m k s p i r h o y s u y b n i h i m rv d o t e a p c ff a t l h l o ih ma e rma y t e r t d y i —t o cng i t e fsm i rt a t r ts w st e fsm ia iy t ti he p oc s fs a c o r du i n o a s l— i l iy f c o .I ho he s l— i l rt ha n t r e so e r h t at e o t u s l t n u i g t e m o iid a g rt m. h D i m o u i sn h d fe l o i m o h On t e b s s o ih,t e c n e g n e o h a i f wh c h o v r e c ft e r h me ha i m s p ov d Fi ly, t o e ge e s e f s a c s a l e nd ma he s a c c n s i r e . na l he c nv r nc pe d o e r h i nayz d a den n 0 i e e t a i n b h i l rt a t r Th b v o c u i n p o i e e wa ft e 0 一 n l s i to y t e s mi i f c o . n m a y e a o e c n l s o r v d s a n w y o h t e y ofe ol to r l ort m . h or v u i na y a g ih Ke o d S l— i i rt v W r s: e fsm l iy;M i o u i na y Al o ihm ;Conv r n e a nd Ev l to r g rt e ge c ( 编辑 : 笑达 ) 刘