机器学习与计算国际会议论文

2011 年第3 次机器学 习计算与国际议会

实模时分类器： 改进糊的模后糊性回线归支和持向机的应量

阿兹祖用 尔让 艾阿利米，维托 德 帕德罗兹和 J unozWa ada t1日本福冈 稻田大学信早、息产与生系研究院。统 2 加大拿艾尔塔大伯电子与学算机计工系程；埃德顿 蒙6T2V4G 系统和究研所波兰华； 沙波的科兰学院 。3马 来西亚的侯赛因大学计机算学与信科技术系。 息要摘 计算技软术以可模使和分型器类展拓对不精确其不和确性定的容兼性。本篇 论在中文我们提，出种一结合模回归分析和糊支向量持的混机方法合该。方法用于适类问 题分实时的处。理对于发达的模分类器的糊混结合，构我们出其提真仿果并结强调它的两 个要优点：即主需所算时计的间减和计少复杂度的算低降我们。分的析表明所出的智能提 据数分析经成已为种在一实环时下，境别特是在模糊分类问中分题析据的有效方数。法关 词：键包凸、模糊类分改、的模进线性糊归回、智数能据析分支持、量向

机

论一文介

通常简， 讲个分类器一的主要点是将特组不一同别的类样本行归类进 这些，样是基于在 本认识一些到训数据练存的学在过习程之中。在模糊 分类中， 分器类产了非二进生的实例的制成员 关系级等在实。施分类过程，中糊模类器分以使可用语变量言，‘如忠’和诚语言语术 如‘，高’‘低’或。 类的分性能取决于体的辨识具能的形功式和类问题分所中现的呈式模几的形状何。 类分器 会分新增配的加样给本中其的个分类一等。级部分 究项研正目解决使用回归模在型分的类问题， 而然，只有项有几限的究研在关注实模时糊类分 与。相此，艾反米提出一种利带有包凸法，方别特 是eneath-BeyoBn 算d运用法实时的 模糊回模型。归 他们经找到已种一在动数据环境下执态行据数分析的时有用的凸包方法。 该方 法于对算计时间整和的体算复计度显杂出示好良性能。最近， 陈提 出种解决一模分类糊题问的 有方效， 此方法由法改后的模糊线性回归和支进向量持机组合构成的。 他们研究表明在 可的的与能支持向量关联机的子骤变步简得的同化所时需算计时间也缩短。 联系了述上两模型（艾个利米和陈出提的） 这，研项的究主目要的实是现陈出提的强增型 模分类。糊自 来DAI 具工观点表明，的项这研拟究新重展陈发所出给观的点艾，利米方的 法用于适此点观结。果明两表种方的混叠组合能够法支持实时模糊类。 分述上提出的点观可有以助于将非线性可分的训离样本区分练两为类 陈提出不。稳的情定况会发生 训练在本被分为特样征空间三的区个中域 这，个间包括空个一

有模回归形糊的有成 上界的混合下区域。此因为处理种这情况，某依支持向种量机原理他们加增了分器。类第二 分部为一篇文作综述献， 述叙带了有包凸法的模方糊线回性。归 三部分第论讨在了模分糊 类境下，基环于支持向机量模的线性回糊。接归着，四部第分绍所介出的实提模糊时类的分方法。第五 部做数分实验值最后，第六部分作。总及参结考献。文

二 带凸

方法的模包线糊回性归模

型在计回统归中，观 察值与估计值间之偏差都假设是的由随机于误产差生。在描述 被析分样本之间关 时，回归分系是最常用析方法一。 之回模型归释解独了的与非独立变量立间之的立独。 性当这变量些常用被来释解他变其量时，它 被称为们有解释性变的。 量为作一有趣个的实用和延伸的塔，纳介绍卡了种一赖依容模糊集相的强增回型模归型， 样这产生了模就线糊回归这性一术语。这 范类畴型反映了模在立独与独立变非之间量模糊的关系本 质，这个关可系以下式用表达

：Y

A 0 A 1 1X A 2X 2 ..+ AK.X

K~

~

~

~~

(1

)

在

这式子里个，X  X[ , X 1 0,..,.X ]K是 一个初值X 0 1 独的变立矢量；

A量  [A0 , A ,1.., AK ]

.

~

~

~

~

一个是由称对角三形形模糊数的形状式绘的描， 由 A j ( ,c ) 表 j示 j~

~

的

模系数的糊量，在向 A j ( ,c ) 中 j 和 jc 分是别三角糊模数的中值和延伸。 j心 j从计观点算，看回模糊归数的隶属度参数的函计与估一特定的个线编程性问题相联。 给关出上使面用的号符后等，(1)式可写以作

Y i ( 0 , 0c )  ( ,1 c 1 )X1   2 ,(c )2X 2 . .. ( K ,Kc )X K上式中 

j , c 分j别预测是 A的j 区间中的心延和伸

。~

~

()2

在

模线糊性回分析中归维分点实多施的缺可陷以由包凸法的方适用性解决 在建。议采的改进形式用，凸包顶点的结构中实在时中用图使像相关的时变点可得实。 实现时操必须作理大处量样样本采。 个每定特样会用动态凸点表本， 同时示关边相缘也需构要 造。 们我想回一，下 糊线性回归模的主要的目构成线是回性模归型的下上界 模糊。线回性归 的下上界可表示为列下式：形

Y

U A0  A 1 X 1 ...  AKX  :KAx t  i  ix  t c| xt i

|U

Y

L 0A A1X 1. . . A XKK 

L

: x 

A t

i

U

(

) (34

)L

 ixt |c ix t

|(3由()4)式我们将问，题转换为种一义模糊回广，归它与下面给的出数是函似的。相 a) 评(估函

数

im n c j P|ji|

 c

, i1j 2



n

K(5)

(b

约束条)

件KK  P   c  P c j | ij P|  0 0 j ij 1 ij 2 j2 Pi1 Yi  ( i ,1...,n) K K P 

  cP  c | P  | 1 i 0 0 ji j ijj  j 2 j2 

()

6上面的达表可式进一步作写下形式如

： Y UY U | ii 1 ,...,n LY

iL

  Y

| i ,1..,.n

(7

)

可也得以如下出于 P 关i1的简 关系式单：

P

1i IY ,U P1 iYIL

( i ,..., n)1(8)

众所周

知任何散拓扑是离一由拓个空扑 X 的间合集构的成扑拓。最小的扑有两个拓开集 分别，称为集空 全集和X 最大的。拓扑含包像开集这的样有子所，它被称为集离散拓扑 特别。调强的，在空是间X 的中一点每是离散拓都中的一扑个开集 在 。X上 离散度 的可 义定下：如

1

如果x y ( x , )y   0果如x y

()

9上对于任式意 x的 ,y X都 成。这样立( x, ) 为称离度空散间分或离点间。 空照离散拓扑按定义表，式达8)写(如作形下：

U 式  U  S K( )  YY j Pi j  0j   1 KL S (Y L )  Y jijP 0 j1



(10)

在这假里 P设 i1 1 。这 个程与支方超平持的面义一致定。如在范下围内虑考：

 SP 且P  S P 或 S

则下如关成系：立

(

1)1



S( U )Y  SY(L

)(1)2

此式由回可方程归Y U 和YL 由一是凸包个点顶所成形事实的来释。 解因，此 凸方包或它法的点会清顶楚定义所讨论的地模糊学编数程约的束条， 这件点一 得变明确很这种，数编程学在接下的处理过来程中得变加更靠和可有。 让效我们回想一点下集 合S的凸包，此时 包 S义为定含 S包的 小凸极集如果。 点 不P 于包属(-P)，S那么属 S于 点的 P 是 S的一 个个一点极。因，此P 示表点合而集P C 是凸包顶 的点集且 ，PC 于属P。 因此凸包满应下足关列系：

co

nv( P ) conv( PC )(3)1我们

绍介下面的集合

C Px lC  K|l  1, ... m ,

P

(

4)1

处此m 是凸包的点顶目数将，关系式此入(6)式代可得，出面的约下束件：

K 条K P   c   P c j |P i j|  00 ji j i1 j 2 j 2 P1i iY  (  i,1..,.m) K PK  c  P c | P|   1i 00 j ji jji j  2 j2 

(15)

由

(5)式知1，糊模性线归的回线编程性约可束写如作形式：

下

y i  ixt c | xit | y  iiY  (  i,.1.., )m (1) t6 t   yx c |x |i  i

i外，此为 了构合造适基的结构化于的包的回凸模归，型 相在的关点会簇为作模糊在性线回 的归线性程编方程的中约束件使用。 考虑条此过程 选取，的有数量顶限的使点用使与会模 型()3关相的计联算杂复降至度低最

三。 于关糊分模类的基于持支向机量的糊模性回归线与之相反，

提出一陈种使用支向持机量模的糊性线归模回以型解属决两个重叠于类的

分 类模问题。基于式这项究研，两个主有要阶需要我们以段续方式连理。处阶 段Ⅰ使用改：进的模后糊性线回归型模线来性地分模区式两个的类。型基于文献[]4所 到提内容，的这阶段的处一结果理含以包几个区下域：a 由于属别类的一模式占的领区。域 b 属由类别二的模于占领式的区域 c 。由属于层的两混合式占模领区域的 阶。Ⅱ段：用运支向持机量来线非性地分区合振荡模式混 意注 a b，从和们被属她于立层独的式所模领占这意义个上说，a b 和均是匀的区域 。虑考个两层的分一类题问 ，此在题中问分析所的本来自样层的两合混式或形一层的单种一形 式 因。此 考，虑上面到述叙到第地阶一段所的有情，况分类的上下界可 以定义为如被形式下：K

K   YU 1( )x 0 1  1j x  c 10  c 1j |x | (17)j 1 j 1 KK   Y2 ( x) U 2   02 j x c2 0 c2 j x|| 1() 8j 1j  1 

此， 外虑考提陈的出法方，改 的模糊线进回归模型性被整的完自来个两的带类样本上 的界下播传最的小所优化化。设训练假本包含样类两w 点来自类型Ⅰ ： (1sjx ,y s ), 1s  1,2,.. .w

,z

点 属于别类Ⅱ (x 2h ,j 2y )h,  h1,2, ..z.，因 此最化优题问下式由达

z表 w  mi  [nYU ( x11 s  )2YL( xs1)]   [Y1 (Ux 2 h ) 2L ( Yx 2h ]) h1  s1

1(9)

从于

服K

K    x  [c c j |1x1sj ]| 1sy s 1 2,.,., w.  1 01 01 j 1js j1 j 1 KK  0 2  2 j 2xhj  [c02  c2 | jx hj |] 2y h h 2 1 2,,..,. jz j1 1 c , c , ,cc  0 j  1 , ,...2, K 0 1 1 j2 20j

(20

上)式中 1 的Y下位于界有的第所类一点上，之 Y2的 界位于所有上第的类二之下。点考虑 分类的目支持向的量方机在考法斯特和普万克尼的著中介作过绍， 一来说， 般持 向支量工机作于小最原化的理构性风险结基础。支上向持量的机优化问最可题由式下达：

m表a Lxd ()  s

s 1

z

1

z  s h ysyh k ( xs ,x h) s 21, h1

(21)

服从：



s 1

z

sys  00  

C上中式 Ld( ) 是一 个双拉格朗日函数，它重包含个依赖一入模输 式 xs ( x, h)和 k (sx , hx 的数量积的)特内核定数。与之函相关的判别函数可文献 11 由写作下形如：

式 ( f)x sg( n s *y s k xs ( xh,)  b )*s



1

z22)

我(们注到陈意用了使 如 k (x, y) exp  |x y /

|2



2



形式的 径向核函基数表示区来域

的支持

向机分类边界量这，个域由区来自个类两的组点。

成四

时模糊分类实题问

一种推

荐的算计程流法方

在文中，我们提出一下种于基包凸法算

的模糊线性回分归析交互的组，合别特是 enBath-Beyend o算法和支持量机使实向模糊时分类应过程用得容易变。 细详的理处流示程 图 于。1

图1 本质上讲，个完一整的程都流被划分可两为阶段。在第个一段阶，们用我包方法凸论讨并认 了模糊线识回归。 性最终我够早们最优回了界线归 这些。边在界计设程过第的二段使 阶用。支 向量机方法持的用是为运了将模式行分进类， 该模在式于位进改的后糊线模性回归 上下界之的的混间合域之中。区 此外， 考到虑多更数的据变得可我用们完了整成程个的序代。迭新样本会在每 一隔时间定间隔供，应如 10每 秒来一。在次均匀的类区域中，分立的分类独 够清楚能看被并轻易见解决。被 据上面根论的，述 用使凸方法包支持向量机方法的和糊模归回交的组合可互提以模糊 高类的分量是质而易显见的。我们认，为上述方法样同用适于处理实模时糊类分题。

问五数 字实

我们例一个举单的数简字实例说来明述上法方在实时模糊类中的效分。率假定 一个初有 始本组，样由1 0 个0带单有出输的输单入综样本组成。

合

着，接使用得的到据点分数图，布们我构造了个一包多凸形边它，即是分所析所的样 本的边有。(界考虑并连接外部迹轨)。点得到在的1 00个 迹点轨中，有只 7个被选作点凸包 为顶点。虑考到选的这些所点为作约束件的条部一，在分解线性决编问题程同时的，我们到 得如最优解：

下Y

U1 0. 12 2 0.706x 2Y L 08.4 3 .0620 x

为将处于了合区混的域相互联系的分析样本的模式所模式分组，类我们 行了被称执径为 向基核函的支持数向机分类量图。2 显 得到示结果。 为处某理一定的实特时问题， 我们 增了有加7 个数据组0的成一组本样 指。样定总数本 达到 71.0样这，我可们以定假已成一个迭完过程代。作为 最后结果，出如下给模糊归模回，

型

1U Y 02.7 50 0.29x Y L2  0.891 0.0 87 x

下来接，我们行上面一个运样的程序同实以现类分目的其，结果包含图 在 3中。让 们我调几强与时个分域析相关的本质特点 一般。来，说 现在出一阶第的不断增段的 加可能的顶不会直点影接所需响析时间分， 因前面为中的选些顶点可一在下一次能迭代中再 次利用。此，因种情况会减少这计算时间和算复计度杂。图三 始初和新的加的样添组在混本区域的分类结合果

六

结论

项研究为我这提们供了模糊类的特定的分种增一型 强IAD 具，使用工这种工可具以 将定样本分特两为或两组，类们它以都前的面实为例基。近来础I，D 工具在A处理如糊分类模 样这动态数据的析分时是最效有和的最要重。 我的已们提出了一

种实模糊分类时的新法作方为 替方案代来决真解世实界分类问的题。更 体地说， 具本所文提出的方包含两法主要个阶。 段第一阶由基于凸段包法方的模糊 回归分实现析成构。 二阶第依段赖应于于非用线性别的识持支向量方法机处在属理两于类混的合 荡振式时。执模连续的行理流处以程处不断增加理数据集。的基于 仿实真验结， 我们发果这种方法现是一种供选择的可适的合计，设特 是在别解实决时 糊分模类题问面。方外，该方法此以有可效地工在实时数据作析中，分为当因得在决策获过程 有价中的值识时，知种交互组这减少合处理了时间耗消整和计体复杂度算。本 提出的文方可以法用应真实于界世情中提境出的大型统的实系时模糊类问分。另题 ，外 一每选个的定方法都有其子自特各以点对在特定时面间区内间本体积的样动变态化 因 。此，结果其，这种是扩展后增的强型交组合会互为分类问题供一提个有的平效，该分台问 类只题需要足的时间够及以较低的计用算用费减计算复少杂。 度然在本论文虽我们只讨论中了小型数 集，据但是得值注的意该方是法的加运用累也容很易。

鸣谢

第

作一者来日本福冈早自稻田学大信息 、生产系统研和究； 参院加了 SALIU-HT M学金奖项目 ，马受来亚西高等育教部持支

。参

考献(翻译文略

)