基于光流的运动目标检测与跟踪
中国人民公安大学学报(自然科学版)
基于光流的运动目标检测与跟踪
卜凡亮, 王 蓉, 金 华, 李丽华
(中国人民公安大学安全防范系,北京 100038)
摘 要 采用经典的光流计算方法,对运动目标检测与跟踪。经仿真实验验证算法具有精度高,计算速度快的特点。将算法引入到序列图像的运动目标提取,可以比较完整地从背景中提取出运动目标,并能够稳定跟踪序列图像中的运动目标。
关键词 光流;目标检测;图像序列中图分类号 TP391141
0 引言
热点。例如,1997年美国国防高级研究项目署(De2
fenseAdvancedResearch)设立了以[5-](VisualSurveillance运动目标检测与跟踪把图像处理、自动控制、信息科学有机结合起来,形成了一种能从图像信号中实时地自动识别目标,提取目标位置信息,目标运动的技术。,通监视、,具、安防、智能交通和。随着目标检测与跟踪系统进入数字化时代,数字图像处理方法亦广泛应用于目标跟踪系统中,形成了数字视频跟踪技术[1-3]。它是将模拟视频信号数字化得到数字视频序列,通过数字图像处理的方法对图像序列进行分析,找到数字视频序列中的目标位置,根据不同的特征值,将图像序列中的不同帧中,同一运动目标关联起来,给出目标速度的估计[4],并调整传动设备进行跟踪,从而对目标进行观察、分析,得到各个运动目标完整的运动轨迹,获得需要的实时信息。
运动目标所处场景的复杂程度、稳定程度都影响着目标跟踪的效果。而在实际场景中,背景往往是复杂多变的,背景中物体的变动、光线亮度的变化、背景中存在与目标特征类似的物体、阴影问题、目标遮挡等,这些都给目标的准确检测与跟踪带来了困难。如何提高目标跟踪实时性、鲁棒性和准确性,解决复杂背景下的目标跟踪一直是人们研究的
;实时视觉监控系
统,英国的雷丁大学(UniversityofReading)已开展了对车辆和行人的跟踪及其交互作用识别的相关研究[7]。
图像运动估计是动态场景分析的基础,主要有两类方法,一类是基于特征的方法,另一类是基于光流场的方法,也称为连续处理方法。离散处理的方法需要首先对图像进行处理、抽取特征,而且仅能求得特征处的运动信息,其他部分的运动信息要根据这些特征处的信息,经过一定的插值外推来求得。光流法是直接对图像本身进行处理。这种方法通常假定相邻时刻之间的间隔是很小的,从而相邻时刻的图像之间的差异也很小,而离散处理方法一般无需这种假定。这种方法的一个优点是可以求得稠密(即图像中每一像素)处所对应物体的运动信息,不需要在图像序列中建立特征之间的对应关系。光流法在计算机视觉的众多领域,包括运动物体的参数估计和目标跟踪方面都有广泛的应用。1 光流算法原理[8-9]
所谓光流指图像中灰度模式运动速度。物体在
中国人民公安大学校级资助项目,项目编号:07LG003。基金项目
),男,徐州人,高级工程师,博士后,研究方向为信号与信息处理。作者简介 卜凡亮(1965—
・58・
卜凡亮 王 蓉 金 华等:基于光流的运动目标检测与跟踪
光源照射下,其表面的灰度呈现一定的空间分布,称之为灰度模式。当人的眼睛观察运动物体时,物体的景象在人眼的视网膜上形成一系列连续变化的图
像,这一系列连续变化的信息不断“流过”视网膜(即图像平面),好像是一种光的“流”,故称之为光流。
光流计算进行像素级运动估计,主要基于亮度恒常性假设,若I(x,y,t)是在像素(x,y)和时间t的图像强度,则有
=0dt
(1)
SIZE。2 实验与分析
从一段真实图像序列中选取参考帧(15～
16),图像为256×256的图像
,序列中背景是两边长有树的大街,且树枝在摇动,马路上有往返的车辆和行人
,该图像序列的背景是非常复杂的。用亮度恒常性算法对其求光流场,迭代次数k取30,邻域尺寸为5×5,正则系数α取40,其检测结果如图3所示。其参数的取值对光流场主要有以下的影响。邻域尺寸取5×5,迭代次数k取30,光流场已经相当平滑,能够满足光流场计算的需要,正则系数α取40,计算结果图和实际图相符。
可以推出光流约束方程
Ixu+Iyu+It=0
(2)
式中
Ix=
,Iy=,It=xyt
u=
,v=dtdt
(3)
光流分量
(4)
光流约束方程式(2)含两个未知量,求解光流
(u,v)尚需加上其他的约束条件,图像上的变化平滑,,2
+和
2+,使下式的泛函最小
图1 序列图像第15帧原图
α
2
2
+
(Ixu+Iyv+It)+
2
+
2
+
dxdy,
式中α为正则系数。用变分法和递归算法,得到
(u,v)的递归解u
k+1
222
=uk-Ix Ixuk+Iyvk+It」/(α+Ix+Iy),
图2 序列图像第16帧原图
(5)
2
vk+1=vk-Iy Ixuk+Iyvk+It」/(α+I2x+I2y),
(6)
式中,(uk,vk)为第k次迭代的速度估计(uk,vk)的邻域平均值。
Ix=I(x,y,t)-I(x-1,y,t);Iy=I(x,y,t)-I(x,y-1,t);It=I(x,y,t)-I(x,y,t-1)。
(7)(8)(9)
。只要迭代次数k足够大,就可以得到比较稳定的光流矢量(uk+1,vk+1)。所以只要有两个需要自行确定的参数:正则系数α和邻域尺寸BLOCK-
图3 第15～16帧图像对的运动物体预检测图
实验仿真采用内存210G,主频214G的ThinkPadX200计算机,对多个运动的目标检测
・59・
卜凡亮 王 蓉 金 华等:基于光流的运动目标检测与跟踪
1116s,其中光流场的计算用了0174s,可见时间主
kalmanfilterbasedonshapematching[C]∥ProceedingsInternationalConferenceonImageProcessing,2002(3):341-344.
[2] KalmanRE.Anewapproachtolinearfilteringandpre2
diction[J].AmericanSocietyofMechanicalEngineers2Transactions2JournalofBasicEngineeringSeriesD,1960,82(1):35-45.
[3] KalmanRE,BucyRS.Newresultsinlinearfiltering
andprediction[J].
JournalofBasic
Engineering
(ASME),1961,83(1):95-108.
[4] LoutastE,DiamantarastK,PitastI.Occlusionresistant
objecttracking[C]∥IEEEInternationalConferenceonImageProcessing,Thessaloniki,Greece,2001:65-
要用在光流场的计算上。但是光流场的计算能够满
足并行算法的要求,采用并行算法后,时间消耗会大幅度减少,可以实现运动目标的实时检测的要求
。
图4 第15帧和第16帧之间的光流图
68.
[5] CoffinsR,etal.Asystemforvideosurveillanceand
monitoring:VSAMfinalreportCarnegieMellonUniver2sity,TechnicalReport:-TR-00-12,2000.
[6I,,L.W4:real2time
theiractivities[J].IEEETransandMachineIntelligence,2000,228:809-830.
[7] RemagninoP,TanT,BakerK.Multi2agentvisual
surveillanceofdynamicscenes[J].ImageandVisionComputing,1998,16(8):529-532.
[8] 张天序.成像自动目标识别[M].武汉:湖北科学技术
3 结论
本文用光流的方法从图像序列中提取信息,对
运动目标分割、检测,求出其光流场分布,估计物体运动的方向和速度。光流法在序列图像的运动目标检测中有较好的应用,但受光照变化、影、,检测工作出现困难,建,有深远的意义参
考
文
献
出版社,2005.
[9] 张泽旭.多尺度微分光流算法与应用研究[D].哈尔
[1] MarecenaroL,FerrariM,MarchesottlL.Regazzoni,
multipleobjecttrackingunderheavyocclusionsbyusing
滨工业大学,2004.
(责任编辑 陈晓明)
・60・