基于光流块统计特征的视频异常行为检测算法_余昊

９卷第８期　第４０１５年８月　２

上海交通大学学报

ＪＯＵＲＮＡＬＯＦＳＨＡＮＧＨＡＩＪＩＡＯＴＯＮＧ　ＵＮＩＶＥＲＳＩＴＹ　　　　

Ｖｏｌ．４９Ｎｏ．８　

Ａｕ．２０１５　ｇ

（）２１０００６４６７２０１５０８１９９６１　　文章编号：－－－：／．ｃｎｋｉ．ｓｔｕ．２０１５．０８．０１９ＤＯＩ１０．１６１８３ｊｊｊ

基于光流块统计特征的视频异常行为检测算法

，，ａｂａｂ

余　昊ａ，　孙锬锋，　蒋兴浩

（）上海交通大学ａ．电子信息与电气工程学院；００２４０ｂ．信息内容分析技术国家工程实验室，上海２摘　要：提出了一种基于光流块统计特征的视频异常行为检测算法．该算法首先对训练集视频序列的光流场进行分块及预处理，而后提取光流块的统计特征，所提取的块统计特征同时包括了光流块的幅度信息和相位信息，通过训练集得到的光流块统计特征训练出对应的正常行为的高斯混合测试集通过同样的方式提取光流块统计特征，模型（通过计算所提取统计特征以多大的概．ＧＭＭ）

率属于ＧＭＭ判定所检测光流块的异常程度．实验结果表明，该算法能够在一定程度上解决运动物体一致性和部分遮挡问题，并提高了异常行为检测的准确率．关键词：异常行为检测；光流块；统计特征；预处理；高斯混合模型中图分类号：Ｐ３９１　　　文献标志码：ＡＴ　

ＶＤｅｔｅｃｔｉｏｎＢａｓｅｄｏｎｉｄｅｏＡｎｏｍａｌ　　　ｙ　

ＳｔａｔｉｓｔｉｃＦｅａｔｕｒｅｏｆＯｔｉｃａｌＦｌｏｗＢｌｏｃｋ　　　　　ｐ

ａａｂａｂ

，ＹＨＴＸｈｅＵ　ａｏＵＮ　ａｎｎＩＡＮＧ　ｉｎａｏ　Ｓ－　Ｊｆｇ，ｇ－

（；ａ．ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃＩｎｆｏｒｍａｔｉｏｎａｎｄＥｌｅｃｔｒｉｃａｌＥｎｉｎｅｅｒｉｎｂ．ＮａｔｉｏｎａｌＥｎｉｎｅｅｒｉｎＬａｂｏｒａｔｏｒｏｎ　　　　　　　ｇｇｇｇｙ　　

，，）ＩｎｆｏｒｍａｔｉｏｎＣｏｎｔｅｎｔＡｎａｌｓｉｓＴｅｃｈｎｉｕｅｓＳｈａｎｈａｉＪｉａｏｔｏｎＵｎｉｖｅｒｓｉｔＳｈａｎｈａｉ２００２４０，Ｃｈｉｎａ　　　　　ｙｑｇｇｙｇ　

，

，

：ｒｏｏｓｅｄ．ＡｂｓｔｒａｃｔＡｎａｎｏｍａｌｄｅｔｅｃｔｉｏｎａｌｏｒｉｔｈｍｂａｓｅｄｏｎｔｈｅｓｔａｔｉｓｔｉｃｆｅａｔｕｒｅｏｆｏｔｉｃａｌｆｌｏｗｂｌｏｃｋｗａｓ　　　　　　　　　　　　　ｐｐｙｇｐ　

，，Ｆｉｒｓｔｔｈｅｗｈｏｌｅｏｔｉｃａｌｆｌｏｗｆｉｅｌｄｏｆｔｒａｉｎｉｎｖｉｄｅｏｓｅｕｅｎｃｅｓｗｅｒｅｏｂｔａｉｎｅｄ．Ｔｈｅｎｅａｃｈｏｔｉｃａｌｆｌｏｗｆｉｅｌｄ　　　　　　　　　　　　ｐｇｑｐ　ｒｅｒｏｃｅｓｓｅｄｉｎｏｒｄｅｒｔｏｅｘｔｒａｃｔｔｈｅｓｔａｔｉｓｔｉｃｆｅａｔｕｒｅｃｏｎｓｉｄｅｒｉｎｗａｓｄｉｖｉｄｅｄｉｎｔｏｂｌｏｃｋｓａｎｄｅａｃｈｂｌｏｃｋｗａｓ　　　　　　　　　　　　　　　　ｐｐｇ

ｈａｓｅｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｂｌｏｃｋ．ＴｈｅＧａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌ（ＧＭＭ）ｗａｓｅｍｌｏｅｄｔｏｂｏｔｈｍａｎｉｔｕｄｅａｎｄ　　　　　　　　　　　　ｐｐｙｇｅｓｔａｂｌｉｓｈｔｈｅｒｏｂａｂｉｌｉｔｍｏｄｅｌｏｆｎｏｒｍａｌｂｅｈａｖｉｏｒｓｂｆｅｅｄｉｎｔｈｅｓｔａｔｉｓｔｉｃｆｅａｔｕｒｅｉｎｔｏｉｔ．Ｔｈｅａｂｎｏｒｍａｌ　　　　　　　　　　　ｐｙｙｇ　　　ｄｅｒｅｅｏｆｔｈｅｏｔｉｃａｌｆｌｏｗｂｌｏｃｋｗａｓｕｄｅｄｂｔｈｅｏｕｔｕｔｏｓｔｅｒｉｏｒｒｏｂａｂｉｌｉｔｏｆｔｈｅＧＭＭｒｏｂａｂｉｌｉｓｔｉｃ　　　　　　　　　　　　　　ｇｐｊｇｙｐｐｐｙｐ　　ｍｏｄｅｌ．Ｔｈｅｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｍｅｔｈｏｄｒｏｏｓｅｄｃｏｎｓｉｄｅｒｓｂｏｔｈｔｈｅｃｏｎｓｉｓｔｅｎｃｉｎｆｏｒｍａ－　　　　　　　　　　　ｐｐｐｙ　

，，ｔｉｏｎｏｆｍｏｖｉｎｏｂｅｃｔｓａｎｄｔｈｅａｒｔｉａｌｏｃｃｌｕｓｉｏｎｉｓｓｕｅａｔｔｈｅｓａｍｅｔｉｍｅｉｍｒｏｖｅｓｔｈｅａｃｃｕｒａｃｏｆａｎｏｍａｌ　　　　　　　　　　　　　ｇｊｐｐｙｙ　　ｄｅｔｅｃｔｉｏｎ．

：；；；；ＧＫｅｗｏｒｄｓａｎｏｍａｌｄｅｔｅｃｔｉｏｎｏｔｉｃａｌｆｌｏｗｂｌｏｃｋｓｔａｔｉｓｔｉｃｆｅａｔｕｒｅａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌｒｅｒｏｃｅｓｓｉｎ　　　　　ｙｐｐｐｇｙ　　

　　随着日常生活中大量监控视频数据的不断累

积，利用人工查找的手段去识别和检测监控视频中出现的异常行为已经变得越来越低效，于是监控视

收稿日期：０１４６８２０１－－

频中异常行为智能检测就变得极为重要，对于在拥挤场景下监控视频的异常检测就更是如此．异常行为的定义在不同的场景下有不同的含义，而且迄今

，，）基金项目：上海市科委国际研究合作项目（国家教委博士点专项基金项目国家自然科学基金项目（１２５１０７０８５００）６１２７２２４９，６１２７２４３９

）（），资助软件工程国家实验室开放研究基金项目（０１ＫＬＳＥ２０１２９２２０１２００７３１１００５３Ｓ－－

，男，江西省九江市人，硕士生，主要研究方向为视频异常行为检测．作者简介：余　昊（９８９１－）

；）：，：男，副研究员，孙锬锋（联系人）电话（３４２０６６５７Ｅ－ｍｅｌ．２１ａｉｌｔｆｓｕｎｔｕ．ｅｄｕ．ｃｎ．０Ｔ－＠ｓｊ

１０５４

上　海　交　通　大　学　学　报

第４９卷　

为止对于异常行为也并未提出一个业内普遍认可且统一度较高的定义，处理这类问题主要的且最为常见的方法是先利用正常行为模式的完备数据集合去建立一个正常行为的概率模型，那么当用正常行为模式去匹配这个概率模型时会得到一个较大的后验概率输出，反之则会得到一个较小的后验概率输出．近些年来，很多研究人员在这个领域提出了许多经

］８１－

总体而言，现在已经提出的算法可以典的算法［．］［１５

如大致分为２类：①基于物体运动轨迹的算法－，

体存在部分遮挡的情况下效果不佳；第２类算法可以在一定程度上解决物体的部分遮挡问题，然而对于运动物体本身的一致性却没有一个很好的表征和判定．

为了兼顾物体部分遮挡问题和运动物体一致性的判定，本文提出了一种基于光流块统计特征的异常行为检测算法．先将训练集视频得到的光流场序列进行分块处理，然后对光流块进行预处理、混合统计特征提取，最后用高斯混合模型（ａｕｓｓｉａｎＭｉｘＧ－　，对得到的统计特征向量进行聚ｔｕｒｅＭｏｄｅｌＧＭＭ）　

类训练，得到正常行为模式的概率模型，这样，测试集视频中的异常行为检测就可以通过与训练集得到的ＧＭＭ进行匹配来实现．

］文献［中提出了一种时空语境下的异常事件检测５算法，通过３个层次挖掘出正常事件中运动物体轨迹的常规规则，由此建立正常事件的隐马尔科夫模去检测异常事件．型（ＨＭＭ）②基于运动模式检测

］８６－

，如文献［的算法［中提出了一种基于动态纹理７］

特征的异常事件检测算法，通过构建时空的混合动态纹理特征进行异常事件的检测．第１类算法在物体无遮挡的情况下可以取得不错的效果，然而在物

１　光流块的统计特征

本文提出了一种基于光流块的统计特征提取算法，如图１所示

．

图１　光流块的统计特征

Ｆｉ．１　Ｓｔａｔｉｓｔｉｃｆｅａｔｕｒｅｏｆｏｔｉｃａｌｆｌｏｗｂｌｏｃｋ　　　　　ｇｐ

１．１　光流块的提取及预处理首先通过文献［中提出的光流算法计算出视９］频集合中每一帧图像对应的整体光流场，然后将计算得到的光流场分割成Ｎｐｉｉｘｅｌ×Ｎｐｘｅｌ的光流块．一个光流块内既要能够包含Ｎ的选取原则是：物体运动的整体，又不能在一个光流块中包含过多杂乱的运动物体．其中可以得到每帧的光流块个数显然光流块中的每个像素点都对应着为Ｗ×Ｌ个，

一个二维光流向量．紧接着对分割出的每个光流块都作如下处理．

（ｍ，ｎ）

为光流块中第ｍ行、第ｎ列像素先假设ｖｘ

（ｍ，ｎ）

点的二维光流向量的水平方向速度，同时假设ｖｙ

（ｍ，ｎ）

表示对于像素点筛选的阈值．和Ｔｖ∈［ｖ０，１］ｘ

（ｍ，ｎ）

分别是向量Ｖ（和向量中的元素，当光ｖｘ）Ｖ（ｙ）ｙ

第ｎ列像素点同时能够满足流块中第ｍ行、

（ｍ，ｎ）

［］ｖＶ（ｘ）ａｘｘ＜Ｔｖｍ

（ｍ，ｎ）

［］ｖＶ（ａｘｙ）＜Ｔｖｍｙ

（）１（）２

时，这个像素点将从光流块中删除，从而不进入后续的处理过程．因为这样的一个像素点从幅值的角度来看可以被认为是没有“异常程度”的贡献的，这样一步操作的效果等价于将这个像素点的二维光流向量设置为零．

通过对光流块做这样的预处理，可以对光流块中的像素点做一个很好的筛选，删去那些与光流块运动模式一致性关联度较少的像素点，这也是阈值效果如图２所示．Ｔｖ的选取原则，

在对光流块内的运动物体进行跟　　通过预处理，

踪的同时，又很好地保留了光流块内底层的光流特］中仅仅只对运动物体的轨迹进征，既不像文献［５１－］中只关注底层的像素级特行跟踪，也不像文献［８６－征而忽略对物体的跟踪．经过预处理过程后，向量、转变为Ｖ和Ｖ最后将预处理后．Ｖ（ｘ）Ｖ（′（ｘ）′（ｙ）ｙ）

为光流块中第ｍ行、第ｎ列像素点的二维光流向量的垂直方向速度．令

（（（１，１）ｍ，ｎ）Ｎ，Ｎ）Ｎ

…ｖ…ｖ）］∈ＲＶ（ｘ）＝［ｖｘｘｘ

２

同理可以令

（（（ｍ，ｎ）Ｎ，Ｎ）Ｎ１，１）

…ｖ…ｖ）］∈ＲＶ（ｖｙ）＝［ｙｙｙ

２

然后对光流块中的向量做运动一致性的像素点筛选［］中值最大的表示向量Ｖ（预处理．设：Ｖ（ｘ）ｘ）ａｘｍ［］中值最大的元素；表示向量Ｖ（元素；Ｖ（ａｘｍｙ）ｙ）

　第８期

余　昊，等：基于光流块统计特征的视频异常行为检测算法　　

１０５５

图３　有序系数λｏ

图２　光流块的预处理

ｉ．２　ＰｒｅｒｏｃｅｓｓｅｄｏｔｉｃａｌｆｌｏｗｂｌｏｃｋＦ　　　ｇｐｐ

ｉ．３　ＷｅｌｌｒａｎｉｚｅｄｃｏｅｆｆｉｃｉｅｎｔＦｏ　－λｇｇｏ

和Ｖ进行对应像素点的得到的速度向量Ｖ′（ｘ）′（ｙ）组合，这样得到的光流块中像素点所对应的二维向量不论是从向量幅度还是向量方向上都具有高度的一致性．

２　统计特征的计算１．

光流块的统计特征将从２个方面构建：幅值信息由预处理后光流块的幅值信息构建；相位信息由原始光流块的相位信息构建．这样的特征向量构建过程类似于一个矢量的决定过程：幅值和相位信息足以决定和重构原始矢量的方向和幅度大小．

是统计学中一个十分重要的统计变Ｅ）　　信息熵（

量，它可以有效反映一个复杂系统中的混乱无序程度，也就是说一个系统越是混乱无序，所计算出的信息熵就越大．不难看出Ｅ的定义显然和本文之前对有序系数的定义在物理意义上完全相反，故可通过对原始光流块相位信息熵的计算表征出有序系数．由于之前对原始光流块内光流向量相位区域采用的，由此本文是８位的方向量化，所以可知Ｅ∈［０，３］］可由下式计算得出：中定义的有序系数λ０，１ｏ∈［（）＝１－∑［ｌｂ７－ｐ　　　λｐｏ＝１－ｉｉ］

３３ｉ＝１

有序系数λ　　如图３所示，ｏ可以表示光流块中的相位信息，光流块中的幅度信息则可以由式（和３）（）计算出的Ｍ表示．因此不难看出，每个光流块的４

异常程度都可以用下式所得到的光流块统计特征Ｆ表征．

（）Ｆ＝λ８ｏＭ

计算出每一个光　　通过上文的一系列处理流程，

流块对应的统计特征向量，下面就需要选取恰当的统计概率模型去构建正常事件的集合．

８

′（ｘ）１．２．１　特征向量的幅值信息　从速度向量Ｖ

和Ｖ构建特征向量的幅值信息．假设有′（ｙ）

（（１）（２）Ｃ）Ｃ

…ｖＶ′（ｘ）＝［ｖｘｖｘｘ］∈Ｒ

（（（１）２）Ｃ）Ｃ

…，Ｖ′（ｖｖｖｙ）＝［∈Ｒｙ，ｙ，ｙ］

其中，表示经过光流块预处理后筛选出１，Ｃ∈［Ｎ２］表示光流块特征的像素点的个数．令Ｍ＝［ＭｘＭｙ］向量的幅值信息

Ｃ

Ｍｘ＝Ｍｙ＝

ｉ＝１Ｃ

∑ｖ

（）ｉｘ（）３（）４

ｉ＝１

ｉ

∑ｖｙ

（）

２　异常行为检测的整体算法框架

本文提出了一种基于光流块的统计特征，并通过ＧＭＭ概率模型进行聚类训练，如图４所示．算法流程主要分为４个部分：训练视频（待测视频）的解帧及统计特征提取；待测光流块统计ＧＭＭ的训练；特征的均值滤波；连续的统计特征的异常判定．待测视频）的解帧及统计特征提取１　训练视频（２．

首先将训练集的视频（待测视频）进行解帧的操作，得到对应的连续图像序列的集合，然后运用文献［］中提出的光流算法对连续图像序列计算其对应９

的光流场图，将计算得到的光流场分割成Ｗ×Ｌ个光流块，其中每个光流块的大小为Ｎｐｉｉｘｅｌ×Ｎｐｘ－，最后对于分割出的每个光流块都可以计算出其ｅｌ

对应的光流块特征向量Ｆ．

２．２　ＧＭＭ的训练

例如：ＧＭＭ已经在多个领域取得成功的应用，

１１０］１］

以及图像的背景提取［等．本文引入演讲者识别［

１．２．２　特征向量的相位信息　为了从原始的光流

块中得到特征向量的相位信息，需要定义一个有序有序系数是指原始光流块中光流向量所表系数λｏ．

征出运动方向的有序程度，原始光流块中的运动方向越是有序一致，则对应的有序系数λｏ的值越大．　　首先提取出原始光流块中每个像素点对应的光流向量的相位值，然后将所有提取出的相位量化为如图３所示．设ｎｉ内像８个区域方向，ｉ为落在区域

…，，定义光流块相位素点的总数，其中ｉ∈｛１，２，８｝

８

量化后的概率分布向量为Ｐ＝［∈Ｒ，ｐ１…ｐｉ…ｐ８］

其中ｐｉ可由下式计算得到

／Ｎｐｉ＝ｎｉ

　　再由下式可计算出Ｐ的信息熵：

２

８

（）５

Ｅ＝∑［ｌｂ－ｐ　ｐｉｉ］

ｉ＝１

（）６

同时Ｐ也是原始光流块的８方向量化的相位熵

．

１０５６

上　海　交　通　大　学　学　报

第４９卷　

图４　算法的整体框架

ｉ．４　ＦｒａｍｅｗｏｒｋｏｆｒｏｏｓｅｄａｌｏｒｉｔｈｍＦ　　　ｇｐｐｇ

ＧＭＭ建立了关于光流块统计特征Ｆ的统计概率模型．其中ＧＭＭ建立的迭代过程采用期望最大化算）进行计算，法（通过训练ｘｅｃｔａｔｉｏｎａｘｉｍｉｚａｔｉｏｎＥ－Ｍｐ集视频序列的光流块统计特征计算出ＧＭＭ的均值向量μＧＭＭ的概率密度分ｋ和协方差矩阵Σｋ．布函数如下式所示：

Ｋ

由此一个光流块都能够得到所对应的后验概率Ｐｂ．）的方式可以通过设定人工后验概率阈值ＰＴ∈（０，１说明去判定分割出的光流块是否异常．即Ｐｂ＜ＰＴ，光流块与ＧＭＭ匹配的概率较低，可判定光流块内说明光流块与ＧＭＭ匹配有异常行为；Ｐｂ＞ＰＴ时，的概率较高，可判定光流块内为正常行为．通过不断地移动ＰＴ的值，就可以绘制出对检测算法优劣进行评价的受试者工作特征（ｅｃｅｉｖｅｒＯｅｒａｔｉｎＲ　ｐｇ

，曲线．ＣｈａｒａｃｔｅｒｉｓｔｉｃＲＯＣ）

ｘ）＝　　ｐ（

ｋ＝１Ｋ

ｋ）ｘ｜ｋ）＝ｐ（∑ｐ（

ｘ｜μ，Σ）∑πＮ（

ｋ

ｋ

ｋ

（）９

ｋ＝１

式中：ｘ表示输入的特征向量；ｋ表示混合模型聚类的高斯模型数目；πｋ表示每个高斯模型在混合模型表示每个高斯模型的中所占的权值；Ｎ（ｘ｜Σｋ，ｋ）μ后验概率．

由于在视频帧的不同位置中，图像的尺度大小是不一致的，所以本文算法将对同一个位置上所有训练库视频帧的光流块分别采用一个ＧＭＭ进行

训练，也就是对于每个不同的视频库都将对应训练

３　实验与分析

实验的视频序列的整体光流场利用Ｃ＋＋代码提取，后续的算法框架处理全部在ＭＡＴＬＡＢ中实

现，实验所用的数据库为ＵＣＳＤ（ＵｎｉｖｅｒｓｉｔｏｆＣａｌｉ－　ｙ　，）的异常检测视频数据集．这个视ｆｏｒｎｉａＳａｎＤｉｅｏ　ｇ

中提出的，是现阶段频数据集是２０１０年在文献［７］业内认可度较高的也是相关论文中使用最频繁的视频数据库，为本文进行异常检测准确度对比性实验提供了便利．

１　实验参数设定３．

分别为ＳＣＤ视频数据集分为２个子数据集，Ｕ这２个子数据集有着不同的拍摄场ｅｄ１和Ｐｅｄ２，Ｐ

景以及拍摄角度，并且是在完全的自然生活状态下拍摄的．在Ｐｅｄ１和Ｐｅｄ２中定义了许多不同类型的异常行为，如：奔跑者，坐轮椅者，滑旱冰者，骑自行车者，货车，横穿草坪者．Ｐｅｄ１视频集中包括了３４段训练集视频序列和３分辨率６段测试集视频序列，都是２３８ｐｉｘｅｌ×１５８ｐｉｘｅｌ．Ｐｅｄ２视频集中包括了１６段训练视频集序列和１分辨率２段测试视频集序列，都是３６０ｐｉｘｅｌ×２４０ｐｉｘｅｌ．

，Ｐｅｄ１中光流块的大小设为１０ｐｉｘｅｌ×１０ｐｉｘｅｌ不论Ｐｅｄ２中光流块的大小设为１５ｐｉｘｅｌ×１５ｐｉｘｅｌ．是在Ｐｅｄ１还是Ｐｅｄ２中每一帧都有１６×２４个光流块，ｅｄ１和Ｐｅｄ２中像素点筛选的阈值Ｔｖ分别设为Ｐ本文算法中特征向量维数较低，６５和０．８．０．ＧＭＭ

Ｗ×Ｌ个ＧＭＭ模型．

３　待测光流块统计特征的均值滤波２．

ＧＭＭ是一个对连续型输入变量更为敏感的概率统计模型，所以在对测试集的视频序列进行异常检测时，会将相同坐标位置的光流块进行５帧的均值滤波，如下式所示：

ｍｎ

Ｆ＝ｉ

－（，）

（ｍ，ｎ）

Ｆｉ＋ｊ∑５ｊ＝－２

－（，）ｍｎ

２

（）１０

式中：Ｆ（ｍ，ｎ）

ｉ表示第ｉ帧、第ｍ行、第ｎ列对应位置

表示经过５帧均值

光流块的统计特征向量；Ｆｉ

滤波后对应位置光流块的统计特征向量．这样对于测试集视频序列所输入的正常的和异常的光流块的统计特征Ｆ更符合ＧＭＭ对连续型变量的高敏感度，同时也会使得光流块统计特征所呈现出的幅值变化更具有一致连续性．

４　连续的统计特征的异常判定２．

通过上述的算法框架，待测视频每一帧中的每

　第８期

余　昊，等：基于光流块统计特征的视频异常行为检测算法　　

１０５７

中ｋ值的变化不会对模型的性能造成影响，故Ｐｅｄ１和Ｐｅｄ２中ＧＭＭ聚类的数目ｋ都设定为４．３．２　视频异常行为检测算法准确率评估

，见图５）和其将本文提出的算法（简称为Ｏｕｒｓ他４种算法进行性能的比较，这４种算法是：社会力

６］１２］

（（，，简称Ｓ简称ＭＰ混合光流［混模型［Ｆ）ＰＣＡ）７］

（，简称ＭＤ合动态纹理［以及Ｘ中Ｔ）ｕ在文献［８］

表２　ＵＣＳＤ数据集上进行ＥＥＲ指标的算法准确率对比

Ｔａｂ．２　ＡｃｃｕｒａｃｅｖａｌｕａｔｉｏｎｏｆＥＥＲｏｎＵＣＳＤ　　　　ｙ　

算法Ｐｅｄ１　Ｐｅｄ２　平均

／％ＦＳ３１　４２　３６．５　

／％ＭＤ／％ＭＰＰＣＡＴ

４０　３０　３５　

２５　２５　２５　

／％Ｘｕ２２　２１　２１．５　

／％Ｏｕｒｓ２１．８１３．２１７．５

）提出的算法（简称Ｘｕ．

图５为本文算法和其他４种对比算法在Ｐｅｄ１和Ｐ通过Ｒｅｄ２上的ＲＯＣ曲线对比，ＯＣ曲线可以计算得到评判算法优劣的２个重要量化评价指标Ｃ（ＡｒｅａＵｎｄｅｒＣｕｒｖｅ）和ＥＥＲ（ＥｕａｌＥｒｒｏｒＡＵ　　　ｑ）

Ｒａｔｅ．

的一致性，例如对于人行道上的货车、轮滑者、践踏草坪者，自行车骑行者以及同一帧图像不同位置异）所示，视常行为的同时标注均能够定位．如图６（ｆ频帧存在自行车骑行者部分被树叶遮挡的情况，ｕｒｓ对于这种存在部分遮挡情形下的异常行为也Ｏ

能够较好地定位

．

（）ａ

（）ｅｄ

１ａＰ

（）ｅｄ２ｂＰ

（）ｂ

图５　ＵＣＳＤ数据集中的ＲＯＣ曲线ｉ．５　ＲＯＣｃｕｒｖｅｏｆＵＣＳＤｄａｔａｓｅｔＦ　　　　ｇ

对于不同算法在数据集Ｐｅｄ１中得　　如表１所示，

到的ＡＵ本文算法的８Ｃ评价指标而言，４．２％与Ｘｕ算法的８在数据集Ｐ５．４％相比仅相差１．２％；ｅｄ１中，对于Ｅ见表２）ＥＲ这个评价指标而言（ｕｒｓ的Ｏ如表１所示，比Ｘ２％．ＥＥＲ为２１．８％，ｕ降低了０．在Ｐｅｄ２这个视频数据库中，ｕｒｓ的ＡＵＣ指标和Ｏ性能上优于ＸＥＲ指标分别为９３．８％、１３．２％，ｕＥ

的８其中ＡＵＣ提高５．６％，ＥＥＲ降８．２％和２１％，低７．从Ｕ８％．ＳＣＤ这个数据集量化指标的平均值来看，ｕｒｓ平均的ＡＵＣ和ＥＥＲ分别为８９．０％、Ｏ相比于Ｘ１７．５％，ｕ的８６．８％和２１．５％而言，ＣＡＵ提高了２．２％，ＥＥＲ降低了４％．

表１　ＵＣＳＤ数据集上进行ＡＵＣ指标的算法准确率对比

Ｔａｂ．１　ＡｃｃｕｒａｃｅｖａｌｕａｔｉｏｎｏｆＡＵＣｏｎＵＣＳＤ　　　　ｙ　

算法Ｐｅｄ１　Ｐｅｄ２　平均

／％ＦＳ６７．５　５５．６　６１．６　

／％ＭＤ／％ＭＰＰＣＡＴ５９．０　６９．３　６４．２　

８１．８　８２．９　８２．４　

／％Ｘｕ８５．４　８８．２　８６．８　

／％Ｏｕｒｓ８４．２９３．８８９．０

（）ｃ

（）ｄ

（）ｅ

（）ｆ

图６　ＵＣＳＤ数据集中的异常行为

Ｆｉ．６　ＥｖａｌｕａｔｉｏｎｏｆａｎｏｍａｌｌｏｃａｌｉｚａｔｉｏｎｉｎＵＣＳＤＤａｔａｓｅｔ　　　　　ｇｙ　

３．３　视频异常行为检测算法速度评估

文献［中提出的算法ＭＤＴ用Ｃ＋＋编写而７］／帧；］文献［成，处理视频数据库的速度为２中提５ｓ８出的算法是用ＭＡＴ处理视频数据ＬＡＢ编写而成，

／帧．库的速度为５ｓＯｕｒｓ算法框架的后续算法流程也是由ＭＡＴ运行的环境为普通的ＬＡＢ编写而成，

台式电脑：本文整体算ｚＣＰＵ以及２ＧＢ内存．３ＧＨ　／帧，这其中法流程处理视频数据库的速度小于１ｓ

Ｃ＋＋编写的光流场计算的算法流程的每帧计算时

／帧，后续的每帧处理时间仅为０．间大约为０．８ｓ２／帧左右．本文的算法效率可以通过更为高效的光ｓ

流算法进一步加速整体的算法效率．

（））所示，ｕｒｓ对于运动物体异常ａｅＯ　　如图６～（

行为的标注（线框区域）能够很好地体现出物体运动

８１０５

上　海　交　通　大　学　学　报

第４９卷　

４　结　语

本文提出了一种基于光流块统计特征的视频异常行为检测及定位算法，通过对视频序列光流场进行分块处理及像素点筛选的预处理，提取出了能够很好表征光流块异常程度的光流块统计特征，并且最终通过引入ＧＭＭ建立了正常行为的概率模型，以光流块统计特征向量以多大概率存在于正常行为概率模型的方式对光流块进行是否异常的判定．

在权威数据库Ｕ本文ＣＳＤ上的对比实验表明，提出的算法在ＡＵＣ和ＥＥＲ两个量化性的指标上都有了不同程度的提高，不仅能够检测出视频序列中是否存在异常行为，还能够对存在异常行为的视频帧进行定位．参考文献：

［ｔａｕｆｆｅｒＣ，Ｇｒｉｍｓｏｎ　Ｗ　ＥＬ．Ｌｅａｒｎｉｎａｔｔｅｒｎｓｏｆａｃ１］　　　　　Ｓ－ｇｐ　

］ｔｔｒｅａｌｉｖｉｔｕｓｉｎｉｍｅｔｒａｃｋｉｎＪ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ－　　ｇｙｇ［　　

，ｏｎＰａｔｔｅｒｎＡｎａｌｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｅｎｃｅ２０００，２２　　　　　ｙｇ（）：８７７４７５７．－

［，ｍａｎｄ２］ｏｒｒｉｓＢＴ，ＴｒｉｖｅｄｉＭ　Ｍ．Ｌｅａｒｎｉｎｏｄｅｌｉｎ　Ｍ　　　ｇｇ　

ｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｖｅｈｉｃｌｅｔｒａｃｋａｔｔｅｒｎｓｆｒｏｍｌｉｖｅｖｉｄｅｏ　　　　　　　ｐ［］Ｊ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｅｎｔＴｒａｎｓｏｒｔａｔｉｏｎ　　　　ｇｐ

，（）：Ｓｓｔｅｍｓ２００８，９３４２５３７．４－ｙ

［３］ａｓｈａｒａｔＡ，ＧｒｉｔａｉＡ，ＳｈａｈＭ．Ｌｅａｒｎｉｎｏｂｅｃｔｍｏ　Ｂ　　　　－ｊｇ　

ｉｏｎａｔｔｅｒｎｓｆｏｒａｎｏｍａｌｄｅｔｅｃｔｉｏｎａｎｄｉｍｒｏｖｅｄｏｂｔ　　　　　　－ｐｐｙ　［ｃｔｄｅｔｅｃｔｉｏｎＣ］ｒｏｃｅｅｄｉｎｓｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎｅ　∥Ｐ　　　　ｊｇ：ＣｏｍｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｎｉｔｉｏｎ．Ａｎｃｈｏｒａｅ　　　　ｇｐｇＩＥＥＥ，２００８：１８．－

［，４］Ｆ，ＹｕａｎＪＴｓａｆｔａｒｉｓＳＡ，ｉａｎｅａｔｌ．Ｖｉｄｅｏａｎｏｍａ　Ｊ　　　　－　ｇ　

［ｅｔｅｃｔｉｏｎｉｎｓａｔｉｏｔｅｍｏｒａｌｃｏｎｔｅｘｔＣ］ｒｏｃｅｅｄｌｄ　　　∥Ｐ－ｐｐｙ　

ｉｎｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｅＰｒｏｃｅｓｓ－　　　　　　　ｇｇ：ＩＥＥＥ，２０１０：７０５Ｋｏｎｎ．Ｈｏｎ０８．ｉ７－ｇｇｇ　

［５］ｈａｎＴ，ＬｕＨ，ＬｉＳＺ．Ｌｅａｒｎｉｎｓｅｍａｎｔｉｃｓｃｅｎｅ　Ｚ　　　　ｇｇ　　

ｍｏｄｅｌｓｂｏｂｅｃｔｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｔｒａｅｃｔｏｒｃｌｕｓｔｅ　　　　－ｙｊｊｙ　　［ｉｎＣ］ｒｏｃｅｅｄｉｎｓｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｕｔｒ∥Ｐ　　　　　－ｇｇｐ：ｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｎｉｔｉｏｎ．ＭｉａｍｉＩＥＥＥ，ｅ　　　　ｇ２００９：１９４０９４７．１－

［６］ｅｈｒａｎＲ，ＯａｍａＡ，ＳｈａｈＭ．Ａｂｎｏｒｍａｌｃｒｏｗｄｂｅ　Ｍ　　　　　－ｙ

［ｈａｖｉｏｒｄｅｔｅｃｔｉｏｎｕｓｉｎｓｏｃｉａｌｆｏｒｃｅｍｏｄｅｌＣ］ｒｏ－　　　　∥Ｐｇ　ｅｅｄｉｎｓｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｕｔｅｒＶｉｓｉｏｎａｎｄｃ　　　　　　　ｇｐ

：ＰａｔｔｅｒｎＲｅｃｏｎｉｔｉｏｎ．ＭｉａｍｉＩＥＥＥ，２００９：９３５９４２．　－ｇ［ｔｌ．Ａｎｏｍａｌ７］ａｈａｄｅｖａｎＶ，ＬｉＷ，ＢｈａｌｏｄｉａＶ，ｅａ　Ｍ　　　　ｙ

［ｄｅｔｅｃｔｉｏｎｉｎｃｒｏｗｄｅｄｓｃｅｎｅｓＣ］ｒｏｃｅｅｄｉｎｓｏｆＩＥＥＥ　　　∥Ｐ　　ｇＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｎｉ－　　　　　　ｐｇ：ｉｏｎ．ＳａｎＦｒａｎｃｉｓｃｏＩＥＥＥ，２０１０：１９７５９８１．ｔ１　－［８］ｕＤ，ＷｕＸ，ＳｏｎＤ，ｅａｔｌ．Ｈｉｅｒａｒｃｈｉｃａｌａｃｔｉｖｉｔ　Ｘ　　　　ｇｙ　

ｅｍｏｒａｌｃｏｎｔｅｘｔｆｏｒｖｉｄｅｏｔｄｉｓｃｏｖｅｒｗｉｔｈｉｎｓａｔｉｏ　　　－　ｐｙｐ　，ａｎｏｍａｌｄｅｔｅｃｔｉｏｎ［Ｃ］∥ＩｍａｅＰｒｏｃｅｓｓｉｎＩＣＩＰ）　ｙｇｇ（　０１３２０ｔｈＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎ．Ｍｅｌ２　　　　　－：ｏｕｒｎｅＩＥＥＥ，２０１３：３５９７６０１．ｂ３－

［：９］ｎｅｗｒｅｒｅｓｅｎｔａｔｉｏｎｓｉｕＣ．ＢｅｏｎｄｉｘｅｌｓＥｘｌｏｒｉｎ　Ｌ　　　ｐｙｐｐｇ　

［：ａｎｄａｌｉｃａｔｉｏｎｓｆｏｒｍｏｔｉｏｎａｎａｌｓｉｓＤ］．Ｃａｍｂｒｉｄｅ　　　　ｐｐｙｇ，２００９．ＭａｓｓａｃｈｕｓｅｔｔｓＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏ　　　ｇｙ

［］１０ｅｎｏｌｄｓＤＡ，ＱｕａｔｉｅｒｉＴＦ，ＤｕｎｎＲＢ．Ｓｅａｋｅｒ　Ｒ　　　　　　ｙｐ

ａｄａｔｅｄＧａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄｅｌｓｖｅｒｉｆｉｃａｔｉｏｎｕｓｉｎ　　　　ｐｇ　：，（）［］１９１．４ｒｏｃｅｓｓｉｎ２０００，１０１Ｊ．Ｄｉｉｔａｌｓｉｎａｌ－　　ｐｇｇｇ

［］１１ｉｖｋｏｖｉｃＺ．ＩｍｒｏｖｅｄａｄａｔｉｖｅＧａｕｓｓｉａｎｍｉｘｔｕｒｅｍｏｄ　Ｚ　　　　　－ｐｐ

［ｅｌｆｏｒｂａｃｋｒｏｕｎｄｓｕｂｔｒａｃｔｉｏｎＣ］ｒｏｃｅｅｄｉｎｓｏｆｔｈｅ　　　∥Ｐ　　ｇｇＩｎｔｅｒｎａｔｉｏｎａｌｏｎｆｅｒｅｎｃｅｎａｔｔｅｒｎｅｃｏｎｉｔｉｏｎ．　Ｃ　ｏ　Ｐ　Ｒｇ：３１．ＣａｍｂｒｉｄｅＩＥＥＥ，２００４：２８－ｇ

：［］，，Ｇ１２ｉｎｆｅｒｌｏｂａｌｌｉｍＪｒａｕｍａｎＫ．Ｏｂｓｅｒｖｅｌｏｃａｌｌ　　Ｋ　　　ｙｇｙ

ａｂｎｏｒｍａｌａｃｔｉｖｉｔｉｅｓｉｍｅＭＲＦｆｏｒｄｅｔｅｃｔｉｎｔＡｓａｃｅ　　　　－　ｇｐ　ｗｉｔｈｉｎｃｒｅｍｅｎｔａｌｕｄａｔｅｓ［Ｃ］ｒｏｃｅｅｄｉｎｓｏｆＩＥＥＥ　　∥Ｐ　　ｐｇＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｎｉ－　　　　　　ｐｇ：ｔ２２ｉｏｎ．ＭｉａｍｉＩＥＥＥ，２００９：９２１９２８．－

上接第１１９８页）　　（

］，Ｃ，Ｙ，［ｕ８ｓｉｅＭａｃｈｉｎｅｈａｎＣｈｉｎｎａｎＩｕｎｔ１ｅ　Ｈ　－－Ｔｊｇｇｇｇｇ　　

［］，１９ｈａｓｅｍ　ＭｏｓｌｅｈｉＭｅｈｄｉＭａｈｎａｍ．ＡＰａｒｅｔｏａｒｏａｃｈ　Ｇ　　　ｐｐ

ｔｏｍｕｌｔｉｂｅｃｔｉｖｅｆｌｅｘｉｂｌｅｏｂｈｏｓｃｈｅｄｕｌｉｎｒｏｂｏｓ　　　－－－ｊｊｐｇｐ　　ｅｍｕｓｉｎａｒｔｉｃｌｅｓｗａｒｍｏｔｉｍｉｚａｔｉｏｎａｎｄｌｏｃａｌｓｅａｒｃｈｌ　　　　　　ｇｐｐ　［，Ｊ］．ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌＰｒｏｄｕｃｔｉｏｎｃｏｎｏｍｉｃｓ　　　Ｅ（）：２０１１，１２９１２１４２．－

ａｌ．Ｒｅｓｏｕｒｃｅｏｎｓｔｒａｉｎｅｄｓｃｈｅｄｕｌｉｎｆｏｒｃｏｎｔｉｎｕｏｕｓｃ　　－ｇ　ｒｅｅｔｉｔｉｖｅｒｏｅｃｔｓｗｉｔｈｔｉｍｅｂａｓｅｄｒｏｄｕｃｔｉｏｎｕｎｉｔｓ　　　－　　ｐｐｊｐ［］，：Ｊ．ＡｕｔｏｍａｔｉｏｎｉｎＣｏｎｓｔｒｕｃｔｉｏｎ２００９，１８（７）９４２　　－９４６．